中文字幕亚洲欧美日韩在线不卡,亚洲欧美日产综合在线网性色,思思久久精品6一本打道,综合视频中文字幕

本文來自微信公眾號(hào)：Mindverse Research（ID：gh_be9d7092abf7），作者：朱思嘉，審校：十三維，原文標(biāo)題：《Growing offline：生物神經(jīng)回放》，題圖來自：視覺中國(guó)

縱然我們已不像半個(gè)世紀(jì)前那樣對(duì)大腦的 offline 狀態(tài)一無(wú)所知，如今不管是誰(shuí)都知道休息和睡眠可以給我們帶來諸多好處。但是在這個(gè)“內(nèi)卷化”時(shí)代里，很多年輕人依舊把休息當(dāng)做一種奢侈，僅僅想象自己生命的1/3將在睡眠中度過就會(huì)感到一種被落后的不安。于是他們犧牲了睡眠，熬夜工作、備考、學(xué)習(xí)新的知識(shí)?？扇绻麄冇袝r(shí)間停下來回顧一下，或許就會(huì)發(fā)現(xiàn)，他們犧牲了健康的作息換來的的知識(shí)好像很難真正地“進(jìn)入腦子”。

而很多時(shí)候，我們先前怎么背也記不住的知識(shí)，怎么想也想不通的難題睡一覺或者是放空一段時(shí)間之后反而豁然開朗。睡眠似乎并不只是被動(dòng)地起到防止外界干擾的作用，而是在其中扮演了一個(gè)更積極的角色，這里究竟發(fā)生了什么，我們無(wú)意識(shí)下的offline大腦究竟施展了什么樣的“魔力”？近年研究激增的神經(jīng)回放為我們提供了一種新的可能解釋。

一、生物神經(jīng)回放的研究歷程

來自動(dòng)物的發(fā)現(xiàn)

雖然近年神經(jīng)回放研究吸引了足夠的熱度，但是神經(jīng)回放現(xiàn)象的發(fā)現(xiàn)卻并不是最近的事，1994年，科學(xué)家就在大鼠身上首次發(fā)現(xiàn)了這種現(xiàn)象（Wilson & McNaughton， 1994）。他們?cè)谌淮笫蟮拇竽X中植入了記錄海馬子區(qū)CA1區(qū)細(xì)胞活動(dòng)的微驅(qū)動(dòng)陣列（microdrive arrays，如下圖所示），然后依次記錄了：

（1）大鼠在正常睡眠期間的神經(jīng)元放電情況（PRE）； （2）大鼠完成空間運(yùn)動(dòng)任務(wù)（走迷宮獲得食物）時(shí)的神經(jīng)元放電情況（RUN）； （3）大鼠在空間行為任務(wù)之后的睡眠期間的神經(jīng)元放電情況（POST）。

三只大鼠記錄的海馬錐體細(xì)胞群的空間放電特征

結(jié)果發(fā)現(xiàn)，大鼠在運(yùn)動(dòng)后睡眠期間的海馬位置細(xì)胞會(huì)以其先前經(jīng)過路徑的相同順序進(jìn)行放電（如下圖所示）。

細(xì)胞網(wǎng)絡(luò)的有效連接矩陣圖：大多數(shù)在任務(wù)階段出現(xiàn)的高度相關(guān)細(xì)胞對(duì)也在任務(wù)后的睡眠階段中出現(xiàn)。*點(diǎn)表示單個(gè)細(xì)胞、線條表示細(xì)胞之間的正相關(guān)、紅色代表相關(guān)性大于0.2

繼這項(xiàng)開創(chuàng)性工作之后，更多研究在非人類動(dòng)物的不同皮層和皮層下區(qū)域都發(fā)現(xiàn)了神經(jīng)回放的現(xiàn)象，即神經(jīng)元細(xì)胞依照先前的放電順序再次重新按順序激活，發(fā)現(xiàn)的腦區(qū)包括視覺皮層、腹側(cè)紋狀體、內(nèi)側(cè)前額葉、頂葉和運(yùn)動(dòng)皮層等。并且研究發(fā)現(xiàn)神經(jīng)回放可以出現(xiàn)在多種不同時(shí)期，包括清醒期間、非快速眼動(dòng)睡眠（NREM）期間和快速眼動(dòng)睡眠（REM）期間（Foster， 2017）。

從動(dòng)物實(shí)驗(yàn)到人類實(shí)驗(yàn)

盡管在動(dòng)物身上做了大量的研究，但是在對(duì)人類的神經(jīng)回放現(xiàn)象的研究中，由于神經(jīng)元放電活動(dòng)的觀察困難性，在很長(zhǎng)的一段時(shí)間內(nèi)研究者都無(wú)法直接對(duì)神經(jīng)回放本身進(jìn)行研究，而此期間，非侵入式功能性神經(jīng)影像學(xué)研究為神經(jīng)回放提供了諸多的間接證據(jù)。

例如，通過在慢波睡眠期間呈現(xiàn)相關(guān)氣味線索，海馬體會(huì)得到相應(yīng)的激活（Diekelmann et al.， 2011）。此外，也發(fā)現(xiàn)了學(xué)習(xí)結(jié)束后離線階段大腦的重激活現(xiàn)象，包括慢波睡眠時(shí)期海馬體的再激活（Peigneux et al.， 2004），和運(yùn)動(dòng)學(xué)習(xí)后REM期間運(yùn)動(dòng)前皮層活動(dòng)的增加（Maquet et al.， 2000）。

目前，由于動(dòng)物研究已經(jīng)確認(rèn)了神經(jīng)回放發(fā)生的主要腦區(qū)和背后的神經(jīng)機(jī)制，隨著技術(shù)和方法的更新，最近的研究可以通過iEEGs、MEG（Buch et al.， 2021; Liu et al.， 2019）、iBIC甚至傳統(tǒng)的fMRI（Schuck & Niv， 2019）和行為實(shí)驗(yàn)（Zuo et al.， 2020）的手段證明人類神經(jīng)回放活動(dòng)的存在，并且發(fā)現(xiàn)了人類的神經(jīng)回放和動(dòng)物神經(jīng)回放的極大的相似性。從動(dòng)物實(shí)驗(yàn)到人類實(shí)驗(yàn)，從侵入性研究到非侵入性研究，神經(jīng)回放的研究進(jìn)入了一個(gè)新的階段。

在Web of Science數(shù)據(jù)庫(kù)中，以主題“Neural replay”進(jìn)行檢索所得

人類運(yùn)動(dòng)學(xué)習(xí)后的神經(jīng)回放研究

在本節(jié)中，我們將簡(jiǎn)單地介紹來自哈佛醫(yī)學(xué)院 Sydney S. Cash 團(tuán)隊(duì)在2020年（Eichenlaub et al.， 2020）和2022年（Rubin et al.， 2022）的兩項(xiàng)研究，不同于其他研究中更多地使用 MEG 等非侵入式神經(jīng)活動(dòng)無(wú)創(chuàng)記錄技術(shù)和神經(jīng)解碼（decoding）中的多變量模式分析方法來對(duì)正常人的腦活動(dòng)進(jìn)行監(jiān)測(cè)和分析，這兩項(xiàng)研究中使用植入式微電極陣列，對(duì)病人在序列運(yùn)動(dòng)學(xué)習(xí)后的神經(jīng)元放電情況進(jìn)行了直接的記錄。

如其中一位研究者 Beata Jarosiewicz 博士所說“這是第一個(gè)直接證據(jù)，證明我們也可以看到人類在學(xué)習(xí)后的休息期間有幫助鞏固記憶的回放現(xiàn)象……我們?cè)趧?dòng)物身上研究了幾十年與回放有關(guān)的記憶鞏固機(jī)制，看起來很可能也適用于人類?！?/p>

在 Cash 團(tuán)隊(duì)的這兩項(xiàng)研究中，被試首先完成微電極陣列設(shè)備校準(zhǔn)（熟悉如何通過意圖移動(dòng)光標(biāo)），然后被要求閉眼休息約半小時(shí)，記錄其靜息態(tài)下的腦活動(dòng)指標(biāo)（Rest1）；隨后被試會(huì)完成一個(gè)類似電子游戲“西蒙”（Simon）的序列運(yùn)動(dòng)學(xué)習(xí)任務(wù)：電腦首先顯示目標(biāo)序列，然后被試通過自己的意念想象去操縱光標(biāo)按照這樣的序列運(yùn)動(dòng)（iBCI，詳見下圖和視頻），其中被試需要完成的重復(fù)序列和隨機(jī)序列試次數(shù)量呈現(xiàn)3:1的比例（Sequence game）；任務(wù)結(jié)束后，被試會(huì)再次閉眼休息并被記錄學(xué)習(xí)后的腦活動(dòng)情況（Rest2）。

您目前設(shè)備暫不支持播放

在2022年的研究中，實(shí)驗(yàn)者還會(huì)在這一基礎(chǔ)上記錄被試在任務(wù)前一天晚上和當(dāng)天晚上睡眠時(shí)的大腦活動(dòng)情況（如下圖所示）。

在第一篇研究（2020）中，研究者提取了每個(gè)電極通道上的發(fā)放功率（spike power，250-5000Hz的總頻譜功率），然后使用模板匹配方法（Template matching approach）評(píng)估了神經(jīng)元發(fā)放功率時(shí)空模式相似度，將每個(gè)目標(biāo)/每個(gè)試次的神經(jīng)活動(dòng)模式的平均值作為單獨(dú)的時(shí)空模板，將其與前后 Rest 階段中每個(gè)時(shí)間步長(zhǎng)的神經(jīng)活動(dòng)模式進(jìn)行相關(guān)分析，以檢測(cè)單個(gè)目標(biāo)和整體序列的神經(jīng)回放現(xiàn)象。

計(jì)算并確定每個(gè)模板的相關(guān)系數(shù)（CC）峰值，將 CC 大于95%的定義為候選回放事件，并將回放指數(shù)（RI）定義為CC峰值的平均值占比變化（Rest2-Rest1）。結(jié)果發(fā)現(xiàn)重復(fù)序列和隨機(jī)序列的 RI 分布如下圖A所示，該結(jié)果表明，完成序列運(yùn)動(dòng)學(xué)習(xí)任務(wù)之后，重復(fù)序列在休息時(shí)的大腦中得到了更多的回放。

此外，研究者還設(shè)置了時(shí)間膨脹因子（time dilation factor），結(jié)果顯示，上述發(fā)現(xiàn)的顯著的神經(jīng)回放現(xiàn)象在0.1*（即比實(shí)際時(shí)間快10倍）的時(shí)間尺度上達(dá)到峰值（如下圖B、D所示），即神經(jīng)回放不遵循原始事件的實(shí)際時(shí)間，而是以一種時(shí)間壓縮的形式發(fā)生。

在2022年的第二項(xiàng)研究中則發(fā)現(xiàn)，不僅是序列運(yùn)動(dòng)學(xué)習(xí)之后緊跟著的休息期間，在距離任務(wù)足夠久的睡眠期間，大腦也會(huì)產(chǎn)生持續(xù)的神經(jīng)回放（如下圖所示）：

A：任務(wù)期間神經(jīng)活動(dòng)模式；C：夜間睡眠期間不同時(shí)間點(diǎn)上候選回放事件的神經(jīng)活動(dòng)示例

并且，在睡眠期間的遠(yuǎn)程神經(jīng)回放同樣呈現(xiàn)一種時(shí)間壓縮的形式（如下圖所示）：

此外，在這項(xiàng)研究中，Cash 研究團(tuán)隊(duì)還表明睡眠期間的神經(jīng)回放與短波睡眠（SWS）階段的尖波漣漪（Sharp wave ripples， SPW-Rs）爆發(fā)有關(guān)（如下圖所示），這一在非人動(dòng)物身上被普遍證實(shí)的特點(diǎn)也因植入式腦機(jī)接口技術(shù)（iBIC）的發(fā)展，首次得以在人類被試中被直接證明。

左圖：任務(wù)后睡眠期間神經(jīng)活動(dòng)；右圖：回放事件與尖波漣漪之間的關(guān)系

Cash 團(tuán)隊(duì)的兩項(xiàng)研究開創(chuàng)性地直接觀察到了人類的神經(jīng)回放活動(dòng)，證實(shí)人類不僅可以在序列運(yùn)動(dòng)學(xué)習(xí)后即刻的清醒休息期間發(fā)生時(shí)間壓縮的神經(jīng)回放活動(dòng)，還會(huì)在距離運(yùn)動(dòng)學(xué)習(xí)任務(wù)間隔時(shí)間更久的睡眠期間產(chǎn)生持續(xù)的神經(jīng)回放現(xiàn)象。

這兩項(xiàng)研究為后續(xù)人類神經(jīng)回放機(jī)制的研究以及腦機(jī)接口BCI的應(yīng)用都提供了重要的參考價(jià)值。此外，兩項(xiàng)研究也涵蓋了神經(jīng)回放活動(dòng)中重要的特點(diǎn)與形式，接下來我們將對(duì)這些內(nèi)容做更進(jìn)一步的解讀。

二、神經(jīng)回放的特點(diǎn)與形式

在上述兩項(xiàng)研究中，我們已經(jīng)提到了神經(jīng)回放最為突出的特點(diǎn)：時(shí)間壓縮；此外，上述兩項(xiàng)研究中的神經(jīng)回放可以根據(jù)是否處在原始經(jīng)歷環(huán)境中分成本地神經(jīng)回放（local replay）與遠(yuǎn)程神經(jīng)回放（remote replay），或者根據(jù)神經(jīng)回放時(shí)主體的清醒狀態(tài)分為清醒神經(jīng)回放和睡眠神經(jīng)回放；除了這些分類方法，我們還可以根據(jù)神經(jīng)回放序列的方向分為正向神經(jīng)回放（forward replay）和反向神經(jīng)回放（reverse replay）。

在本節(jié)中，我們就將對(duì)神經(jīng)回放這一最突出的特點(diǎn)和三種常見的形式進(jìn)行簡(jiǎn)要的介紹。

時(shí)間壓縮

縱觀神經(jīng)回放的研究，神經(jīng)回放最為突出的特點(diǎn)就是其在時(shí)間尺度上的變化，一般表現(xiàn)為時(shí)間壓縮（time compression），即神經(jīng)回放并不以與先前實(shí)際事件相同的速度進(jìn)行神經(jīng)元的重新激活放電，而是以一種壓縮的、更快的速度在大腦中進(jìn)行回放，如上文所述。

在另一項(xiàng)研究中（Buch et al.， 2021），研究者通過腦磁圖（MEG）對(duì)人類完成序列動(dòng)作學(xué)習(xí)和短暫休息時(shí)的大腦活動(dòng)進(jìn)行記錄（如下圖所示），結(jié)果發(fā)現(xiàn)，在間隔休息期間，神經(jīng)回放過程僅持續(xù)了約50ms，幾乎是實(shí)際行為速度的20倍，而訓(xùn)練間隔休息時(shí)的神經(jīng)回放速度大約是訓(xùn)練后休息期間的三倍。通過和前文研究結(jié)果進(jìn)行比較，我們也可以發(fā)現(xiàn)神經(jīng)回放的時(shí)間壓縮尺度在不同范式、不同情景上存在著很大的不同。

那神經(jīng)回放是否一定是時(shí)間壓縮的呢？最新的研究發(fā)現(xiàn)其實(shí)也存在正常速度的回放，這說明了神經(jīng)回放事件包含更豐富的事件速度，而這被研究者認(rèn)為可以促進(jìn)不同空間和時(shí)間尺度上記憶的存儲(chǔ)和更新（Denovellis et al.， 2021）。

本地神經(jīng)回放與遠(yuǎn)程神經(jīng)回放

對(duì)于本地神經(jīng)回放和遠(yuǎn)程神經(jīng)回放的劃分最早也起源于動(dòng)物研究，研究者根據(jù)神經(jīng)回放發(fā)生的環(huán)境將其分為本地回放（local replay）和遠(yuǎn)程回放（remote replay）。

研究者（Karlsson & Frank， 2009）發(fā)現(xiàn)，嚙齒類動(dòng)物不僅可以在事件發(fā)生的當(dāng)下環(huán)境（如下圖E1）中產(chǎn)生即刻的神經(jīng)回放，還可以在原始事件發(fā)生一段時(shí)間后的新環(huán)境（如下圖E2）中產(chǎn)生神經(jīng)回放，并且這種遠(yuǎn)程神經(jīng)回放占到了全部回放事件中的44%（下圖Rest4階段），即本地神經(jīng)回放和遠(yuǎn)程神經(jīng)回放幾乎同樣普遍。

后續(xù)在對(duì)人類被試的研究中，研究者則進(jìn)一步發(fā)現(xiàn)類似的不同神經(jīng)回放形式可能支持了不同的學(xué)習(xí)與認(rèn)知過程，比如從直接經(jīng)驗(yàn)學(xué)習(xí)的本地學(xué)習(xí)，和基于推理的非本地/間接學(xué)習(xí)等（Liu et al.， 2021）。

清醒神經(jīng)回放與睡眠神經(jīng)回放

在前文介紹的人類研究中，我們發(fā)現(xiàn)神經(jīng)回放可以發(fā)生在清醒休息和睡眠等多種的情況下，我們可以根據(jù)大腦是否處于有意識(shí)狀態(tài)將神經(jīng)回放分為兩種形式：清醒神經(jīng)回放與睡眠神經(jīng)回放。而研究者通過研究發(fā)現(xiàn)，處于不同狀態(tài)的神經(jīng)回放很可能扮演著不同的功能角色。

睡眠期間的海馬回放更多地與記憶鞏固有關(guān)；而清醒期間的神經(jīng)回放則有更加不同的功能，例如前瞻性規(guī)劃：在嚙齒動(dòng)物中，在間隔休息期間的清醒海馬回放已被證明可以預(yù)測(cè)下一條路徑（Euston et al.， 2007）。

有趣的是，清醒回放不僅可以向前（即與事件最初經(jīng)歷的順序相同）進(jìn)行，還可以以相反的順序回放。有研究者認(rèn)為這種反向的神經(jīng)回放可以實(shí)現(xiàn)在線記憶鞏固，并且隨著獎(jiǎng)勵(lì)的大小增加，反向回放的頻率增加，這可能會(huì)增強(qiáng)重要事件的記憶強(qiáng)度（Ambrose et al.， 2016， Kaefer et al.， 2022）。

此外，清醒回放不僅包括與當(dāng)下環(huán)境相關(guān)的本地神經(jīng)回放，還可以包含不同環(huán)境下的遠(yuǎn)程回放，而睡眠回放幾乎總是遠(yuǎn)程回放（Foster， 2017）。

正向神經(jīng)回放與反向神經(jīng)回放

我們把與實(shí)際事件經(jīng)歷順序相同的神經(jīng)回放稱為正向回放（forward replay），相反的神經(jīng)回放稱為反向回放（reverse replay）。研究者通過記錄三只大鼠來回奔跑獲得食物獎(jiǎng)勵(lì)時(shí)的海馬活動(dòng)發(fā)現(xiàn)，約95%的正向回放發(fā)生在大鼠運(yùn)動(dòng)之前，約85%的顯著反向回放事件發(fā)生在大鼠運(yùn)動(dòng)之后。（如下圖所示，Diba & Buzsáki， 2007）

后續(xù)的研究發(fā)現(xiàn)，兩種不同方向的神經(jīng)回放對(duì)獎(jiǎng)勵(lì)的響應(yīng)之間存在顯著差異，反向回放率與獎(jiǎng)勵(lì)成正比變化，而正向回放則不受影響。反向回放更多地被認(rèn)為在記憶鞏固、價(jià)值分配學(xué)習(xí)中發(fā)揮重要作用，而正向回放則被認(rèn)為是記憶提取和預(yù)測(cè)未來路徑的重要機(jī)制（Ambrose et al.， 2016）。

三、神經(jīng)回放的作用

在上文中，我們已經(jīng)介紹了神經(jīng)回放的形式與特點(diǎn)，可以發(fā)現(xiàn)神經(jīng)回放的不同發(fā)生形式或許承擔(dān)著不同的功能，那么，神經(jīng)回放究竟具體有著哪些功能呢？在本章中，我們將簡(jiǎn)單介紹神經(jīng)回放所起到的一些作用。

Indulgently speaking， it looks less like dreaming and more like thought. —— Foster， 2017

記憶鞏固

我們?cè)谏衔闹兴v述的幾項(xiàng)研究和神經(jīng)回放研究歷史上大部分的研究大多都與記憶鞏固的功能有關(guān)：大鼠通過神經(jīng)回放鞏固了成功穿越迷宮的經(jīng)驗(yàn)，病人在神經(jīng)回放中鞏固了對(duì)規(guī)則序列的記憶。

研究者不僅通過神經(jīng)回放后量化的記憶測(cè)試發(fā)現(xiàn)了良好的記憶表現(xiàn)和神經(jīng)回放活動(dòng)之間的強(qiáng)相關(guān)（Dupret et al.， 2010），還通過破壞大鼠的神經(jīng)回放（抑制尖波漣漪的產(chǎn)生）發(fā)現(xiàn)了神經(jīng)回放對(duì)記憶鞏固的因果作用（Ego-Stengel & Wilson， 2010， Girardeau et al.， 2009）。

此外，不僅是簡(jiǎn)單的程序性記憶，信息更為復(fù)雜的情景記憶也被發(fā)現(xiàn)會(huì)因神經(jīng)回放得以鞏固（Wimmer et al.， 2020，如下圖所示）。

隨著研究的不斷增加，現(xiàn)在我們對(duì)神經(jīng)回放在記憶鞏固的作用有了越來越深的理解，在前人的基礎(chǔ)上發(fā)現(xiàn)了更多與之相關(guān)的特性和底層機(jī)制，例如不同意識(shí)狀態(tài)下記憶鞏固的水平差異、更低頻段的神經(jīng)振蕩同步和神經(jīng)網(wǎng)絡(luò)在其中的參與等等。對(duì)于該方向下產(chǎn)生的大量研究，此處就不再贅述了。

生成式回放：不僅僅是過去

值得一提的是，隨著研究者對(duì)神經(jīng)回放作用的研究的深入，他們發(fā)現(xiàn)，神經(jīng)回放似乎并不僅僅是對(duì)過去經(jīng)歷的機(jī)械重復(fù)，而是一種更具動(dòng)態(tài)性、甚至更具創(chuàng)造性的過程。對(duì)于這一激動(dòng)人心的假設(shè)，已經(jīng)有許多研究者通過實(shí)證研究證明了神經(jīng)回放對(duì)視覺理解（Schwartenbeck et al. 2021）、決策（Liu et al. 2021）、規(guī)劃（Momennejad et al. 2018）和預(yù)測(cè)（Ekman et al. 2017）等更多認(rèn)知過程的支持。

研究者有時(shí)也將發(fā)生在實(shí)際事件之前的生成式神經(jīng)回放稱為預(yù)演（preplay），而這種更面向未來的回放也與我們前文所提到的正向與反向的神經(jīng)回放兩種形式的存在息息相關(guān)。此處，我們將以2021年發(fā)表在 Science 上的一篇文獻(xiàn)為例（Liu et al. 2021），介紹神經(jīng)回放對(duì)人類后續(xù)決策的影響。

在這項(xiàng)研究中，被試被要求不斷地在兩條路徑做出選擇（如上圖A，共有三種可能的選擇環(huán)境），以使自己獲得獎(jiǎng)勵(lì)（X或Y，獎(jiǎng)勵(lì)的概率浮動(dòng)如上圖B），被試在每個(gè)試次中做出選擇后，程序就會(huì)自動(dòng)播放其選擇的路徑并告知其是否獲得獎(jiǎng)勵(lì)（如上圖D）。

MEG結(jié)果顯示（如下圖），對(duì)于本地路徑（即其所選擇的路徑），被試的大腦會(huì)在滯后約160ms時(shí)達(dá)到反向回放的峰值，而對(duì)于非本地路徑（即其當(dāng)下試次未選擇的路徑），被試的大腦會(huì)在約30ms時(shí)達(dá)到正向回放的峰值。

結(jié)合前文所述的不同形式的神經(jīng)回放的功能，在這里我們發(fā)現(xiàn)，被試的大腦在無(wú)意識(shí)的情況下既鞏固了其當(dāng)下經(jīng)歷的價(jià)值學(xué)習(xí)和記憶，又支持了對(duì)其他環(huán)境下的路徑預(yù)測(cè)，而這促進(jìn)了被試在后續(xù)做出更好的決策。

你或許會(huì)驚訝，大腦竟然可以在毫秒級(jí)的精度下完成如此多而不同的工作，但是神奇的還不僅僅如此。

觀察式回放：不需要親身經(jīng)歷

除了可以起到知識(shí)整合、規(guī)劃和預(yù)測(cè)作用的生成式回放，今年科學(xué)家還在大鼠身上發(fā)現(xiàn)了一種更特別的神經(jīng)回放現(xiàn)象：大鼠甚至不需要自己親身經(jīng)歷相應(yīng)的空間導(dǎo)航任務(wù)，僅僅在觀察其同伴通過迷宮獲得獎(jiǎng)勵(lì)之后，其自己的大腦中就會(huì)產(chǎn)生遠(yuǎn)程神經(jīng)回放，并且神經(jīng)回放的強(qiáng)度會(huì)預(yù)測(cè)其后續(xù)自己在迷宮中的行為表現(xiàn)，即這種回放促進(jìn)了后續(xù)大鼠對(duì)獎(jiǎng)勵(lì)地點(diǎn)和未來軌跡的偏好（Mou et al.， 2022）。

這一神經(jīng)回放的發(fā)現(xiàn)也為人類觀察學(xué)習(xí)的神經(jīng)機(jī)制研究提供了啟示，神經(jīng)回放是否也在人類身上起著同樣的作用，如果是這樣，那么這個(gè)作用是否可以泛化到更為復(fù)雜的諸如社會(huì)互動(dòng)的觀察學(xué)習(xí)之中呢？看起來，我們還遠(yuǎn)遠(yuǎn)沒有探索完神經(jīng)回放的奧秘。

四、神經(jīng)回放的機(jī)制

在對(duì)神經(jīng)回放腦機(jī)制的探索中，盡管也有研究發(fā)現(xiàn)神經(jīng)回放與更低頻的神經(jīng)振蕩有關(guān)（Higgins et al.， 2021），但是目前大部分研究者還是一致認(rèn)同尖波漣漪（Sharp-Wave Ripples， SPW-Rs）的產(chǎn)生是神經(jīng)回放的關(guān)鍵機(jī)制，神經(jīng)回放通常發(fā)生在 SPW-Rs 期間。從第一部分介紹的實(shí)驗(yàn)中，我們就可以看到這一結(jié)論。

尖波漣漪，顧名思義包括尖波（Sharp-Wave）和漣漪（Ripples）兩部分，尖波是 Vanderwolf 等人最早在嚙齒類動(dòng)物的海馬子區(qū) CA1 觀測(cè)到的大幅度負(fù)朝向的波形，持續(xù)時(shí)長(zhǎng) 40-100ms 左右。漣漪是 O’Keefe 等人在 CA1 區(qū)域觀測(cè)到一種由高度同步的神經(jīng)元活動(dòng)引起的，快速且短暫的神經(jīng)振蕩活動(dòng)，波形似水面激蕩起的漣漪。其頻率在人類和靈長(zhǎng)類動(dòng)物上為 80~140Hz 左右。多數(shù)情況下，尖波的產(chǎn)生都伴隨著漣漪，因此稱之為尖波漣漪（Buzsáki， 2015）。

https://zhuanlan.zhihu.com/p/79345382

由于尖波漣漪通常在海馬子區(qū)被檢測(cè)到，很多研究者也直接將其稱為“海馬尖波漣漪”，了解了海馬和尖波漣漪之間的關(guān)系，我們就不難猜想為何神經(jīng)回放會(huì)在記憶鞏固中起到如此重要的作用了。通過Buzsáki（Buzsáki， 2015）和 Neuron 上的一篇文獻(xiàn)（Gupta et al.， 2010），我們可以對(duì)海馬尖波漣漪及其在神經(jīng)回放中的作用有一個(gè)更清晰的了解。

而隨著科學(xué)家對(duì)大腦了解的加深，單一腦區(qū)的解釋逐漸變得單薄起來，今年的一篇研究指出了腦區(qū)尖波漣漪的全腦耦合情況（Nitzan et al.， 2022），這也為神經(jīng)回放背后的全腦參與提供了一定的證據(jù)，接下來，我們將對(duì)已被證實(shí)參與神經(jīng)回放的部分腦區(qū)和腦網(wǎng)絡(luò)進(jìn)行一個(gè)簡(jiǎn)單的介紹。

相關(guān)腦區(qū)

replay may be a conserved mechanism of learning and memory across multiple cortical systems， including semantic， navigational， and motor systems —— Rubin et al.， 2022

①海馬與新皮層

前文中，我們講述了神經(jīng)回放對(duì)記憶鞏固的作用以及海馬尖波漣漪的爆發(fā)如何作為其底層機(jī)制。但是記憶的形成和鞏固過程并不能僅僅在海馬中就完成。研究者一般認(rèn)為海馬和新皮層的交互在記憶形成的過程中起著關(guān)鍵的作用，現(xiàn)在讓我們來看一看神經(jīng)回放是否確實(shí)遵循這種交互方式。

研究者（Ji & Wilson， 2007）通過在大鼠完成迷宮行走任務(wù)的時(shí)候和之后記錄其海馬和初級(jí)視覺皮層的神經(jīng)元活動(dòng)，發(fā)現(xiàn)海馬和皮層上的神經(jīng)回放模式傾向于在精細(xì)的時(shí)間尺度上同時(shí)開始和結(jié)束（如下圖所示）。

且兩處腦區(qū)的細(xì)胞放電序列呈現(xiàn)相同的軌跡，即兩個(gè)腦區(qū)回放了相同的體驗(yàn)（如下圖所示）。

之后其他研究者在此類發(fā)現(xiàn)的基礎(chǔ)上提出了標(biāo)準(zhǔn)系統(tǒng)鞏固理論（standard systems consolidation theory， SSCT），表明信息僅僅暫時(shí)存儲(chǔ)在海馬體里，只有通過離線期間的鞏固才能進(jìn)入皮層區(qū)域形成長(zhǎng)期記憶。后續(xù)又有研究者提出情境綁定假說（contextual binding account），強(qiáng)調(diào)了海馬的核心作用和大腦離線狀態(tài)對(duì)信息編碼后情境漂移產(chǎn)生遺忘的抑制（Yonelinas et al.， 2019）。

盡管這些理論分別強(qiáng)調(diào)了不同的方面，但是都指出了神經(jīng)回放扮演的積極角色以及海馬和新皮層作為一個(gè)整體的交互模式。

②默認(rèn)模式網(wǎng)絡(luò)

如果把神經(jīng)回放這一神經(jīng)活動(dòng)現(xiàn)象放在一個(gè)更大的范圍里說，可以把它歸類為一種特定的大腦自發(fā)神經(jīng)活動(dòng)，即不需要特定的任務(wù)或刺激誘發(fā)的大腦活動(dòng)，那么既然它是一種大腦自發(fā)活動(dòng)，我們很容易猜想默認(rèn)模式網(wǎng)絡(luò)（DMN）是否會(huì)相應(yīng)地在其中起到一定的作用，而研究者已經(jīng)證明了這一假設(shè)。

這個(gè)月中旬，Nature Reviews Neuroscience 上刊登了一篇文章（Kaefer et al.， 2022），研究者在其中提出了一種級(jí)聯(lián)記憶系統(tǒng)（cascaded memory systems， CMS）模型，他們認(rèn)為在大腦離線期間，神經(jīng)回放和 DMN 的激活兩種現(xiàn)象密切相關(guān)，且具有重疊的潛在功能。他們假設(shè)DMN 不僅構(gòu)成了回放傳播的主干，中介了海馬和新皮層之間的相互作用，它還可以獨(dú)立啟動(dòng)回放級(jí)聯(lián)（replay cascades），以支持記憶或高級(jí)語(yǔ)義表征的重新激活。

CMS模型示意圖，彩色圓環(huán)描述了DMN（黃色）到單峰感覺區(qū)域（藍(lán)色）的主要功能連接梯度，三角形表示皮層區(qū)域，三角形的顏色反映了不同皮層區(qū)域在瞬態(tài)事件期間激活的順序（紅色→黃色→綠色，灰色為未激活）

研究者通過這一模型表明：神經(jīng)回放主要從海馬體出發(fā)沿上述主要連接梯度傳播；神經(jīng)回放可以在多個(gè)皮層區(qū)域上獨(dú)立地發(fā)生，即神經(jīng)回放的產(chǎn)生不限于海馬，許多皮層都具有足夠的內(nèi)在連接性以支持神經(jīng)回放活動(dòng)，但是會(huì)因?yàn)榧?jí)聯(lián)層次有所不同；存在于全腦空間中的回放會(huì)以一種瞬態(tài)廣泛激活（transient widespread activations）的形式產(chǎn)生。

說到這里，我們已經(jīng)對(duì)神經(jīng)回放的底層可能機(jī)制有了一個(gè)大概的了解，諸如 CMS 模型此類的最新研究提出了許多的假設(shè)，這些假設(shè)可以啟示和指導(dǎo)后來的研究者對(duì)神經(jīng)回放進(jìn)行更深入的研究，但是對(duì)于神經(jīng)回放本身依舊還有大量的問題需要得到實(shí)證的驗(yàn)證和更徹底的理論檢驗(yàn)。

五、小結(jié)

在本文中，我們簡(jiǎn)單介紹了生物神經(jīng)回放的研究歷程及其特點(diǎn)。神經(jīng)回放是大腦“離線期間”對(duì)先前經(jīng)歷的神經(jīng)元放電序列的順序重新激活，這種重新激活可以在多個(gè)時(shí)間尺度上發(fā)生，且具有正向、反向兩種不同的回放方向，并且大腦不止可以在經(jīng)歷后的相同環(huán)境中產(chǎn)生本地神經(jīng)回放，還可以在距離實(shí)際經(jīng)歷更遙遠(yuǎn)的其他環(huán)境中發(fā)生遠(yuǎn)程神經(jīng)回放，多種形式的神經(jīng)回放支持了生物體記憶鞏固、學(xué)習(xí)、決策、推理和規(guī)劃等多樣的認(rèn)知過程，且這種特定的大腦自發(fā)活動(dòng)會(huì)在以海馬為核心的全腦尺度上產(chǎn)生和傳播。

對(duì)類似神經(jīng)回放的大腦無(wú)意識(shí)狀態(tài)下自發(fā)活動(dòng)的研究可以幫助科學(xué)家不斷接近大腦的本質(zhì)，至今為止，大腦依舊擁有著任何超級(jí)計(jì)算機(jī)都無(wú)法匹敵的能力：腦神經(jīng)網(wǎng)絡(luò)大約包含1000億個(gè)神經(jīng)元和100萬(wàn)億個(gè)神經(jīng)突觸，如此龐大的網(wǎng)絡(luò)在信息加工上卻僅耗能約20W。并且神經(jīng)元以幾毫秒的速度就可以實(shí)現(xiàn)生物互聯(lián)，對(duì)組件級(jí)的故障又具有優(yōu)異的容錯(cuò)性。

在信息技術(shù)高度發(fā)展的當(dāng)代，如何從此類現(xiàn)象中汲取靈感、制造出更優(yōu)的 human-level 的人工智能是各個(gè)領(lǐng)域科學(xué)家都需要關(guān)注的問題。

除此之外，盡管隨著技術(shù)的更新，科學(xué)對(duì)人腦神經(jīng)回放研究的限制正在不斷被解除，但是生物神經(jīng)回放依舊遺留著太多需要去探索的問題：神經(jīng)回放在多大程度上是自發(fā)的，其是否需要認(rèn)知資源的參與，又有什么因素會(huì)對(duì)其產(chǎn)生影響？在自然的生活下，面對(duì)海量的信息輸入，大腦會(huì)選擇什么內(nèi)容進(jìn)行回放？神經(jīng)回放的強(qiáng)度和速度是否會(huì)又如何受到調(diào)節(jié)？

很多神經(jīng)科學(xué)研究者對(duì)這些問題依舊束手無(wú)策，但隨著計(jì)算機(jī)技術(shù)的發(fā)展，深度學(xué)習(xí)網(wǎng)絡(luò)等領(lǐng)域的發(fā)展，神經(jīng)學(xué)家們也有了更多探索的路徑和方法，這些工具也正變得越來越適合解決具有挑戰(zhàn)性的神經(jīng)科學(xué)問題（Richards et al.， 2019）。

神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)正在成為兩門不斷交叉和融合的學(xué)科，彼此都可以從對(duì)方的研究中獲得靈感和啟發(fā)，在下期推文中，我們將介紹計(jì)算機(jī)學(xué)家如何受到人腦神經(jīng)回放的啟發(fā)，創(chuàng)造出更低功耗、可持續(xù)學(xué)習(xí)的人工神經(jīng)回放。

參考文獻(xiàn)

Ambrose， R. E.， Pfeiffer， B. E.， & Foster， D. J. (2016). Reverse Replay of Hippocampal Place Cells Is Uniquely Modulated by Changing Reward. Neuron， 91(5)， 1124–1136. https://doi.org/10.1016/j.neuron.2016.07.047

Buch， E. R.， Claudino， L.， Quentin， R.， B?nstrup， M.， & Cohen， L. G. (2021). Consolidation of human skill linked to waking hippocampo-neocortical replay. Cell Reports， 35(10)， 109193. https://doi.org/10.1016/j.celrep.2021.109193

Buzsáki， G. (2015). Hippocampal sharp wave-ripple: A cognitive biomarker for episodic memory and planning. Hippocampus， 25(10)， 1073–1188. https://doi.org/10.1002/hipo.22488

Denovellis， E. L.， Gillespie， A. K.， Coulter， M. E.， Sosa， M.， Chung， J. E.， Eden， U. T.， & Frank， L. M. (2021). Hippocampal replay of experience at real-world speeds. ELife， 10， e64505. https://doi.org/10.7554/eLife.64505

Diba， K.， & Buzsáki， G. (2007). Forward and reverse hippocampal place-cell sequences during ripples. Nature Neuroscience， 10(10)， 1241–1242. https://doi.org/10.1038/nn1961

Diekelmann， S.， Büchel， C.， Born， J.， & Rasch， B. (2011). Labile or stable: Opposing consequences for memory when reactivated during waking and sleep. Nature Neuroscience， 14(3)， 381–386. https://doi.org/10.1038/nn.2744

Dupret， D.， O’Neill， J.， Pleydell-Bouverie， B.， & Csicsvari， J. (2010). The reorganization and reactivation of hippocampal maps predict spatial memory performance. Nature Neuroscience， 13(8)， 995–1002. https://doi.org/10.1038/nn.2599

Ego-Stengel， V.， & Wilson， M. A. (2010). Disruption of ripple-associated hippocampal activity during rest impairs spatial learning in the rat. Hippocampus， 20(1)， 1–10. https://doi.org/10.1002/hipo.20707

Eichenlaub， J.-B.， Jarosiewicz， B.， Saab， J.， Franco， B.， Kelemen， J.， Halgren， E.， Hochberg， L. R.， & Cash， S. S. (2020). Replay of Learned Neural Firing Sequences during Rest in Human Motor Cortex. Cell Reports， 31(5). https://doi.org/10.1016/j.celrep.2020.107581

Ekman， M.， Kok， P.， & de Lange， F. P. (2017). Time-compressed preplay of anticipated events in human primary visual cortex. Nature Communications， 8(1)， 15276. https://doi.org/10.1038/ncomms15276

Euston， D. R.， Tatsuno， M.， & McNaughton， B. L. (2007). Fast-Forward Playback of Recent Memory Sequences in Prefrontal Cortex During Sleep. Science， 318(5853)， 1147–1150. https://doi.org/10.1126/science.1148979

Foster， D. J. (2017). Replay Comes of Age. Annual Review of Neuroscience， 40(1)， 581–602. https://doi.org/10.1146/annurev-neuro-072116-031538

Girardeau， G.， Benchenane， K.， Wiener， S. I.， Buzsáki， G.， & Zugaro， M. B. (2009). Selective suppression of hippocampal ripples impairs spatial memory. Nature Neuroscience， 12(10)， 1222–1223. https://doi.org/10.1038/nn.2384

Gupta， A. S.， van der Meer， M. A. A.， Touretzky， D. S.， & Redish， A. D. (2010). Hippocampal Replay Is Not a Simple Function of Experience. Neuron， 65(5)， 695–705. https://doi.org/10.1016/j.neuron.2010.01.034

Higgins， C.， Liu， Y.， Vidaurre， D.， Kurth-Nelson， Z.， Dolan， R.， Behrens， T.， & Woolrich， M. (2021). Replay bursts in humans coincide with activation of the default mode and parietal alpha networks. Neuron， 109(5)， 882-893.e7. https://doi.org/10.1016/j.neuron.2020.12.007

Ji， D.， & Wilson， M. A. (2007). Coordinated memory replay in the visual cortex and hippocampus during sleep. Nature Neuroscience， 10(1)， 100–107. https://doi.org/10.1038/nn1825

Kaefer， K.， Stella， F.， McNaughton， B. L.， & Battaglia， F. P. (2022). Replay， the default mode network and the cascaded memory systems model. Nature Reviews Neuroscience， 1–13. https://doi.org/10.1038/s41583-022-00620-6

Liu， Y.， Dolan， R. J.， Kurth-Nelson， Z.， & Behrens， T. E. J. (2019). Human Replay Spontaneously Reorganizes Experience. Cell， 178(3)， 640-652.e14. https://doi.org/10.1016/j.cell.2019.06.012

Liu， Y.， Mattar， M. G.， Behrens， T. E. J.， Daw， N. D.， & Dolan， R. J. (2021). Experience replay is associated with efficient nonlocal learning. Science， 372(6544)， eabf1357. https://doi.org/10.1126/science.abf1357

Maquet， P [P.]， Laureys， S [S.]， Peigneux， P [P.]， Fuchs， S [S.]， Petiau， C.， Phillips， C [C.]， Aerts， J [J.]， Del Fiore， G [G.]， Degueldre， C [C.]， Meulemans， T.， Luxen， A [A.]， Franck， G.， van der Linden， M.， Smith， C.， & Cleeremans， A. (2000). Experience-dependent changes in cerebral activation during human REM sleep. Nature Neuroscience， 3(8)， 831–836. https://doi.org/10.1038/77744

Momennejad， I.， Otto， A. R.， Daw， N. D.， & Norman， K. A. (2018). Offline replay supports planning in human reinforcement learning. ELife， 7， e32548. https://doi.org/10.7554/eLife.32548

Mou， X.， Pokhrel， A.， Suresh， P.， & Ji， D. (2022). Observational learning promotes hippocampal remote awake replay toward future reward locations. Neuron， 110(5)， 891-902.e7. https://doi.org/10.1016/j.neuron.2021.12.005

Nitzan， N.， Swanson， R.， Schmitz， D.， & Buzsáki， G. (2022). Brain-wide interactions during hippocampal sharp wave ripples. Proceedings of the National Academy of Sciences， 119(20)， e2200931119. https://doi.org/10.1073/pnas.2200931119

Peigneux， P [Philippe]， Laureys， S [Steven]， Fuchs， S [Sonia]， Collette， F.， Perrin， F.， Reggers， J.， Phillips， C [Christophe]， Degueldre， C [Christian]， Del Fiore， G [Guy]， Aerts， J [Jo?l]， Luxen， A [André]， & Maquet， P [Pierre] (2004). Are spatial memories strengthened in the human hippocampus during slow wave sleep? Neuron， 44(3)， 535–545. https://doi.org/10.1016/j.neuron.2004.10.007

Richards， B. A.， Lillicrap， T. P.， Beaudoin， P.， Bengio， Y.， Bogacz， R.， Christensen， A.， Clopath， C.， Costa， R. P.， de Berker， A.， Ganguli， S.， Gillon， C. J.， Hafner， D.， Kepecs， A.， Kriegeskorte， N.， Latham， P.， Lindsay， G. W.， Miller， K. D.， Naud， R.， Pack， C. C.， … Kording， K. P. (2019). A deep learning framework for neuroscience. Nature Neuroscience， 22(11)， 1761–1770. https://doi.org/10.1038/s41593-019-0520-2

Rubin， D. B.， Hosman， T.， Kelemen， J. N.， Kapitonava， A.， Willett， F. R.， Coughlin， B. F.， Halgren， E.， Kimchi， E. Y.， Williams， Z. M.， Simeral， J. D.， Hochberg， L. R.， & Cash， S. S. (2022). Learned Motor Patterns Are Replayed in Human Motor Cortex during Sleep. Journal of Neuroscience， 42(25)， 5007–5020. https://doi.org/10.1523/JNEUROSCI.2074-21.2022

Schwartenbeck， P.， Baram， A.， Liu， Y.， Mark， S.， Muller， T.， Dolan， R.， Botvinick， M.， Kurth-Nelson， Z.， & Behrens， T. (2021). Generative replay for compositional visual understanding in the prefrontal-hippocampal circuit (p. 2021.06.06.447249). bioRxiv. https://doi.org/10.1101/2021.06.06.447249

Schuck， N. W.， & Niv， Y. (2019). Sequential replay of nonspatial task states in the human hippocampus. Science (New York， N.Y.)， 364(6447). https://doi.org/10.1126/science.aaw5181

Wilson， M. A.， & McNaughton， B. L. (1994). Reactivation of hippocampal ensemble memories during sleep. Science (New York， N.Y.)， 265(5172)， 676–679. https://doi.org/10.1126/science.8036517

Wimmer， G. E.， Liu， Y.， Vehar， N.， Behrens， T. E. J.， & Dolan， R. J. (2020). Episodic memory retrieval success is associated with rapid replay of episode content. Nature Neuroscience， 23(8)， 1025–1033. https://doi.org/10.1038/s41593-020-0649-z

Y， L.， Mg， M.， Tej， B.， Nd， D.， & Rj， D. (2021). Experience replay is associated with efficient nonlocal learning. Science， 372. https://www.neuroscience.ox.ac.uk/publications/1179004

Yonelinas， A. P.， Ranganath， C.， Ekstrom， A. D.， & Wiltgen， B. J. (2019). A contextual binding theory of episodic memory: Systems consolidation reconsidered. Nature Reviews Neuroscience， 20(6)， 364–375. https://doi.org/10.1038/s41583-019-0150-4

Zuo， S.， Wang， L.， Shin， J. H.， Cai， Y.， Zhang， B.， Lee， S. W.， Appiah， K.， Zhou， Y.， & Kwok， S. C. (2020). Behavioral evidence for memory replay of video episodes in the macaque. ELife， 9. https://doi.org/10.7554/eLife.54519

https://debuglies.com/2020/05/07/first-direct-evidence-that-human-brains-replay-waking-experiences-while-asleep/

https://zhuanlan.zhihu.com/p/79345382

本文來自微信公眾號(hào)：Mindverse Research（ID：gh_be9d7092abf7），作者：朱思嘉，審校：十三維

本內(nèi)容為作者獨(dú)立觀點(diǎn)，不代表虎嗅立場(chǎng)。未經(jīng)允許不得轉(zhuǎn)載，授權(quán)事宜請(qǐng)聯(lián)系 [email protected]