從非侵入性記錄中解碼連續(xù)語(yǔ)言的腦機(jī)接口將有許多科學(xué)和實(shí)際應(yīng)用。然而，目前，非侵入性語(yǔ)言解碼器只能從一小部分單詞或短語(yǔ)中識(shí)別刺激。本文介紹了一種利用功能磁共振成像(fMRI)記錄的皮層語(yǔ)義表征來(lái)重建連續(xù)語(yǔ)言的非侵入性解碼器。該解碼器可以生成可理解的單詞序列，恢復(fù)感知的語(yǔ)音、想象的語(yǔ)音甚至無(wú)聲視頻的意義。這項(xiàng)研究測(cè)試了整個(gè)大腦皮層的解碼器，并發(fā)現(xiàn)連續(xù)的語(yǔ)言可以從多個(gè)區(qū)域單獨(dú)解碼。需要注意的是，由于腦機(jī)接口需要尊重心理隱私，解碼成功需要受試者的合作。這項(xiàng)研究結(jié)果證明了非侵入性語(yǔ)言腦機(jī)接口的可行性。

【資料圖】

本文介紹一種利用功能磁共振成像(fMRI)進(jìn)行非侵入性腦記錄并利用連續(xù)自然語(yǔ)言重建感知或想象刺激的解碼器。為了實(shí)現(xiàn)這一目標(biāo)，需要克服一個(gè)主要障礙：fMRI的低時(shí)間分辨率。雖然fMRI具有極好的空間特異性，但它測(cè)量的血氧水平依賴(BOLD)信號(hào)卻很慢——神經(jīng)活動(dòng)的沖動(dòng)導(dǎo)致BOLD在大約10s內(nèi)上升和下降。對(duì)于自然口述語(yǔ)言來(lái)說，這意味著每個(gè)大腦圖像可能會(huì)受到超過20個(gè)單詞的影響。因此，解碼連續(xù)語(yǔ)言需要解決病態(tài)逆問題，因?yàn)橐獯a的單詞比大腦圖像多得多。本研究的解碼器通過生成候選詞序列，對(duì)每個(gè)候選詞誘發(fā)記錄的大腦反應(yīng)的可能性進(jìn)行評(píng)分，然后選擇最佳候選詞來(lái)實(shí)現(xiàn)這一目標(biāo)。

▲圖1. 語(yǔ)言解碼器。a，記錄三名受試者聽了16小時(shí)敘事故事時(shí)的BOLD fMRI反應(yīng)。對(duì)每個(gè)受試者進(jìn)行了編碼模型估計(jì)，以從刺激詞的語(yǔ)義特征預(yù)測(cè)大腦反應(yīng)。b，為了從新的大腦記錄中重構(gòu)語(yǔ)言，解碼器維護(hù)一組候選單詞序列。當(dāng)檢測(cè)到新單詞時(shí)，語(yǔ)言模型（LM）為每個(gè)序列提出續(xù)接，編碼模型評(píng)分記錄的大腦反應(yīng)在每個(gè)續(xù)接下的可能性。保留最有可能的續(xù)接。c，對(duì)未用于模型訓(xùn)練的測(cè)試故事中記錄的單次大腦反應(yīng)進(jìn)行解碼器評(píng)估。示例手動(dòng)選擇和注釋以演示典型的解碼器行為。解碼器精確重現(xiàn)一些單詞和短語(yǔ)，并捕捉到更多的要點(diǎn)。d，測(cè)試故事的解碼器預(yù)測(cè)與實(shí)際刺激詞的相似性顯著高于隨機(jī)水平，符合一系列語(yǔ)言相似性度量。e，對(duì)于大多數(shù)時(shí)間點(diǎn)，解碼分?jǐn)?shù)顯著高于隨機(jī)水平，在BERTScore度量下表現(xiàn)最好。f，一個(gè)受試者的識(shí)別準(zhǔn)確性。在(i, j)處的顏色反映了預(yù)測(cè)的第i秒與實(shí)際刺激的第j秒之間的相似性。識(shí)別準(zhǔn)確性顯著高于隨機(jī)水平。

為了將單詞序列與受試者的大腦反應(yīng)進(jìn)行比較，使用了一個(gè)編碼模型，該模型可以預(yù)測(cè)受試者的大腦對(duì)自然語(yǔ)言的反應(yīng)。當(dāng)受試者聽16小時(shí)自然說出的敘事故事時(shí)，記錄了他們的大腦反應(yīng)，并得到比典型語(yǔ)言fMRI實(shí)驗(yàn)多5倍的數(shù)據(jù)。試驗(yàn)過程提取了能夠捕捉刺激短語(yǔ)含義的語(yǔ)義特征，并使用線性回歸對(duì)語(yǔ)義特征如何影響大腦反應(yīng)建模(圖1a)，從而在這一數(shù)據(jù)集上訓(xùn)練編碼模型。然后，編碼模型可以通過測(cè)量記錄的大腦反應(yīng)與預(yù)測(cè)的大腦反應(yīng)的匹配程度，對(duì)單詞序列誘發(fā)記錄的大腦反應(yīng)的可能性進(jìn)行評(píng)分。

理論上，可以通過將記錄的大腦反應(yīng)與對(duì)每個(gè)可能的單詞序列進(jìn)行編碼的模型預(yù)測(cè)進(jìn)行比較，從而確定最有可能的刺激單詞。然而，可能的單詞序列數(shù)量太大，這種方法不實(shí)用，而且這些序列中的絕大多數(shù)與自然語(yǔ)言不相似。為了將候選序列限制為結(jié)構(gòu)良好的英語(yǔ)，使用了在大量自然英語(yǔ)單詞序列數(shù)據(jù)集上訓(xùn)練的生成神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型和波束搜索算法，該算法逐字生成候選序列。在波束搜索中，解碼器在任何給定時(shí)間保持一個(gè)包含k個(gè)最可能的候選序列的波束。當(dāng)基于聽覺和言語(yǔ)區(qū)的大腦活動(dòng)檢測(cè)到新單詞時(shí)(圖2)，語(yǔ)言模型將之前解碼的單詞作為上下文，為波束中的每個(gè)序列生成延續(xù)。然后，編碼模型對(duì)每次延續(xù)誘發(fā)記錄到的大腦反應(yīng)的可能性進(jìn)行評(píng)分，并且最可能的k個(gè)延續(xù)在波束中保留到下一個(gè)時(shí)間步(圖1b)。這個(gè)過程在任意一段時(shí)間內(nèi)不斷逼近最可能的刺激詞。

▲圖2. 編碼模型和單詞速率模型表現(xiàn)。與fMRI數(shù)據(jù)交互的兩個(gè)解碼器組件是編碼模型和單詞速率模型。a，通過預(yù)測(cè)對(duì)所感知的語(yǔ)音測(cè)試故事的大腦反應(yīng)，并計(jì)算預(yù)測(cè)反應(yīng)與實(shí)際單次反應(yīng)之間的線性相關(guān)性，評(píng)估編碼模型。b，編碼模型訓(xùn)練的數(shù)據(jù)量不同。為了總結(jié)編碼模型在皮層區(qū)域上的表現(xiàn)，相關(guān)性在用于解碼的10,000個(gè)體素之間平均。編碼模型的表現(xiàn)隨著每個(gè)受試者收集的訓(xùn)練數(shù)據(jù)量的增加而提高。c，編碼模型在被平均處理的不同重復(fù)的感知語(yǔ)音測(cè)試故事的大腦反應(yīng)上進(jìn)行測(cè)試，以人為地增加信噪比（SNR）。編碼模型的表現(xiàn)隨著平均反應(yīng)數(shù)的增加而提高。d，單詞速率模型訓(xùn)練的數(shù)據(jù)量不同。通過預(yù)測(cè)測(cè)試故事的單詞速率，并計(jì)算預(yù)測(cè)和實(shí)際單詞速率向量之間的線性相關(guān)性來(lái)評(píng)估單詞速率模型。單詞速率模型的表現(xiàn)隨著每個(gè)受試者收集的訓(xùn)練數(shù)據(jù)量的略微增加。e，對(duì)于所感知的語(yǔ)音的大腦反應(yīng)，針對(duì)聽覺皮層的單詞速率模型明顯優(yōu)于針對(duì)前額語(yǔ)音產(chǎn)生區(qū)域或隨機(jī)抽取的體素的單詞速率模型。f，對(duì)于想象語(yǔ)音的大腦反應(yīng)，針對(duì)不同皮層區(qū)域進(jìn)行的單詞速率模型表現(xiàn)沒有顯著差異。對(duì)于所有結(jié)果，黑線表示受試者的平均值，誤差線表示平均值的標(biāo)準(zhǔn)誤差（n=3）。

結(jié)果

本研究為三名受試者訓(xùn)練解碼器，并在受試者聽不用于模型訓(xùn)練的新穎測(cè)試故事時(shí)，對(duì)每名受試者的解碼器進(jìn)行單獨(dú)的、單次試驗(yàn)的大腦反應(yīng)評(píng)估。結(jié)果表明，解碼后的單詞序列不僅捕獲了刺激的意義，而且通常甚至捕獲了確切的單詞和短語(yǔ)，這表明可以從BOLD信號(hào)中恢復(fù)出細(xì)粒度的語(yǔ)義信息(圖1c)。為了量化解碼性能，使用幾種語(yǔ)言相似性度量比較了一個(gè)測(cè)試故事(1839個(gè)單詞)的解碼和實(shí)際單詞序列。單詞錯(cuò)誤率(WER)、BLEU和METEOR等標(biāo)準(zhǔn)指標(biāo)衡量?jī)蓚€(gè)序列共享的單詞數(shù)量。然而，由于不同的單詞可以表達(dá)相同的意思——例如，“我們很忙”和“我們有很多工作”——使用了BERTScore，這是一種使用機(jī)器學(xué)習(xí)來(lái)量化兩個(gè)序列是否具有相同含義的新方法。故事的解碼性能在每個(gè)度量下都顯著高于預(yù)期的偶然，尤其是BERTScore(圖1d)。故事中的大多數(shù)時(shí)間點(diǎn)(72-82%)的BERTScore顯著高于預(yù)期的隨機(jī)時(shí)間點(diǎn)(圖1e)，并且可以根據(jù)解碼單詞和實(shí)際單詞的BERTScore相似性從其他時(shí)間點(diǎn)(平均百分位數(shù)= 0.85-0.91)識(shí)別(圖1f)。

▲圖3. 通過大腦皮層區(qū)域進(jìn)行解碼。a，一個(gè)受試者的大腦皮層區(qū)域。用于解碼的大腦數(shù)據(jù)（彩色區(qū)域）被分為語(yǔ)音網(wǎng)絡(luò)、頂、顳、枕聯(lián)合區(qū)和前額皮層（PFC）區(qū)域。b，來(lái)自每個(gè)半球的每個(gè)區(qū)域的解碼器預(yù)測(cè)，相對(duì)于大多數(shù)指標(biāo)而言，都比預(yù)期的隨機(jī)結(jié)果與刺激詞更相似。誤差條表示平均值的標(biāo)準(zhǔn)誤差（n=3個(gè)受試者）。c，每個(gè)區(qū)域的一個(gè)受試者的解碼性能時(shí)間序列。水平線表示在BERTScore指標(biāo)下解碼性能顯著高于預(yù)期的概率的時(shí)間點(diǎn)。從整個(gè)大腦解碼的大多數(shù)時(shí)間點(diǎn)也從聯(lián)合和前額區(qū)域解碼得到了顯著結(jié)果。d，解碼器預(yù)測(cè)在區(qū)域之間進(jìn)行了比較。來(lái)自每一對(duì)區(qū)域的解碼的單詞序列都比預(yù)期的隨機(jī)結(jié)果更相似。e，測(cè)試故事中的片段與每個(gè)半球的每個(gè)區(qū)域的解碼器預(yù)測(cè)一起顯示給一個(gè)受試者。這些結(jié)果表明，多個(gè)大腦皮層區(qū)域編碼了自然語(yǔ)言的精細(xì)、一致和冗余的表示。Assoc表示聯(lián)合；hem表示半球。

另外，本研究還使用行為實(shí)驗(yàn)測(cè)試了解碼后的單詞是否捕捉到了故事的原意。結(jié)果顯示，在16個(gè)閱讀理解問題中，只有閱讀過解碼后的單詞的受試者可以回答9個(gè)?？缙べ|(zhì)區(qū)域解碼圖1所示的解碼結(jié)果使用了多個(gè)皮質(zhì)區(qū)域的反應(yīng)，獲得了良好的表現(xiàn)。為了回答使用解碼器來(lái)研究語(yǔ)言是如何在這些區(qū)域中表示的，將大腦數(shù)據(jù)劃分為之前在語(yǔ)言處理過程中表現(xiàn)活躍的三個(gè)宏觀皮質(zhì)區(qū)(語(yǔ)音網(wǎng)絡(luò)、頂葉-顳葉-枕葉聯(lián)合區(qū)和前額葉區(qū))，并分別從每個(gè)半球的每個(gè)區(qū)域進(jìn)行解碼(圖3a)。

為了測(cè)試一個(gè)區(qū)域是否以單詞和短語(yǔ)的粒度編碼語(yǔ)義信息，我們使用多種語(yǔ)言相似度指標(biāo)評(píng)估了來(lái)自該區(qū)域的解碼器預(yù)測(cè)。由于使用的解碼器產(chǎn)生可解釋的單詞序列，因此可以直接評(píng)估每個(gè)區(qū)域代表刺激詞的精確程度(圖3b)。在WER和BERTScore指標(biāo)下，所有區(qū)域的解碼器預(yù)測(cè)與實(shí)際刺激詞的相似性顯著高于隨機(jī)預(yù)期。在BLEU和METEOR指標(biāo)下，除右側(cè)大腦半球語(yǔ)音網(wǎng)絡(luò)外，所有區(qū)域的解碼器預(yù)測(cè)結(jié)果與實(shí)際刺激詞的相似程度均顯著高于預(yù)期結(jié)果。這些結(jié)果表明，多個(gè)皮質(zhì)區(qū)域以單個(gè)單詞和短語(yǔ)的粒度來(lái)代表語(yǔ)言。

為了確定始終參與語(yǔ)言處理的區(qū)域，計(jì)算了從每個(gè)區(qū)域顯著解碼的時(shí)間點(diǎn)的分?jǐn)?shù)。我們發(fā)現(xiàn)，從全腦顯著解碼的大多數(shù)時(shí)間點(diǎn)可分別從關(guān)聯(lián)(80 ~ 86%)和前額葉(46 ~ 77%)區(qū)域解碼(圖3c)，這表明這些區(qū)域始終代表語(yǔ)言中的單詞和短語(yǔ)的意義。值得注意的是，在從全腦顯著解碼的時(shí)間點(diǎn)中，只有28-59%可以從語(yǔ)音網(wǎng)絡(luò)解碼。最后，評(píng)估了不同區(qū)域編碼的語(yǔ)言表達(dá)之間的關(guān)系，直接比較了不同區(qū)域和半球的解碼單詞序列，發(fā)現(xiàn)每對(duì)預(yù)測(cè)之間的相似性顯著高于隨機(jī)預(yù)期(圖3d)。這表明不同的皮質(zhì)區(qū)域編碼冗余的單詞級(jí)語(yǔ)言表征。

總之，本研究結(jié)果表明，可以從全腦解碼的單詞序列也可以從多個(gè)單獨(dú)區(qū)域一致解碼(圖3e)。這種冗余編碼的一個(gè)實(shí)際含義是，未來(lái)的腦機(jī)接口即使有選擇地從最易訪問或最完整的區(qū)域進(jìn)行記錄，也可能獲得良好的性能。

解碼器應(yīng)用和隱私影響

在之前的分析中，根據(jù)大腦對(duì)感知到的言語(yǔ)的反應(yīng)訓(xùn)練和測(cè)試了語(yǔ)言解碼器。為了展示我們的語(yǔ)義語(yǔ)言解碼器的潛在應(yīng)用范圍，評(píng)估了根據(jù)感知到的語(yǔ)音的大腦反應(yīng)訓(xùn)練的語(yǔ)言解碼器可否用于解碼對(duì)其他任務(wù)的大腦反應(yīng)。

▲圖4. 解碼器的應(yīng)用和隱私影響。a，為了測(cè)試語(yǔ)言解碼器是否可以轉(zhuǎn)換到想象的言語(yǔ)，被試在想象講兩次5個(gè)1分鐘的測(cè)試故事的同時(shí)被解碼。我們將解碼器預(yù)測(cè)結(jié)果與來(lái)自同一受試者的獨(dú)立記錄的參考轉(zhuǎn)錄本進(jìn)行了比較。識(shí)別準(zhǔn)確性顯示為一個(gè)受試者。每一行對(duì)應(yīng)一次掃描，顏色反映了解碼器預(yù)測(cè)和所有5個(gè)參考轉(zhuǎn)錄本之間的相似性。b、參考文本與一個(gè)主題的三個(gè)想象故事的解碼器預(yù)測(cè)一起展示。c，為了測(cè)試語(yǔ)言解碼器是否可以跨模態(tài)轉(zhuǎn)換，被試在觀看四部無(wú)聲短片時(shí)被解碼。解碼器預(yù)測(cè)與影片顯著相關(guān)。d，測(cè)試解碼器是否被專注力調(diào)制，受試者在一個(gè)多說話者刺激中注意到女性說話者或男性說話者。解碼器預(yù)測(cè)與有人參與的故事比與無(wú)人參與的故事更相似。e，為了測(cè)試解碼是否可以在沒有來(lái)自特定受試者的訓(xùn)練數(shù)據(jù)的情況下成功，解碼者接受了來(lái)自5組其他受試者(由標(biāo)記表示)的與解剖學(xué)一致的大腦反應(yīng)的訓(xùn)練?？鐚W(xué)科解碼器的表現(xiàn)幾乎高于偶然性，并且明顯低于學(xué)科內(nèi)解碼器，這表明學(xué)科內(nèi)訓(xùn)練數(shù)據(jù)是至關(guān)重要的。f，為了測(cè)試解碼是否可以被有意識(shí)地抵制，被試者默默地完成三個(gè)抵抗任務(wù):數(shù)數(shù)、給動(dòng)物命名和講一個(gè)不同的故事。解碼性能與被動(dòng)傾聽任務(wù)相比較。給動(dòng)物命名和講不同的故事顯著降低了每個(gè)皮質(zhì)區(qū)域的解碼性能，這表明解碼是可以被抵制的。標(biāo)記表示個(gè)體受試者。不同的實(shí)驗(yàn)不能基于故事解碼分?jǐn)?shù)進(jìn)行比較，這取決于刺激長(zhǎng)度。

想象語(yǔ)音解碼：腦-機(jī)接口的一個(gè)關(guān)鍵任務(wù)是在沒有外部刺激的情況下解碼隱蔽的想象語(yǔ)言。為了測(cè)試我們的語(yǔ)言解碼器能否用于解碼想象中的語(yǔ)言，受試者在fMRI記錄下的同時(shí)想象講述5個(gè)1分鐘的故事，并在掃描儀外分別講述相同的故事以提供參考文本。對(duì)于每一次1分鐘的掃描，我們通過解碼掃描正確識(shí)別出被試正在想象的故事，將解碼器預(yù)測(cè)和參考轉(zhuǎn)錄本之間的相似性評(píng)分歸一化為概率，并選擇最可能的轉(zhuǎn)錄本(圖4a)。在整個(gè)故事中，解碼器的預(yù)測(cè)與相應(yīng)的轉(zhuǎn)錄本的相似程度顯著高于隨機(jī)預(yù)期。定性分析表明，解碼器可以恢復(fù)想象刺激的意義(圖4b)。為了使解碼器跨任務(wù)遷移，目標(biāo)任務(wù)必須與訓(xùn)練任務(wù)共享表示。編碼模型經(jīng)過訓(xùn)練，可以預(yù)測(cè)受試者的大腦會(huì)對(duì)感知到的語(yǔ)音做出何種反應(yīng)，因此解碼器的明確目標(biāo)是生成能夠在受試者聽到時(shí)喚起記錄下來(lái)的大腦反應(yīng)的單詞。

跨通道解碼：語(yǔ)義表征也在語(yǔ)言感知和一系列其他知覺和概念過程之間共享，這表明與之前主要使用運(yùn)動(dòng)或聽覺信號(hào)的語(yǔ)言解碼器不同，本研究的語(yǔ)義語(yǔ)言解碼器可能能夠從大腦對(duì)非語(yǔ)言任務(wù)的反應(yīng)中重建語(yǔ)言描述。為了測(cè)試這一點(diǎn)，被試者觀看了四部沒有聲音的短片，同時(shí)用fMRI記錄，記錄的反應(yīng)用語(yǔ)義語(yǔ)言解碼器解碼。將解碼后的單詞序列與視障人士對(duì)電影的語(yǔ)言描述進(jìn)行了比較，發(fā)現(xiàn)它們顯著地比預(yù)期的偶然性更相似，解碼序列準(zhǔn)確地描述了影片中的事件(圖4c)。這表明，在語(yǔ)言感知期間訓(xùn)練的單個(gè)語(yǔ)義解碼器可用于解碼一系列語(yǔ)義任務(wù)。

專注力對(duì)解碼的影響：因?yàn)檎Z(yǔ)義表征受專注力調(diào)節(jié)，所以本研究的語(yǔ)義解碼器應(yīng)該選擇性地重建被關(guān)注的刺激。為了測(cè)試專注力對(duì)解碼的影響，受試者聽了兩個(gè)重復(fù)的多人刺激，這個(gè)刺激是由男女說話者講的兩個(gè)故事疊加而成的。在每次演講中，受試者被提示去聽不同的演講者。解碼器預(yù)測(cè)與在場(chǎng)故事的相似性顯著高于與無(wú)人在場(chǎng)故事的相似性，表明解碼器選擇性地重建了出席刺激(圖4d)。這些結(jié)果表明，語(yǔ)義解碼器可以在具有多個(gè)信息源的復(fù)雜環(huán)境中表現(xiàn)良好。此外，這些結(jié)果表明，被試著對(duì)解碼器的輸出具有有意識(shí)的控制，并表明語(yǔ)義解碼器只能重建被試正在積極關(guān)注的內(nèi)容。

隱私的影響：語(yǔ)義解碼技術(shù)存在一個(gè)重要的倫理問題，即可能危及心理隱私。為了測(cè)試是否可以在沒有被試的合作下訓(xùn)練解碼器，嘗試使用從其他被試的數(shù)據(jù)訓(xùn)練解碼器來(lái)解碼每個(gè)被試的感知語(yǔ)音。為此，本研究收集了七個(gè)被試聽取5小時(shí)敘述性故事的數(shù)據(jù)，并使用容積和基于表面的方法在被試之間進(jìn)行了解剖對(duì)齊。在跨被試數(shù)據(jù)上訓(xùn)練的解碼器的表現(xiàn)僅略高于隨機(jī)猜測(cè)。這表明，被試的合作仍然是解碼器訓(xùn)練的必要條件（圖4e）。

為了測(cè)試經(jīng)過人的合作訓(xùn)練的解碼器之后是否會(huì)被有意識(shí)地抵制，讓受試者在聽敘述故事的片段時(shí)，默想三個(gè)認(rèn)知任務(wù)——計(jì)算（“七次循環(huán)計(jì)數(shù)”）、語(yǔ)義記憶（“命名和想象動(dòng)物”）和想象的言語(yǔ)（“講一個(gè)不同的故事”）。結(jié)果發(fā)現(xiàn)，相對(duì)于被動(dòng)聽取基線的每個(gè)大腦區(qū)域的解碼表現(xiàn)，進(jìn)行語(yǔ)義記憶和想象言語(yǔ)任務(wù)會(huì)顯著降低。這表明，在對(duì)抗性場(chǎng)景中，語(yǔ)義解碼可以被有意識(shí)地抵制，而這種抵制不能僅僅通過集中解碼器于特定的大腦區(qū)域來(lái)克服（圖4f）。

▲圖5. 解碼錯(cuò)誤的來(lái)源。a，限制解碼性能的潛在因素。b，為了測(cè)試解碼性能是否受到訓(xùn)練數(shù)據(jù)集大小的限制，解碼器被訓(xùn)練使用不同數(shù)量的數(shù)據(jù)。每次訓(xùn)練數(shù)據(jù)集大小加倍，解碼分?jǐn)?shù)似乎都會(huì)增加相同的數(shù)量。c，為了測(cè)試解碼性能是否受到測(cè)試數(shù)據(jù)中的噪聲的限制，通過對(duì)測(cè)試故事的多次重復(fù)取平均來(lái)人工提高了測(cè)試響應(yīng)的信噪比。解碼性能略微隨平均響應(yīng)數(shù)增加而提高。d，為了測(cè)試解碼性能是否受到模型誤差規(guī)范的限制，將單詞級(jí)別的解碼分?jǐn)?shù)與行為評(píng)分和數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)進(jìn)行了比較，標(biāo)記表示個(gè)體受試者。e，解碼性能與單詞具體性顯著相關(guān)，表明模型誤差規(guī)范有助于解碼錯(cuò)誤。解碼性能與訓(xùn)練刺激中單詞頻率不顯著相關(guān)，表明模型誤差規(guī)范不是由于訓(xùn)練數(shù)據(jù)中的噪聲引起的。LM，語(yǔ)言模型。

為了確定潛在的改進(jìn)途徑，評(píng)估了語(yǔ)言感知過程中的解碼錯(cuò)誤是否反映了fMRI記錄與本研究模型的局限性(圖5a)。BOLD fMRI記錄通常信噪比較低。在模型估計(jì)過程中，可以通過增加數(shù)據(jù)集的大小來(lái)減少訓(xùn)練數(shù)據(jù)中噪聲的影響。為了評(píng)估解碼性能是否受到訓(xùn)練數(shù)據(jù)集大小的限制，使用不同數(shù)量的數(shù)據(jù)訓(xùn)練了解碼器。每次將訓(xùn)練數(shù)據(jù)集的大小增加一倍，解碼分?jǐn)?shù)似乎都會(huì)增加等量(圖5b)。這表明，對(duì)更多數(shù)據(jù)進(jìn)行訓(xùn)練將提高解碼性能。測(cè)試數(shù)據(jù)中的低信噪比也可能限制可解碼的信息量。為了評(píng)估單次試驗(yàn)fMRI信噪比的未來(lái)改善是否可能改善解碼性能，本研究中人為地提高了信噪比，方法是對(duì)測(cè)試故事不同重復(fù)過程中收集的大腦反應(yīng)進(jìn)行平均。解碼性能隨著平均響應(yīng)數(shù)的增加而略有提高(圖5c)，這表明解碼錯(cuò)誤的某些成分反映了測(cè)試數(shù)據(jù)中的噪聲。

為了評(píng)估解碼性能是否受到模型錯(cuò)誤規(guī)范(例如使用次優(yōu)特征來(lái)表示語(yǔ)言刺激)的限制，測(cè)試了解碼錯(cuò)誤是否遵循系統(tǒng)模式。對(duì)6個(gè)測(cè)試故事中每個(gè)單詞的解碼情況進(jìn)行評(píng)分，并將評(píng)分與行為單詞評(píng)級(jí)和數(shù)據(jù)集統(tǒng)計(jì)進(jìn)行比較。如果解碼錯(cuò)誤僅僅是由測(cè)試數(shù)據(jù)中的噪聲引起的，那么所有的單詞都應(yīng)該受到同等的影響。然而，我們發(fā)現(xiàn)解碼性能與單詞具象性的行為評(píng)級(jí)顯著相關(guān)，這表明解碼器在恢復(fù)具有一定語(yǔ)義屬性的單詞方面較差(圖4d)。值得注意的是，解碼性能與訓(xùn)練刺激中的詞頻沒有顯著相關(guān)性，這表明模型的錯(cuò)誤描述主要不是由訓(xùn)練數(shù)據(jù)中的噪聲引起的(圖5e)。研究結(jié)果表明，除了訓(xùn)練和測(cè)試數(shù)據(jù)中的隨機(jī)噪聲外，模型錯(cuò)誤規(guī)范是解碼錯(cuò)誤的主要來(lái)源。

討論

本研究表明，感知和想象的刺激的意義可以從BOLD信號(hào)解碼為連續(xù)的語(yǔ)言，標(biāo)志著非侵入性腦機(jī)接口的重要一步。雖然之前的研究表明，BOLD信號(hào)包含豐富的語(yǔ)義信息，但本研究結(jié)果表明，這些信息是在單個(gè)單詞和短語(yǔ)的粒度上捕獲的。為了重建這些信息，本研究的解碼器依賴于兩項(xiàng)創(chuàng)新，這兩項(xiàng)創(chuàng)新可以解釋語(yǔ)言的組合結(jié)構(gòu):使用自回歸先驗(yàn)來(lái)生成新的序列，以及使用波束搜索算法來(lái)高效地搜索最佳序列。總之，這些創(chuàng)新使得從相對(duì)緩慢的大腦信號(hào)中解碼結(jié)構(gòu)化的序列信息成為可能。

本研究中的解碼器與大多數(shù)現(xiàn)有的語(yǔ)言解碼器不同，因?yàn)樗褂谜Z(yǔ)義特征而不是運(yùn)動(dòng)特征來(lái)表示語(yǔ)言，主要使用在語(yǔ)言感知過程中編碼語(yǔ)義表示的區(qū)域的數(shù)據(jù)。與運(yùn)動(dòng)特征不同，語(yǔ)義特征在嘗試言語(yǔ)和想象言語(yǔ)時(shí)都可以被訪問，并且在語(yǔ)言和一系列其他認(rèn)知任務(wù)之間是共享的。此跨任務(wù)傳輸可能實(shí)現(xiàn)新的解碼器應(yīng)用。然而，本研究也發(fā)現(xiàn)，語(yǔ)義特征可能會(huì)失去特異性，導(dǎo)致解碼器轉(zhuǎn)述實(shí)際的刺激。運(yùn)動(dòng)特征能夠更好地區(qū)分實(shí)際的刺激和它的解釋，因?yàn)樗鼈兣c刺激的表面形式直接相關(guān)。另外，本研究還討論了隱私問題，隱私分析表明，目前訓(xùn)練和應(yīng)用解碼器都需要主體合作。此外，在沒有受試者合作以及出于惡意的目的等其他不可預(yù)見的原因，提高了研究者對(duì)大腦解碼技術(shù)風(fēng)險(xiǎn)的認(rèn)識(shí)，制定保護(hù)每個(gè)人精神隱私的政策也是至關(guān)重要的。

參考：

Semantic reconstruction of continuouslanguage from non-invasive brain recordings

—— End ——

僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！