發(fā)布日期:2019-08-22
《自然—通訊》近日發(fā)表的一項(xiàng)研究介紹了一種可以將問答對話相關(guān)腦活動轉(zhuǎn)化為文字記錄的神經(jīng)解碼器。
大腦皮層包含不同的區(qū)域,其中的神經(jīng)活動會編碼語音感知與生成。研究表明,這種腦活動可以被解碼;但是之前的研究側(cè)重于將聽說任務(wù)分開解碼。
美國加州大學(xué)舊金山分校的Edward Chang及同事在模擬的問答對話試驗(yàn)中,通過腦活動解碼語音感知與生成。被試為3名正在接受癲癇治療的患者,他們要聽一系列的問題并通過一套規(guī)定的答案,口頭回答問題,作者將被試在這個過程中的腦皮層活動記錄了下來,之后這些數(shù)據(jù)被用于訓(xùn)練語音檢測和解碼模型。接著,被試再聽一系列問題,并大聲地用自己所選的答案作答。
僅使用在對話中記錄下的神經(jīng)信號,作者便能夠檢測被試何時在聽、何時在說,并且能夠預(yù)測所聽或所說的是什么。通過解碼問題,他們能夠利用所得信息提高被解碼答案的準(zhǔn)確性(因?yàn)椴糠执鸢钢贿m用于特定問題),而且對于生成語音和感知語音的解碼準(zhǔn)確性分別提高到了61%和76%。
還需要開展進(jìn)一步的工作來解碼想象的語音回答,這樣才能使因?yàn)閾p傷或神經(jīng)退行性疾病而無法說話的個體使用這項(xiàng)技術(shù)。(來源:中國科學(xué)報 唐一塵編譯)
相關(guān)論文信息:https://doi.org/10.1038/s41467-019-10994-4
來源:《自然—通訊》



