語言腦機接口技術與人工智能和具身智能技術融合。 　　中科院上海微系統與信息技術研究所供圖

中科院上海微系統與信息技術研究所供圖 　　漢語語句實時解碼。

　　近日，中國科學院上海微系統與信息技術研究所聯合相關團隊，在語言腦機接口領域取得突破性進展。

　　研究人員開發出植入式高通量柔性腦機接口系統和漢語言實時神經網絡解碼算法，并在國際上首次實現腦機接口實時漢語解碼和語句合成。這項研究不僅讓中文失語患者有望重新“開口說話”，也為腦機接口在多語言、多場景下的應用打開了新空間。

　　實現解碼任意漢字和語句

　　語言是人與人之間溝通交流的主要形式。然而，腦卒中、漸凍癥、腦外傷等重大腦疾病，常讓患者失去語言表達能力，陷入意識清醒卻無法開口的困境。

　　“中國有近800萬因各類腦疾病失去語言能力的患者，漢語解碼對他們有著很大的意義和應用價值。”中國科學院上海微系統與信息技術研究所研究員周志濤說，近年來，國際上的多個頂尖科研團隊在腦機接口英語解碼上取得了多項突破性進展，包括英語和西班牙語雙語解碼，但是使用人數最多、與英語差異很大的漢語解碼研究由于起步較晚而進展相對慢。

　　周志濤說，團隊此次研究的核心突破主要有兩點，“首次實現了漢語實時解碼，以及實現了覆蓋漢語幾乎全部音節的全譜解碼”。

　　相比于英語，漢語具有其獨特性。具體而言，英語是以多音節為主的非聲調語言，漢語則是以單音節為主的聲調語言。同時，英語詞匯量較大，常用英語單詞約為2萬個，而漢語通過約400個漢語音節加4個聲調，可構建出覆蓋日常需求的3500多個常用漢字。

　　漢語的獨特性蘊含優勢。研究團隊從這些漢語音節和聲調入手，將其作為穩定的中間解碼單元，實現從腦電到文字的“翻譯”。英語難以直接解碼海量單詞，而漢語則可以通過解碼這些漢語音節和聲調，實現覆蓋全部發音組合，進而實現解碼任意漢字和語句。

　　“音節+聲調”解碼策略

　　圍繞漢語特點，研究團隊提出了以“音節+聲調”為核心的中間解碼單元。

　　據科研人員介紹，與音素相比，音節是更完整、更充分的發音單位，持續時間更長、神經表征更穩定，更有利于從腦電信號中提取區分特征。同時，通過直接解碼音節，可以省去聲母、韻母再組合的復雜中間步驟，大幅提升解碼效率。

　　在具體實現上，研究團隊通過構建多級實時解碼數據流，以50毫秒滑動窗口提取70Hz至170Hz的High-γ頻段腦電信號，并對齊腦電信號與發音起始點，驅動雙流解碼器同步生成音節與聲調的概率分布，進而融合語言模型進行最合適的句子組合選擇，實現實時漢語語句輸出。

　　這一流程，實現了從“腦電—音節—漢字—語句”的閉環。

　　研究顯示，受試者經過9天的語言解碼任務后，394個漢語音節（解碼未覆蓋音節為生僻音節且受試者不認識）純神經解碼平均準確率達到71.2%，單音節解碼延時65ms，實時漢語語句解碼速率達到49.6字/分鐘。

　　在此基礎上，團隊進一步將語言腦機接口與人工智能、具身智能技術相融合，基于自主研發的通用型腦機操作系統，實現了多種全新交互方式。

　　例如受試者可以通過腦電解碼，驅動數字分身進行表達；可以直接與人工智能大模型對話；也可以將解碼出的語言轉化為控制指令，實時操控靈巧手完成抓握等動作。

　　拓展“說話”的邊界

　　“語言解碼在AI時代，已經不局限于單純實現‘說話’。”周志濤認為，語言解碼還可以增強人本身的能力，讓人變成“超人”，并極大地拓展控制和交互的想象力和可能性。“語言腦機接口可以作為一個控制中樞和信息樞紐，通過上述及未來各種新型交互方式的實現，幫助人控制各種先進軟硬件并與其高效協作。”

　　面向臨床應用，語言腦機接口依舊面臨一些挑戰。例如如何長期穩定植入，以及在更長時間內保持高質量腦信號采集，降低組織反應。此外，漢語神經編碼機制本身也需進一步探索。

　　研究團隊表示，下一步他們將優先考慮利用團隊最新的全無線全植入全功能腦機接口設備，開展長期植入實驗，實現實時靜默解碼，進一步提高實時解碼速率和準確性。