掌握▪新創動態
《國際要聞》腦機介面新突破!科技讀心術:只需「想像寫字」即可轉譯出真實文字
2021-05-14

還記得前陣子馬斯克的大腦晶片新創 Neuralink 才剛發表過猴子用意念打電動的影片嗎?這次輪到學術界帶給大眾驚喜,科學期刊 Nature 於本週發表一篇相當有趣的人機介面互動研究,利用人腦植入物作為媒介,全身癱瘓的病患可憑藉「想像寫字」來輸出真正的文字,每分鐘約可寫出 90 個英文字母,非常驚人。

想像力就是你的超能力

先前也有相關的研究及臨床實驗,利用腦機介面技術讓癱瘓者可以打字,並且嘗試如傳送訊息、線上購物的活動。雖然有效,但缺點就是過程緩慢,需要使用者全神貫注地讓眼動儀追蹤其脈衝,並且也需要使用者花費時間來學習如何控制系統。

於是,科學家開始嘗試別的辦法來幫助癱瘓者傳達意念。研究發現,在人腦執掌書寫思維的區域,會在書寫時產生對特定文字的意念,而這也許可以利用植入物來追蹤,再將此電流訊號轉譯成真實世界的文字。但很快就遇到研究瓶頸:這個意念很難被目前的科學方式所理解。

然而,天無絕人之路。研究團隊發現,在這個意念變成實際動作(書寫)前,此電流訊號會先被傳輸到運動皮質,並在那裏被大腦轉譯成肌肉動作,因此推測在運動皮質所掌握到的意念脈衝,信號較為清晰、不模糊,更容易被科學技術給理解,成為研究團隊的新目標。

研究人員在癱瘓者的前運動皮質(premotor cortex)處放入兩個植入物,用來捕捉寫字動作的意念。實驗中,受試者被要求想像在紙上寫字的感覺,並且透過植入物記錄這時的神經活動狀態。

實驗結果

研究人員放了 200 個電極進入受試者的前運動皮層,雖然不是所有意念都能成功被轉譯出來,但也非無功而返。團隊以主成分分析(Principal components analysis,PCA)方法,解構想像寫每個字母時的神經活動特徵,並將其轉譯成二維圖(two-dimensional plot)。結果發現,肉眼上看起來比較相似的字母,例如 p、b、h 及 n、r,會產生彼此靠近的群體,讓人難以分辨。

總而言之,在這次的實驗中,研究人員可在 94% 的準確度中來解密受試者所書寫的文字。雖然系統的分析較為緩慢。為了讓書寫文字可以被即時辨認,研究人員訓練了一套遞歸神經網絡(recurrent neural network)來分析每個字母。

目前這套系統可處理的數據量一次約為 242 個字母,雖然處理量不大,但運作效率良好,從受試者想像到字母轉譯在螢幕上僅需半秒鐘的時間,讓溝通效率大大提升。受試者可以在每分鐘產出 90 個字母,超過過去技術約每分鐘 25 個字母的速度。而轉譯出錯率約為 5%,經過系統自動修正潤飾後,可將錯誤率降低至僅 1%,相當厲害。

但前面書寫測試所使用的句子,都是由研究員設計好,並請受試者「想像」的。而實驗第二階段,研究人員請受試者自由回答問題之答案,「邊想邊寫」的狀況則會讓速度下降至每分鐘 75 個字母,自動更正後錯誤率為 2%,表現仍不錯。

科學家:連原型都還稱不上,大家還要再等等

由於目前的受試者數量僅一人,因此無法得知這套解釋系統是否能夠通用在所有人的腦內脈衝上。此外,實驗中所使用的字符還不包含數字、大寫字母與標點符號,並且神經元恐會因微小偏移等多種因素產生誤差,因此每周至少要進行一次的系統校正,以保持穩定的低錯誤率。

 

更多其他新創資訊

 

雖然還有這麼多的難關尚須突破,但和以前的腦機介面技術相比,這套新的系統擁有溝通上的速度提升、準確性佳,並且癱瘓者也無需像以前一般全神貫注在「寫字」上,就如同一般人也能邊寫字邊和其他人聊天一樣,需要的注意力較少。另外,上述提到的「字母太像導致系統搞錯」的問題,也可以用研究團隊特別設計的替代字母來解決,這之中仍有許多的發展潛力。

此系統的商用普及化並非馬上就能實行,但也透過實驗結果告訴大眾更多腦機介面的潛力與應用,讓人類又往「黑鏡」般的世界靠攏了一些。

(來源:INSIDE 硬塞的網路趨勢觀察)

 

本網站中所有資料(包括影音.文字.圖表.數據等) ,均屬於本中心或各該新創企業團隊之專屬財產,如有引用,請確實註明出處來源。 <完整資訊>
財團法人生技醫療科技政策研究中心 版權所有
Copyright © 2012 - 2024 Research Center for Biotechnology and Medicine Policy (RBMP). All Rights Reserved