掌握▪新創動態
《國際要聞》Google發表最新眼動追蹤技術,有助發展視覺、無障礙和醫療保健領域新應用
2021-05-13

Google發表最新眼動追蹤技術,透過使用機器學習技術,僅使用智慧型手機的前鏡頭,就能夠準確地捕捉使用者的視線,低成本的眼動追蹤,將有助於發展視覺、無障礙和醫療保健等領域新應用。而Google也討論了將該技術用於精神疲勞的應用,只要幾分鐘使用者的注視資料,就能準確偵測精神疲勞。

Google提到,從1970年以來,眼動研究已經廣泛用於視覺科學、語言和可用性領域,而除了基礎研究之外,眼球運動也能用於用戶體驗研究、遊戲和駕駛等廣泛的應用上,但是因為過去的眼動研究,都必須使用專門的眼動儀,導致應用成本高且難以擴展。

Google新開發的注視模型,是使用MIT GazeCapture資料集訓練的前饋卷積神經網路ConvNet,臉部偵測演算法會標記出使用者眼睛區域,並且將剪裁的影格送給ConvNet進行處理。為了評估模型,Google收集了研究參與者,觀看空白螢幕上隨機點的眼動資料,Google發現,使用非個人化的模型,會有較高的誤差,但在使用約30秒的校準資料個人化後,誤差可降低4倍。

 

更多新創資訊

 

額外的實驗則顯示,當手機放在支架上,或是由用戶手持靠近臉部,手機眼動追蹤模型的準確度,可以媲美最新的眼動儀,但是比起專門的眼睛追蹤硬體,在智慧型手機上執行注視模型,並使用單個前置RGB鏡頭,成本約便宜100倍,更重要的是應用容易擴展。

使用智慧型手機進行眼動追蹤,就更容易複製並且驗證過去神經科學和心理學,對於眼動的研究,包括標準動眼任務和自然圖像理解。盡管智慧型手機的注視熱圖,比專門的眼動儀分布更廣,也就是說看起來更模糊,但熱圖分布與畫素等級和物體等級高度相關,Google提到,這樣的結果表示,新技術可針對複雜畫面進行縮放注視分析,像是用於自然與醫療圖像。

Google發現,智慧手機的注視還可以用於檢測閱讀理解困難,當參與研究者在閱讀測驗中,正確回答問題時,花費在閱讀正確答案相關段落的時間較多,但是隨著理解難度增加,參與研究者花了更多的時間在不相關的文章段落中,研究人員提到,花費在正確答案相關段落的注視時間,是理解程度的預測指標。

另外,Google也用新的眼動追蹤技術研究精神疲勞,注視偵測是檢查警覺性和健康狀況的重要工具,已經被醫藥、睡眠領域,以及像是醫療手術和飛行等重要任務環境廣泛研究,不過疲勞研究通常主觀且耗時,而研究人員利用了智慧型手機注視偵測,來研究使用者的精神疲勞,並且可進一步用於追蹤疲勞的發生和發展。

研究人員使用機器學習模型,只要收集研究參與者幾分鐘的注視資料,就能夠可靠地預測精神疲勞,在非疲勞的對象中,參與者的視線會依循圓形的軌跡(上圖右),而疲勞者的視線則高機率出現誤差與偏差(上圖左)。這個研究結果顯示,智慧手機的注視偵測可用於偵測精神疲勞。

不只如此,智慧型手機注視還可以用來篩檢和監控健康狀況,像是自閉症譜系障礙(Autism Spectrum Disorders)、閱讀障礙和腦震盪的情況,在無障礙的使用情境中,言語和運動能力受損患者,也可以透過手機注視偵測來進行互動。但研究人員也提到,注視研究是一項需要謹慎使用的技術,需要用戶明確允許且知情同意,而且也應該讓用戶可以隨時退出並且刪除資料,他們也會繼續研究隱私保護方式,並且提高跨人群注視技術的強健性。

(來源:iThome)

 

本網站中所有資料(包括影音.文字.圖表.數據等) ,均屬於本中心或各該新創企業團隊之專屬財產,如有引用,請確實註明出處來源。 <完整資訊>
財團法人生技醫療科技政策研究中心 版權所有
Copyright © 2012 - 2024 Research Center for Biotechnology and Medicine Policy (RBMP). All Rights Reserved