學研新創
首頁 > 學研新創 > 智慧醫療與健康科技 >第十六屆
加入書籤
基於多模態學習模型的新世代聲紋把脈技術
本團隊研發進程之原型系統,包括一套電腦軟體與人機介面,能夠即時偵測嗓音障礙與視覺化顯示三類常見嗓音疾病的可能機率。此雛形系統已於2018年於元智大學公開展示,共有30多家國內媒體報導。

王棨德、方士豪、曹昱、賴穎暉、林峯全

嗓音問題是現代社會中十分常見的健康疾病,由於聲帶位處喉部深處,非專科醫師與特殊儀器(如內視鏡)難以進行檢查。近年來隨著醫療科技與訊號處理上的突飛猛進,已有不少論文提出深度學習演算法可用於輔助醫療資訊之判讀與臨床決策,惟目前相關技術應用於嗓音疾病之判別與分類,多應用古典分類器如支持向量機、高斯混合模型等。因此,我們的研究成員以亞東醫院嗓音團隊自2012年起收集逾千例之嗓音障礙資料庫為基礎,結合元智大學電機系、中央研究院資訊科技創新研究中心、陽明大學生物醫學工程學系,發揮訊號處理與人工智慧之專長,針對嗓音訊號中的病理特徵進行自動偵測。研究成果除獲得中華民國發明專利許可,更於2018年發表了全球第一篇基於深度學習演算法來偵測嗓音疾病之專業論文,正確性最高可達到 99.14%,超過了過往研究所使用的其他分類器。此外,我們更於2019年結合了深度學習演算法與自行開發之多模態模型,同步處理聲學訊號和病史紀錄(如人口學特徵、臨床症候等資訊),成功將嗓音良性病灶(如結節、息肉、囊腫)、腫瘤、與聲帶麻痺等三大類嗓音疾病進行自動分類預測,正確率最高可達 87.26%。除了發表學研論文之外,本團隊更於醫學工程之頂尖會議(IEEE International Conference on Big Data)主辦全球第一個病理嗓音偵測的公開競賽(FEMH Voice Disorder Detection Competition),共有超過100隊來自27個不同國家的積極參與。本團隊近年也與全球最大晶片設計公司高通(Qualcomm)進行學術合作研究計畫(Qualcomm Taiwan University Research Program),應用手機晶片進行嗓音異常障礙偵測,並於108年7月於元智大學開始執行,顯示此技術之前瞻學術特色以及具備可產品商業化之潛力。

技術優勢
1.患者可先運用行動裝置上傳嗓音訊號,而後透過雲端運算的技術分析嗓音訊號是否異常,可定期監測聲音健康程度,減少疾病復發或進一步預測可能疾病。
2.市場尚未有利用嗓音判讀及預測疾病之工具,團隊開發之多模態模型,結合聲學訊號和病史紀錄,將三類嗓音疾病進行自動分類預測,正確率達87%。
  • 基於多模態學習模型的新世代聲紋把脈技術
  • 2018於醫學工程之頂尖會議IEEE International Conference on Big Data主辦國際競賽 Big Data Cup Challenge。此會議是美國電子電機協會中大數據領域的旗艦型國際會議,具有極高的國際聲望。2018年本團隊提出之病理嗓音偵測競賽 (FEMH Voice Disorder Detection Competition)是全球第一個病理嗓音偵測的公開競賽,所使用的亞東醫院嗓音資料庫是目前亞洲唯一的嗓音公開資料庫,更是全球唯一一個具有醫師與語言治療師完整標記症狀與癥候的資料庫,因此在該領域造成極大的迴響。2019年度再次獲得主辦單位邀請,連續第二年舉辦嗓音偵測與分類之國際競賽,證實我們的研究團隊在該領域已具規模與國際領先地位,為團隊合作的最具代表性成果之一。
  • 本研究成果已於2018年獲得中華民國發明專利許可"嗓音疾病偵測分類系統"以及"嗓音即時監測系統",並同步申請中國專利,目前已立案審理中。
  • 亞東醫院耳鼻喉科嗓音團隊結合了元智大學電機系在人工智慧上之專長,共同提出”AI人工智慧打造新世代嗓音照護系統”,在海內外80幾件申請案中,脫穎而出,代表亞東醫院與元智大學得到優等獎。
  • 研究成果申請美國專利臨時案。
  • 研究團隊成員於中央研究院資訊科技創新研究中心合影留念。
  • 方士豪
王棨德  
學歷 台灣大學醫學院醫學士
台灣大學公共衛生學碩士
台灣大學流行病學與預防醫學博士
教育部審定助理教授
現職 耳鼻喉科主治醫師/副教授
美國喉科醫學會通訊會員
台灣音聲醫學會理事
台北市立教育大學助理教授
台大醫院耳鼻喉科兼任主治醫師/助理教授
經歷 臺大醫院耳鼻喉部住院醫師/總醫師
美國紐約西奈山醫院音聲手術研究員
美國亞利桑那梅約診所雷射手術研修
日本京都一色信彥紀念中心嗓音手術研修
美國UC Davis 吞嚥中心研修
美國UCSF 嗓音中心研修
研發動態
 
2019國家新創獎National Innovation Award   
新件參賽線上報名
年度續獎線上報名
 
2019 InnoZone國...
第十六屆國家新創獎頒獎典禮 聚...
第十六屆國家新創獎 得獎名單
到訪人次:5,951,132
更新日期:2020-04-09
財團法人生技醫療科技政策研究中心 版權所有
Copyright © 2012 Research Center for Biotechnology and Medicine Policy (RBMP). All Rights Reserved