專家看新創
【創業家面對面】AI/ML醫材取證準備你做對了嗎?
2023-06-07

你/妳的AI醫材取證了嗎?現代醫學技術日新月異,AI醫材作為其中的重要一環,正逐漸發揮其獨特的作用。AI醫材不僅能夠幫助醫生更快速、準確地進行診斷,還能夠協助患者更好地掌握疾病狀況、進行自我管理。AI醫材將為健康醫療產業帶來更大的發展空間和更多的機遇,但AI醫材要如何取得醫療販售許可證才能正式進入醫療場域銷售?
「新創幫俱樂部 - 創業家面對面」5月30日邀請已取得AI醫材許可證的傑出新創公司創辦人與高階主管,面對面了解AI醫材取證流程與經驗分享...

 

截至2022年美國 FDA已核准上市的AI醫材已超過600項,其中3/4都是與影像相關的解決方案,這當中仍以放射影像學(Radiology)為大宗。即使很多人會認為這塊市場已經是紅海,但依然還是目前最火熱的領域。而臺灣在推動醫療AI產業化的現在,有越來越多新創與科技業者投入研發醫療AI,醫院和ICT業者也著手發展各類的AI應用。

然而,在醫療領域不是每項AI軟體都一定要取證,即使取證後也不代表未來一定會有市場。長佳智能研發長王帝皓就指出,很多不需要取證的健康促進軟體 (如:小米手環) 或醫院端在使用的HIS系統,在導入AI後仍依然有不錯的市場,到底需不需要取證的關鍵在於這項AI的產品如何去定義、怎麼去使用與宣傳它的臨床用途。為了幫助新創釐清對AI醫材的認知,讓後進者少走冤枉路,王帝皓也針對AI醫材所需的臨床評估與取證重點提出五大心法:

壹、事前功課很重要:AI適用哪項Product Code和Indications for Use先搞清楚

在FDA的產品分類代碼資料庫中,Product Code可以查詢到每項產品它的審查要求大概是什麼,然後它是根據哪個產品開始設立的;而AI軟體醫材也和大多數的醫材一樣,是由一個DeNovo開啟了某一類的產品,後續廠商就可以Follow那一類的產品,以510(K)路徑進行上市申請。
而王帝皓認為,每項產品Indications for Use上的Summary非常重要,這當中的內容涵蓋人、事、時、地、物,譬如你這個東西在哪邊被使用,FDA就會根據這樣子的資訊去要求臨床怎麼驗證。

貳、AI的用途是間接的,產品臨床用途描述應把握三大原則

目前在醫療場域的AI主要是輔助醫療人員來幫助病人,而不是直接就用在病人身上,故在做臨床驗證的時候,就必須留意三個原則:

  1. 產品驗證要有好的臨床關聯性(Valid Clinical Association)。AI做出來的分數和評估結果到底跟臨床上有什麼關係,跟病人有什麼關係都要去說明清楚。
  2. 技術確效─ 確認SaMD 是否被正確的建構。這包含AI是否能穩定的處理資料,最後呈現正確的結果。
  3. 臨床確效─做出的結果與實際場域呈現是否一致。須詳述AI在哪一個臨床環境,被哪些臨床人員所使用,是否具臨床意義,真的能達到它所呈現的效果。

参、把錢用在刀口上,AI取證不一定要做前瞻性收案的臨床試驗

AI醫材到底需不需要做臨床實驗是常常很多人會問到或討論的議題。王帝皓就分享了2021年一篇Nature Medicine的研究,裡面共列出了130項已被美國FDA核准的AI醫材,當中僅4項實際去執行醫師心中所想的前瞻性臨床試驗(Prospective Study)。可以發現美國FDA已核准了許多無前瞻性臨床數據的AI工具,多數AI醫材僅做了單中心的回溯性實驗研究(Retrospective Study)來佐證它的效果即可,而其他做多中心的AI醫材也僅有37項。而上述這些取得核准的AI醫材,大多申請510(k)來做實質等同性(Substantial equivalent)認定。

肆、找法規顧問不如找對人,透過Q-Submission 和FDA溝通討論最實質有效

通常評估AI醫材是否有效,常用的指標有準確率(Accuracy Rate,ACR)、AUC–ROC曲線、靈敏度(Sensitivity)、特異度(Specificity)、陽性預測值(Positive Predictive Value,PPV)和陰性預測值(Negative Predictive Value,NPV)…等。
很多新創常煩惱的問題是,不清楚這個實驗設計要怎麼做才對?該找法規顧問協助嗎? 還是直接找CRO可以解決所有問題?王帝皓認為透過FDA的Q-Submission,由開發團隊與監管單位直接溝通討論是最實質、最有效的方式,例如確認試驗計畫書(Protocol)的撰寫方向、Ground Truth要怎麼定義,還可以共同決定出Endpoint的評估指標。
至於到底Endpoint數值要定多少?王帝皓坦言其實FDA並沒有很硬性規定的標準,但必須有憑有據。換句話說,FDA是可以談判的,這常常需要作答辯。申請方可以去要求,但是必須要有一個好的理由去說服他們,但多少還是會有一些潛規則;以AI影像軟體來看,FDA的淺規則就是Sensitivity和Specificity要超過0.8。如何讓監管單位的人能理解新產品,這是需要花力氣去跟他們溝通的。

伍、國際資料的取得仍是AI開發者的困境、錯誤標記成本更不可忽視

而AI醫材開發者在臨床驗證的環節,最困難的大多是良好且多元資料的取得,尤其在歐美及日本等國家,如何從外部管道拿到夠好、夠多、夠有代表性的資料,對於國內的新創來說也具有一定的難度。另一方面,王帝皓認為錯誤標記(a.k.a Noise)還是目前AI界共同的問題,即便找了專業的臨床醫師幫忙做標記,有研究者去分析這些資料集,裡面的錯誤標記也是很多,不僅有的被分類錯誤,甚至有的還看錯了片子,這些問題在實務上非常常見。而偵測錯誤標記對每個AI公司來說也是無形的成本,這都是開發者必須要去思考跟解決的。
但隨著科技的日新月異,AI的演算法和模型越來越強大,即使目前資料集中混有錯誤標記的片子,有些AI公司也開始透過數據選擇方法,讓AI模形來篩選最有用的資料,讓整體訓練的成本可以降低。

最後,王帝皓也建議決定要投入研發AI軟體醫材的公司,一定要做好心理準備。在產品開發上,它不像一般的軟體一樣就可以一直反覆更迭改版,有BUG就更新,有什麼功能就加上去,也不能用敏捷式的開發。這涉及安全與效能,不是只追求有效、還要符合各種安全和標準;在醫療端雖然AI掀起了新一波浪潮與整合應用,但醫院的採購通常比個人用戶和企業來的更保守,通常採用後要很好的利益,醫院才會去願意去購買,這必須要相當有耐心,也要有完善的商業模式來協助推展。

(本文由長佳智能-王帝皓研發長口述 新創幫編輯群整理)

更多精彩內容:

 

本網站中所有資料(包括影音.文字.圖表.數據等) ,均屬於本中心或各該新創企業團隊之專屬財產,如有引用,請確實註明出處來源。 <完整資訊>
財團法人生技醫療科技政策研究中心 版權所有
Copyright © 2012 - 2024 Research Center for Biotechnology and Medicine Policy (RBMP). All Rights Reserved