研究稱ChatGPT Health未能識別醫(yī)療緊迫狀況，恐將導(dǎo)致非必要傷亡

2 月 27 日音訊，當(dāng)?shù)貢r間 2 月 26 日，據(jù)英國《衛(wèi)報》報導(dǎo)，一項研究發(fā)現(xiàn)，ChatGPT Health 常常未能識別需要緊迫醫(yī)療干預(yù)的狀況，也頻頻未能檢測出自殺意念。專家正告，這種缺點“或許導(dǎo)致本可防止的損傷乃至逝世”。

OpenAI 于 1 月向部分用戶推出 ChatGPT Health 功能，并將其定位為讓用戶“安全銜接醫(yī)療記載和健康使用”，以獲取健康主張和醫(yī)療相關(guān)回復(fù)的工具。據(jù)報導(dǎo)，每天有超越 4000 萬人向 ChatGPT 咨詢健康問題。

發(fā)表于《Nature Medicine》的首項獨立安全評價顯示，ChatGPT Health 在超越一半的事例中低估了醫(yī)療緊迫程度。

研究負責(zé)人 Ashwin Ramaswamy 博士表明：“咱們想答復(fù)最基本的安全問題：如果有人正經(jīng)歷實在的醫(yī)療緊迫狀況，并詢問 ChatGPT Health 該怎么辦，它是否會主張他們當(dāng)即前往急診室？”

研究團隊構(gòu)建了 60 個高度實在的患者事例，包括從細微疾病到危及生命的緊迫狀況。三名獨立醫(yī)師依據(jù)臨床攻略對每個事例進行評價，并確定適當(dāng)?shù)尼t(yī)療處理等級。

隨后，研究人員在不同條件下向 ChatGPT Health 咨詢這些事例，包括改變患者性別、添加檢測成果以及參加家屬評論，共生成近 1000 條回復(fù)，并將平臺主張與醫(yī)師判別進行比照。

ChatGPT Health 在中風(fēng)或嚴峻過敏反應(yīng)等典型緊迫狀況中表現(xiàn)較好，但在其他場景中存在嚴峻問題。例如，在一例哮喘事例中，盡管識別出呼吸衰竭的早期跡象，其仍主張患者等待，而不是當(dāng)即就醫(yī)。

在所有需要當(dāng)即前往醫(yī)院的事例中，有 51.6% 的狀況下，ChatGPT Health 主張患者留在家中或預(yù)約普通門診。

倫敦大學(xué)學(xué)院研究人員 Alex Ruani 稱，這一成果“極端危險”�！叭绻�有人正經(jīng)歷呼吸衰竭或糖尿病酮癥酸中毒，這個 AI 有一半概率告知他們狀況并不嚴峻。我最擔(dān)心的是系統(tǒng)帶來的虛假安全感。如果在哮喘發(fā)作或糖尿病危機期間被主張等待 48 小時，這種過錯安慰或許會喪命。”

IT之家從報導(dǎo)中得悉，在一次模仿中，ChatGPT Health 有 84% 的概率將一名正在窒息的女人安排到未來的預(yù)約，而患者根本無法比及那一刻。與此同時，64.8% 的健康個體卻被主張當(dāng)即就醫(yī)。

研究還發(fā)現(xiàn)，如果事例中說到“朋友以為狀況不嚴峻”，ChatGPT Health 淡化癥狀嚴峻性的概率會增加近 12 倍�！斑@種現(xiàn)象正說明晰，為什么研究人員正在緊迫推動建立明確安全標準和獨立審計機制，以削減可防止的損傷。”

OpenAI 發(fā)言人表明，OpenAI 歡迎獨立研究評價 AI 醫(yī)療系統(tǒng)，但研究成果并不能徹底反映用戶的實際使用方式，且模型仍在繼續(xù)更新和改進。