新發(fā)現(xiàn)！ChatGPT在復(fù)雜臨床考題的能力超過斯坦福醫(yī)學(xué)生

人工智能聊天工具ChatGPT，是由人工智能研究實(shí)驗(yàn)室 OpenAI 于2022年11月30日發(fā)布的全新人工智能技術(shù)驅(qū)動的自然語言處理工具。ChatGPT能夠通過學(xué)習(xí)和理解人類的語言來進(jìn)行對話，還能根據(jù)聊天的上下文進(jìn)行互動，真正像人類一樣來聊天交流。自推出以來，ChatGPT強(qiáng)大的能力備受關(guān)注。

2023年7月17日，斯坦福大學(xué)醫(yī)學(xué)院的研究人員在 JAMA 子刊 JAMA Internal Medicine 上發(fā)表了題為：Chatbot vs Medical Student Performance on Free-Response Clinical Reasoning Examinations 的論文。

這項(xiàng)最新研究顯示，在回答具有挑戰(zhàn)性的臨床考試問題時(shí)，ChatGPT可以比斯坦福大學(xué)醫(yī)學(xué)院一年級和二年級的醫(yī)學(xué)生表現(xiàn)得更好。這項(xiàng)研究結(jié)果強(qiáng)調(diào)了人工智能（AI）對醫(yī)學(xué)教育和臨床實(shí)踐的加速影響，并建議需要一種新的方法來培養(yǎng)未來的醫(yī)生。

hatGPT是目前最**的大語言模型人工智能系統(tǒng)，在過去的幾個(gè)月里吸引了全世界的目光。最近的研究表明，ChatGPT可以準(zhǔn)確回答美國執(zhí)業(yè)醫(yī)師資格考試（USMLE）中的多項(xiàng)選擇題，而醫(yī)生必須通過USMLE考試才能執(zhí)業(yè)。

在這項(xiàng)最新研究中，斯坦福大學(xué)的研究團(tuán)隊(duì)希望探索人工智能系統(tǒng)如何處理更難的開放式問題（而非選擇題），這些問題原本用于評估斯坦福大學(xué)醫(yī)學(xué)院一年級和二年級學(xué)生的臨床推理技能。這些問題在離散的段落中揭示了患者病例的細(xì)節(jié)，要求學(xué)生利用臨床推理技能提出可能的診斷。

這項(xiàng)新研究使用了Open AI公司于今年3月份發(fā)布的最新版本的ChatGPT，也就是GPT-4。這也是該團(tuán)隊(duì)在此前一項(xiàng)研究的基礎(chǔ)上進(jìn)行的，此前的研究使用的則是GPT-3.5。

在這兩項(xiàng)研究中，斯坦福大學(xué)的研究團(tuán)隊(duì)收集了14個(gè)臨床推理案例。這些案例的文字描述長度從幾百字到上千字不等，包含了許多無關(guān)的細(xì)節(jié)，比如不相關(guān)的慢性疾病和藥物，就像現(xiàn)實(shí)生活中的病人病歷一樣。

在考試中，考生在閱讀每個(gè)案例報(bào)告后，寫出相應(yīng)提問的答案。這種閱讀分析文本并撰寫答案的考試方式與執(zhí)業(yè)醫(yī)師資格考試（USMLE）中的選擇題的相對簡單形成形成鮮明對比。由于ChatGPT的學(xué)習(xí)訓(xùn)練來自整個(gè)互聯(lián)網(wǎng)，因此它可能無法準(zhǔn)確理解考題中醫(yī)療專業(yè)術(shù)語，例如“problem list”一詞，在醫(yī)療領(lǐng)域，它指的是病人過去和現(xiàn)在的醫(yī)療問題，但這個(gè)詞也會出現(xiàn)在其他非醫(yī)療語境中。

測試結(jié)果顯示，GPT-3.5剛剛達(dá)到及格水平，而GPT-4的得分比這些學(xué)生的平均得分高出4.2分，并且在93%的測試中超過了及格線，而學(xué)生中僅有85%及格。

當(dāng)然，ChatGPT的表現(xiàn)也并非完美無瑕。GPT-3.5在回答中會出現(xiàn)虛構(gòu)的內(nèi)容，GPT-4則顯著減少了這一問題。

研究團(tuán)隊(duì)認(rèn)為，這一結(jié)果提示我們，通過書面文本進(jìn)行醫(yī)學(xué)推理的教學(xué)和測試的本質(zhì)被新工具推翻了，ChatGPT等工具正在改變我們的教學(xué)方式，并有望最終改變醫(yī)學(xué)實(shí)踐。

實(shí)際上，在考試和課程設(shè)計(jì)方面，斯坦福大學(xué)醫(yī)學(xué)院已經(jīng)受到了ChatGPT的影響。在上個(gè)學(xué)期，斯坦福大學(xué)的管理人員意見決定將考試從開卷改為閉卷，以防止學(xué)生們利用ChatGPT作弊。

研究團(tuán)隊(duì)表示，不希望醫(yī)學(xué)生在學(xué)校里過于依賴人工智能，因?yàn)檫@樣可能會導(dǎo)致他們無法學(xué)會如何通過自己的分析進(jìn)行推理。但另一方面，隨著人工智能的普及，一個(gè)醫(yī)生沒有接受使用人工智能的培訓(xùn)可能更值得擔(dān)憂。

Eric Strong 表示，或許還需要幾十年時(shí)間人工智能才能全面取代醫(yī)生，但再過幾年，我們可能就會看到人工智能在日常醫(yī)療中的應(yīng)用。

本網(wǎng)站所有轉(zhuǎn)載文章系出于傳遞更多信息之目的，轉(zhuǎn)載內(nèi)容不代表本站立場。不希望被轉(zhuǎn)載的媒體或個(gè)人可與我們聯(lián)系，我們將立即進(jìn)行刪除處理。