ChatGPT能得分或参照大约60%通过阈值对美国医学执照考试(USMLE),使相干的反应,内部感觉和包含频繁的见解,根据一项研究发表在《公共科学图书馆数字医疗蒂芙尼宫,AnsibleHealth Victor曾和他的同事们。
ChatGPT是一种新的人工智能(AI)系统,称为大语言模型(LLM),旨在产生类似人类的写作预测即将到来的词序列。与大多数聊天机器人,ChatGPT不能搜索互联网。相反,它使用单词生成文本预测其内部流程的关系。
龚和他的同事们检测ChatGPT USMLE的表现,一系列高度标准化和监管的三个考试(步骤1、2 ck和3)在美国医疗许可所需。医学生和内科医生在实习时,USMLE评估涵盖大多数医学学科的知识,从生物化学、诊断推理,生物伦理学。
筛选后将基于图像的问题,作者测试软件在350年376年的公共问题可以从2022年6月USMLE释放。
不定的反应被移除后,ChatGPT跨三个USMLE得分在52.4%和75.0%之间的考试。每年通过阈值为60%左右。ChatGPT还演示了其94.6%和合所有反应和产生至少一个重要洞察力(是新的,不明显,临床有效)88.9%的响应。ChatGPT超过PubMedGPT的性能,特别是与模型训练完全集中在生物医学领域文献,得分50.8% USMLE-style旧数据集的问题。
虽然相对较小的输入大小限制的深度和范围分析,作者指出他们的研究结果提供一瞥ChatGPT加强医学教育的潜力,最终,临床实践。例如,他们补充说,临床医生在AnsibleHealth已经在使用ChatGPT重写jargon-heavy报告病人的理解更容易。
“达到合格分数为这个考试很困难的专家,而且这样做没有任何人类的钢筋,在临床AI成熟一个显著的里程碑,”作者说。
作者蒂芙尼龚博士补充说,ChatGPT在这项研究中所扮演的角色,是超出了研究主题:“ChatGPT作出了显著贡献的写作手稿。ChatGPT交流的更像一个同事,问它合成,简化,并提供对位法草案在进步…所有的合作者价值ChatGPT输入。”
