上海人工智能實驗室發(fā)布新版中文醫(yī)療大模型權威評測平臺

近日，上海市人工智能實驗室發(fā)布中文醫(yī)療大模型權威評測平臺MedBench 4.0，這是國內首個面向垂直大模型、專用大模型、應用場景的醫(yī)療大模型評測與驗證體系。業(yè)內人士介紹，MedBench 4.0為衡量醫(yī)學AI產(chǎn)品性能與可靠性提供了科學標尺，保障了醫(yī)療人工智能產(chǎn)品質量的提升與行業(yè)良性競爭。

據(jù)悉，中文醫(yī)療大模型權威評測平臺MedBench首發(fā)于2023年年中，目前更新至第四版。上海人工智能實驗室醫(yī)療和評測中心負責人徐捷介紹，本次升級包含大語言模型、多模態(tài)大模型及智能體三大技術范式，深度對齊國家《衛(wèi)生健康行業(yè)人工智能應用場景參考指引》，覆蓋60個全自主構建評測集，共70萬余專業(yè)評測題。

記者從上海市人工智能實驗室了解到，針對大語言模型評測，平臺圍繞醫(yī)學知識問答、語言理解、生成、復雜推理及安全倫理等維度構建了評測集，并創(chuàng)新引入科學指標體系，以緩解模型信息遺漏或幻覺生成等問題對評測結果的影響；針對多模態(tài)大模型評測，瞄準醫(yī)療影像、檢測報告等臨床核心場景，平臺可覆蓋目標檢測、圖像分類、多模態(tài)報告質控、序列影像理解、病程動態(tài)追蹤等10項細分任務，填補了中文醫(yī)療多模態(tài)評測領域的技術缺口；針對智能體評測，平臺則重點解決智能體執(zhí)行斷層的問題，推動醫(yī)療智能體從“能對話”向“能執(zhí)行、能協(xié)作”演進。

對于醫(yī)療大模型評測的意義，徐捷告訴記者，評測首先可以驗證醫(yī)療大模型的合規(guī)性，其次是驗證其專業(yè)性，比如會不會誤診、漏診或者開錯藥，最終幫助市場更好地訓練出優(yōu)質的醫(yī)療大模型。

記者注意到，目前，不少通用大模型如深度求索、千問等都可以分析體檢報告和檢查報告。那么，醫(yī)療大模型的價值何在呢？

對此，徐捷介紹稱，主流通用大模型可以滿足日常健康咨詢。評測顯示，國內頭部通用大模型的醫(yī)學能力已經(jīng)超過國外同類產(chǎn)品。但對于需要給出專業(yè)判斷的醫(yī)療場景，例如要做哪些檢查、如何解讀報告、應開什么藥或者中醫(yī)方劑等，大模型還需整合大量醫(yī)學數(shù)據(jù)、專家醫(yī)案和臨床經(jīng)驗等語料。醫(yī)療大模型能高效處理海量信息，提供循證參考，有助于提升醫(yī)生診療水平、補足基層醫(yī)療短板，進而實現(xiàn)醫(yī)學普惠。

除推出權威評測平臺，上海人工智能實驗室還聯(lián)合專業(yè)醫(yī)療機構和相關企業(yè)，推出了兒童眼病智能篩查與精準干預系統(tǒng)、胃腸多模態(tài)輔助診療大模型等醫(yī)療人工智能應用。