Nolla Visual Medicine Benchmark
介绍
Nolla Visual Medicine Benchmark 是 Nolla Health 在 2026 年 11 月 16 日正式公开的视觉医学基准,用来评估模型如何解读临床影像、通过对话收集信息,并把两者结合起来做出诊断。Sean Geiger(@sean_geiger)于 2026-11-16T16:47:19Z(北京时间 2026 年 11 月 17 日 00:47:19)发帖:“Today, we’re introducing the Nolla Visual Medicine Benchmark. We’ve been using it internally for the past year to evaluate models for patient care. Over that year, we’ve seen frontier models make rapid progress. Now we’re sharing the results comparing frontier model performance”。
官方博客 nollahealth.com/blog/visual-medicine-benchmark 日期为 November 16, 2026,标题为 “Introducing the Nolla Visual Medicine Benchmark”。文中写到,医生看病不只是提问,还会观察皮疹形态、眼睛颜色或肿胀位置,再据此调整追问和判断;该基准就是为了评估这种“看见—询问—综合”的关系。基准包含两项相关任务:在仅图像任务中,模型或医生只看一张临床照片,写出排序鉴别诊断,不能询问病史;在访谈任务中,从一张照片和模拟患者的初始消息开始,经过多轮追问后给出排序鉴别诊断和结构化病历。模拟患者带有职业、处境、顾虑和性情等行为人设,有的焦虑或尴尬,有的会淡化症状。
维护中的影像库覆盖 11 个专科、49 个疾病组。皮肤科约占 45.4%(451 例),其余包括儿科、急诊、老年医学、骨科、内科、耳鼻喉、眼科、内分泌、妇科和精神病学等。疾病组例子包括皮肤癌和癌前病变、湿疹、痤疮、真菌感染、烧伤、关节病、眼病,以及肢端肥大症、库欣综合征等全身疾病的可见表现。比较研究注册号为 NCT07470463,入组 23 名医生(11 名董事会认证医生、10 名住院医师、2 名研究员),中位临床经验 5 年;影像分析纳入 10 人,访谈分析纳入 21 人。官方写到,只有 16.5% 的影像审阅和 21.9% 的访谈与医生自身专科匹配,因此结果描述的是大多在专科之外工作的混合队列,而不是专科对专科的比较;并补充,在较小的未发表试验中,董事会认证医生在自己专科内仍稳定优于前沿模型。
在研究的 Level 3 首位诊断一致性(与参考诊断相符,或被判定为意味着临床上等效处理;由自动语言模型评判)上,官方表格列出:Gemini 4 Argon 仅图像 46.5%、模拟访谈 83.2%;Claude Fable 5.2 为 43.1% / 86.4%(访谈最高);Gemini 3.8 Flash 为 40.4% / 78.4%;Gemini 3.1 Pro 为 39.6% / 72.8%;Claude Opus 5.5 为 39.1% / 77.6%;GPT-6 Astra 为 35.5% / 80.0%;GPT-5.4 为 27.5% / 77.6%;Claude Sonnet 4.6 为 23.2% / 53.6%;全部合格医生平均为 30.2% / 56.0%;董事会认证亚组为 34.1% / 78.8%。较新的模型按官方说法使用相同提示、相同模拟患者和相同自动评判,每例只计一次得分输出。
要点:
- 官方介绍帖:https://x.com/sean_geiger/status/2122370944899686902 ;官方博客:https://www.nollahealth.com/blog/visual-medicine-benchmark ;
- 这是 一个具体的新基准名,不要和 Nolla 已有的 NollaMD 模型,或一般的医学视觉问答测试写成同一个名字。表格中的分数是公司在该研究设定下的结果,本页不作独立复现。
广告
解释
为什么值得关注
这是 Nolla Health 在 2026 年 11 月 16 日用团队介绍帖和官方博客确认的新基准名,而不是对已有 NollaMD 模型或一般医学视觉问答测试的一次改名。介绍帖发出时间为 16:47:19Z(北京时间 11 月 17 日 00:47:19),落在本轮 00:32–04:32 扫描窗口内,因此单独建条。官方写到该基准已在内部使用约一年,本轮是公开结果并与医生对照。
本页只复述官方介绍帖和官方博客。表格中的首位诊断一致性数字、医生对照设定,以及“专科内医生仍更优”的未发表试验,都是公司表述,本页不作独立复现。
局限
这是观察性研究,使用模拟患者和自动语言模型评判,官方也写明医生队列大多在自身专科之外作答,因此不要把分数写成对真实诊疗或专科医生水平的普遍结论。不要把本词条写成对任何模型临床安全性的保证,也不要写成已经取代 NollaMD 或公开医学影像基准。
用法
- 阅读官方介绍帖 https://x.com/sean_geiger/status/2122370944899686902 ,并对照官方博客 https://www.nollahealth.com/blog/visual-medicine-benchmark ;
- 引用具体分数、入组医生人数或 NCT07470463 时,请写明来源是 2026-11-16 官方博客,并再对一次上游;基准本身如何申请使用,以 Nolla Health 官方说明为准;
- 讨论“模型是否超过医生”时,请同时写明这是模拟患者、自动评判,且医生队列大多在自身专科之外作答;
- 不要把 Nolla Visual Medicine Benchmark 写成已有的 NollaMD 模型,或写成一般的医学视觉问答测试;本页只复述官方材料,对外引用前请再对一次上游。