如今，与 AI 聊天，借助 AI 模型生成图片和视频早已经不再稀奇，AI 技术在医疗领域的应用也已取得了显著进展，远非以前所能比拟。
AI 大模型在临床应用中的重要性
复旦大学和马萨诸塞大学的研究人员，最近让最新的 AI 大模型参加了美国医学执照考试，结果显示 AI 的成绩已经超过了 70% 的医学生[1]。除此之外，Nature 在一项关于医疗 AI 临床应用潜力和局限的研究中，也表示了对医疗 AI 大模型前景的认可，并看好它在出具影像学报告、完成蛋白质序列开放等方向上的潜力[2]。
AI 大模型在临床诊疗中的实际应用
现在的 AI 大模型不仅可以在接诊过程中，捕获与患者的对话，自动记录符合规范的电子病历，供医生审阅；还能搜索病人的既往病史与检查结果、最新的临床指南手册、符合条件的临床试验机会；最后生成转诊、出院文件，或者报销相关的文件等。
如今已经有越来越多的医疗机构借助 AI 大模型辅助临床诊疗。2024 年以来，美国至少有 20 家综合医疗系统，公开披露称正在试点 AI 大模型，其中就包括著名的梅奥诊所。有新闻介绍，梅奥诊所正在借助患者健康数据训练用于检测冠状动脉钙化、冠状动脉阻塞和心脏左心室部分不正常运动的 ECG-AI 模型，从而预测哪些患者有潜在冠状动脉疾病的高风险。
在医疗 AI 大模型席卷的大背景下，不少医生都秉持开放的态度。根据《2023 年丁香园医生洞察报告》的调研数据，以肿瘤领域为例，大多数肿瘤医生对 AI 的应用持积极态度，医生们正通过临床的实践和应用，不断了解其真正的价值。
不过，并不是所有 AI 大模型都能胜任临床的工作。临床诊断是一个复杂的过程，需要综合考虑多种信息来源进行判断，如医学影像、化验结果、病人主诉等等。因此，AI 大模型对多模态数据的分析和理解能力是非常核心的价值之一。
AI 大模型在宫颈癌筛查中的表现
宫颈癌是妇科常见的恶性肿瘤之一，宫颈液基薄层细胞检测（thinprep cytologictest，TCT）则是宫颈癌筛查的重要手段。现阶段子宫颈细胞学阅片人员匮乏以及诊断经验不足，难以满足子宫颈癌筛查的需求。在此情况下，借助 AI 多模态大模型辅助医生对患者的多模态信息进行分析，能够提升病理医生的诊断效率和准确率。
为了验证 AI 的辅助效果，河南省人民医院病理科选取了 2019 年 1 月～2020 年 12 月，总共 86,000 例液基薄层子宫颈细胞学涂片，采用人工智能细胞学辅助阅片系统对样本进行分析，并将分析结果和原始诊断结果进行对比。人工智能细胞学辅助阅片系统的分级诊断结果与活检结果接近（表 1）；在原始诊断结果为阳性的 6880 例样本中，抽取 2500 例 HPV 阳性标本进行分级诊断实验，人工智能细胞学辅助筛选系统对阅片的分级结果与 HPV 阳性检测结果基本持平（表 2）。分析结果表明，人工智能细胞学辅助阅片系统的敏感性可达 98.77% ，特异度为 74.16% 。病理医师在人工智能细胞学辅助阅片系统的帮助下，敏感性和特异度均提升，敏感性达 100%，特异度达 99.99%[3]。
表 1：人工智能细胞学辅助阅片系统和病理医师分别对活检阳性样本的分级诊断汇总[3]
表 2：人工智能细胞学辅助阅片系统和病理医师分别对 HPV 阳性样本的分级诊断汇总[3]
首都医科大学附属北京朝阳医院也选取 2019 年 1 月至 2019 年 8 月妇科门诊和体检门诊收集到的 1,000 例有明确诊断结果的 TCT 涂片进行了研究。专业病理医师采用镜下阅片方式进行细胞学诊断，人工智能宫颈癌辅助筛查系统采用数字化宫颈涂片后智能阅片。结果显示，病理医师筛查结果和人工智能辅助筛查结果均接近于标准样片，在人工智能辅助下，病理医师对 1,000 例样本的诊断准确率可以达到 99.80%，并且灵敏度高达 100%[4]。
图 1：深思考人工智能辅助筛查与人工阅片结果不一致的涂片。A、B 为病理医师遗漏的病例，被深思考人工智能辅助筛查系统解释为阳性。A：ASC-US（意义不明的非典型鳞状细胞）；B：LSIL（低级别鳞状上皮内病变）；C：基底层细胞。
相比于传统的仅依靠病理医师镜下阅片的诊断方式，使用 AI 医疗多模态大模型对细胞学、病史、病历、年龄等多模态的信息进行综合分析，可以很大程度上帮助病理医师提升诊断水平与效率，并有效减少人为技能水平、疲劳等不利因素的干扰，在降低漏、误诊可能性的同时可处理更多的子宫颈细胞玻片[3]。
AI 多模态大模型医疗前沿---深思考人工智能
作为一家专注类脑人工智能与多模态大模型的高新科技公司，深思考人工智能（ideepwise.ai）多年以来一直致力于多模态大模型的研发与应用。深思考 Dongni.ai 多模态大模型具备理解分析图像、文本、视频等多模态信息的能力，并且具备对推理结果的可解释性、可溯源性及对幻像的可控性。在医疗场景下，Dongni.ai 多模态大模型可基于患者的病史、病历、年龄、症状、细胞形态学、免疫蛋白学、染色体核型、DNA 分子生物学、医学影像学等多模态信息进行更精准的分析和诊断。
不仅如此，针对癌症早筛场景，ideepwise.ai 重点打造了医疗多模态大模型的巧思重大疾病早期筛查平台与慧眼人工智能平台，可针对诸多应用场景提供多种辅助分析系统及模块。
针对妇科的宫颈癌早筛，包含了对宫颈癌细胞及妇科微生物的辅助筛查分析系统、DNA 倍体分析系统。
面向病理科，ideepwise.ai 除了提供给妇科的辅助分析系统之外，还提供针对膀胱癌、尿路上皮癌及肾盂癌等泌尿系肿瘤筛查的尿液脱落细胞筛查，提示原发性肺癌或其他部位转移到肺癌症的浆膜腔脱落细胞筛查等非妇分析系统。除此之外，也为在肿瘤分级、靶向治疗、用药及预后上具有重要指导作用的免疫组化检测提供了辅助分析的帮助。
另外，在遗传和生殖方面，ideepwise.ai 提供了对染色体核型分析系统，在优生优育、新生儿早筛、血液病、遗传疾病等的检测诊断中起到辅助分析的作用。
以下是平台介绍：
巧思宫颈癌辅助筛查分析系统，是一款支持阴阳分流，辅助分级和可疑视野区域智能引导的辅助分析产品，为医院病理科室，妇产科室和第三方医学实验室提供宫颈癌早筛辅助分析服务（图 2）。
图 2：深思考巧思宫颈癌辅助筛查分析系统详情页面
慧眼人工智能平台，是搭载在显微镜上的人工智能软件平台产品，该产品平台可以在显微镜下通过 AI 技术来辅助医生进行判读以及远程交流（图 3）。
图 3：慧眼产品图片
今年 3 月 30 日，深思考人工智能与仪景通（即 EVIDENT，起源于有百年光学历史的奥林巴斯）在 2024 年全国病理年会期间联合举办了合作签约仪式。本次合作基于「慧眼」人工智能平台，双方结合各自在人工智能领域的软件开发技术优势与显微镜领域的产品及渠道优势，计划提供给客户一款软硬件一体化智慧医疗行业解决方案，并在显微镜数字化、智慧化方向开展深度战略合作。
AI 大模型临床应用的未来展望
根据 2022 医疗 AI 行业研究报告显示，之前全球范围内均缺少开源的医疗大数据，AI 企业能够直接获得的数据很少。随着 AI 技术成熟，大量医院自发加入到单病种影像数据库、第三方测试数据库的构建中。数据量呈现指数增长，AI 企业进行新适应症开发面临的难度骤减，医疗 AI 的产品丰富程度随之增长。未来 AI 辅助诊断的场景更加多样，可以更好地帮助临床医生。
以 AI 大模型在显微镜的应用为例，病理切片作肿瘤诊断的金标准，切片的阅读能力直接影响诊断结果。但是原始切片的图像十分庞大，某些不典型增生、早期肿瘤及微小癌等病变极容易漏诊，要发现所有的病灶耗时耗力。借助 AI 多模态大模型的辅助分析则能大大提高读片的诊断效率和准确率。而且随着传染病、肿瘤和其他需要进行多模态医学评估的疾病越来越常见，AI 大模型在显微镜技术中的市场将不断扩大。
AI 医疗多模态大模型 + 医疗器械，尤其是智能终端侧的 AI 医疗多模态大模型的核心价值在于可以成为医疗器械的「大脑」，并随着医疗器械等智能终端的大规模应用而规模化落地，通过结合人工智能大模型技术与医疗应用场景，助力大规模重大疾病早筛。同时还能够有效破解地区间医疗资源分配不均、医生水平参差不齐的矛盾，提升诊疗的精准化程度，让优质的医疗资源惠及更多患者，具备重大的社会意义和产业落地意义。
内容策划：王丹琦
内容审核：钟可可
编辑：ifhealth 来源：丁香园
