随着大模型出现,医疗领域被认为是极具潜力的应用场景之一,而病理因其图像具有非常大的多样性,病理大模型也被认为是医疗模型“皇冠上的明珠”。
2024年以来,病理大模型成为了医疗大模型领域争夺的焦点,行业进入百模大战。未来的大模型应该往泛化性发展,在覆盖多病种的同时,对单个疾病的诊断能力还能进一步增强;同时病理大模型跟多模态数据融合,也是未来一个发展趋势。当前,AI与病理的融合已从技术探索走向规模化应用,随着判别式与生成式模型的进一步协同以及数据层面的协作,有望走向大小模型相结合,判别式与生成式AI共同赋能病理诊断的新范式。
大小模型协同,病理AI的架构创新
大模型是多模态知识的通用底座,例如融合视觉模态与语言模态的多模态模型,通过病理图像与诊断文本的联合建模,可实现自监督学习而无需精标注数据。图像编码器自动提取图像模态的组织结构特征,文本编码器理解报告蕴含信息。通过对比学习将两种模态进行对齐。小模型是边缘计算的精准执行者,通过轻量化设计减少90%的计算量,在普通GPU上实时处理全切片图像,并通过弱监督学习自动定位病变区域,辅助医生快速诊断。
大模型与小模型的协同机制:在任务理解方面,大模型提供宽泛的病理知识概念,给出一些疑难病例的诊断建议。在任务执行层小模型聚焦局部特征,通过注意力权重动态调整输出,达成两者融合。两者相辅相成,就像全科与专科病理医生的互为补充关系一样。
判别式与生成式的协同
基于判别式AI可对各个器官的病理图像进行高精度判读;生成式AI则实现自然语言交互,辅助医生生成诊断意见并推荐分子检测方案,两者的协同不仅可提升诊断效率,更能促进病理报告的结构标准化与内容个性化。
大小模型的协同以及判别式与生成式AI的深度融合,正在重构病理诊断的全流程。从百项任务的“全能型”大模型到特定场景的“专精型”小模型,从精准分类到智能生成,AI技术不仅提升诊断效率,更推动病理学科向预测性、个性化方向发展。未来,随着多模态数据整合与自主进化能力的提升,AI将成为病理医生的“数字分身”,共同守护人类健康。