导读：

显著优于目前国际上发布的主流病理模型

近日，浙江大学发布了视觉与语言模型融合的人机交互AI病理万能助手-OmniPT，该模型已在浙江大学医学院附属第一医院（以下简称浙大一院）病理科进行临床应用验证。

据悉，OmniPT由浙大计算机学院宋明黎教授团队联合浙大一院共同开发，以临床落地应用为目标，围绕交互便捷性、诊断效率、诊断精准性、诊断可信性等痛点需求开展技术攻关，以病理科医生为主导，通过人机交互形式，大幅提升诊断效率及质量，缓解了病理人才匮乏的窘境。

浙大一院病理科章京教授介绍，OmniPT面向临床病理诊断真实需求，依托数字病理人工智能医疗器械临床试验中心丰富的数据和算力资源，通过多项关键技术突破，助力病理大模型在胃癌、结直肠癌和宫颈癌等高发病率癌种上开展临床应用，有效解决了数字病理AI临床应用难题。

人机交互病理万能助手 OmniPT 应用平台

研发团队通过跨层级高效特征锁定、提示引导细节特征补全等关键技术突破，解决GB级超大尺寸病理图秒级推理、精准分析难题；进一步地，通过多任务协同分析技术，将文本语义与视觉特征强关联，首次实现分类、分割、检测等多类型诊断任务全覆盖，为病理报告一键生成提供支撑。通过集成上述核心技术，OmniPT能精准、快速给出可信诊断结果。

技术负责人冯尊磊副教授介绍：“以往医生在分析病理切片时，需要耗费大量时间逐一观察微观细节，而OmniPT可以在不影响推理速度的情况下，1~3秒内准确锁定病灶区域，十余个癌种上取得95%以上诊断准确性。此外，OmniPT支持文本输入、视觉框选等多种便捷交互方式，能够实现从全局到局部多尺度病变特征精准锁定，给文本诊断结果提供视觉特征依据，有效解决临床应用可信诊断难题”。

OmniPT目前已在癌症分型、分级、血管及神经侵犯识别、预后标志物发现等多项核心任务中取得突破性进展。在肿瘤病理诊断中，OmniPT可精准识别肿瘤微环境的各种细胞及组织，并进行精细化分析；进一步地，OmniPT衍生预后分析能力，在多个癌种上达到80%~90%预后精准预测，并从病理表型层面智能化挖掘预后关联多个新型标志物，有效辅助临床个体化治疗。实验数据显示，OmniPT的整体性能显著优于目前国际上发布的主流病理模型。

据介绍，OmniPT已在浙大一院病理科多个高发病率癌种率先应用，同步在神经病理（如阿尔茨海默病）等重大慢病领域开展结合液体活检、基因组学的多模态转化研究，未来将拓展到更多癌种及非肿瘤疾病中的应用。进一步地，通过结合底层数字病理扫描设备以及病理远程诊断场景，OmniPT将成为病理科高效、精准诊断智能助手，加快推动AI技术在真实临床场景应用建设进程。

来源｜大健康派