随着人工智能技术的飞速发展，AI 在医学领域的应用已经成为现实。特别是在医学影像诊断方面，AI 大模型技术展现出了巨大的潜力和价值，但目前针对中文领域医学大多模态大模型还较少。

今天马建仓为大家介绍的这款 XrayGLM，就是由澳门理工大学应用科学学院的檀韬副教授和彭祥佑老师指导，硕士生王荣胜、段耀菲、李俊蓉完成的中文多模态医学大模型。

项目名称： XrayGLM

项目作者： 澳门理工大学应用科学学院

开源许可协议： CC BY-NC-SA

项目地址：https://gitee.com/WangHaoyuuu/XrayGLM

XrayGLM 团队借助了 ChatGPT 以及公开的数据集，构造了一个X光影像-诊断报告的医学多模态数据集，随后将构建的中文胸部X光片诊断数据集在 VisualGLM-6B 进行微调训练，并开放了部分训练权重用于学术研究。

数据集来源

XrayGLM 团队选择了 MIMIC-CXR 和 OpenI 两个数据集，MIMIC-CXR 是一个公开可用的胸部X光片数据集，包括377,110张图像和227,827个相关报告，OpenI 是一个来自印第安纳大学医院的胸部X光片数据集，包括6,459张图像和3,955个报告。

为了生成合理的医学报告，XrayGLM 团队对两个数据集进行了预处理，并最终得到了可以用于训练的英文报告。除此之外，为了更好的支持中文社区发展，借助 ChatGPT 的能力将英文报告进行了中文翻译，并最终形成了可用于训练的数据集。

快速上手1.安装环境# 安装依赖pip install -r requirements.txt# 国内换源安装依赖pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

此时默认会安装deepspeed库（支持sat库训练），此库对于模型推理并非必要，同时部分Windows环境安装此库时会遇到问题。 如果想绕过deepspeed安装，可以将命令改为：

# 安装依赖pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt# 安装SwissArmyTransformerpip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"2.模型推理

CLI推理python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000 --prompt_zh '详细描述这张胸部X光片的诊断结果'WebUI运行python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000

此时访问http://127.0.0.1:7860即可

XrayGLM 团队也分享出了 XrayGLM 的微调实践教程，感兴趣的开发者可以前往图中频道或直接访问项目仓库了解更多详情：https://gitee.com/WangHaoyuuu/XrayGLM