编者按：
良好的血糖控制能够显著减少2型糖尿病（T2DM）患者的并发症和死亡率，但在胰岛素的实际治疗中，调整剂量以达到有效且安全的范围颇具挑战。传统胰岛素滴定主要依赖医生经验，难以充分考虑患者个体差异，个体化和动态的胰岛素滴定对改善患者血糖控制、减少并发症至关重要。复旦大学附属中山医院内分泌科李小英教授、陈颖教授团队联合北京邮电大学王光宇教授团队开发了一种基于强化学习（RL）的人工智能（AI）系统RL-DITR，用于优化T2DM患者的胰岛素治疗方案。
研究方法
1、数据来源与处理
本研究构建了一个大型多中心数据集，纳入2013年1月至2021年4月在上海中山医院和青浦医院内分泌代谢科接受胰岛素治疗的12 981例T2DM住院患者的电子病历，治疗天数达119 941天。对数据进行预处理，将患者信息表示为多维时间标准化特征，运用临床BERT预训练模型和自然语言处理（NLP）管道从真实世界数据中提取临床相关序列特征。
2、RL-DITR系统构建
RL-DITR系统是一种基于模型的RL方法，由患者模型和策略模型组成。患者模型通过学习环境动态（葡萄糖动态）来跟踪患者的血糖状态变化，策略模型则根据患者模型的输出制定胰岛素剂量调整策略。系统通过迭代交互，不断优化策略，以实现长期血糖控制的最佳效果。
3、模型训练与验证
将数据集按比例划分为训练集、调谐集和测试集（包括内部和外部测试集）。患者模型的动力学函数和预测函数通过联合学习进行训练，策略模型则结合监督学习（SL）和RL方法，利用专家经验监督安全动作，同时通过与患者模型的交互优化策略，以最大化累积奖励。
4、临床验证步骤
进行多阶段临床验证，包括内部验证（将AI与不同经验水平的医生进行定量和定性比较）、外部验证（在不同医院数据集上进行测试-再测试的定性临床评估）、前瞻性部署研究（在实际临床环境中部署AI系统，进行测试-再测试评估）以及最终的概念验证可行性临床试验（评估AI系统在住院患者血糖控制中的有效性和安全性）。
研究结果
1、数据集特征与系统概述
开发阶段分析共纳入12 981例T2DM住院患者，平均年龄59.2±14.5岁，女性占42.6%。RL-DITR系统能够将患者信息处理为多维时间特征，通过患者模型和策略模型的交互，实现胰岛素剂量的优化调整（图1）。
图1. 针对T2DM患者动态胰岛素剂量滴定，AI系统从开发到应用的示意图
2、AI模型预测患者血糖状态的性能
在内部和外部测试集中，患者模型对血糖轨迹的预测与实际测量值趋势相符。AI模型在内部测试集的Pearson相关系数（PCC）为0.70，平均绝对误差（MAE）为2.13 mmol/L；在外部测试集的PCC为0.71，MAE为2.28 mmol/L，优于其他基线模型。对血糖值在目标范围内（WTR，3.9~10.0 mmol/L）的预测，AI模型也表现出可靠性能，且随着时间推移，对患者每日WTR状态的预测更加准确。患者模型评估与临床结局高度相关，可作为RL模型的交互环境（图2）。
图2. AI模型在预测患者状态轨迹方面的表现
3、基于模型的RL系统优化胰岛素滴定的性能
RL系统在优化个体化胰岛素推荐方面表现出色，在内部测试集上，AI策略的MAE为1.10 U，在外部测试集上为1.20 U，且模型随观察时间窗扩大而更准确，在不同胰岛素类型上性能稳定。与其他SL方法和标准临床方法相比，基于模型的RL方法能提供更准确的治疗方案（图3）。
图3. AI治疗模型在胰岛素剂量预测方面的表现
4、AI与医生治疗方案的模拟研究比较
内部验证队列中，AI系统的MAE为1.18 U，优于初级医生（1.46 U）和中级医生（1.27 U），略逊于高级医生（0.95 U）。AI系统与医生治疗方案的一致性较高，其临床可接受性、有效性和安全性得到专家认可，且在外部验证中表现与主治医生相似（图4）。在测试-再测试审查中，AI计划被选中为优的比例较高，表明AI模型具有优势。
图4. 回顾性研究中AI模型与人类医师之间的绩效评估
5、AI系统的前瞻性部署研究结果
在20例T2DM患者的前瞻性部署研究中，AI系统的有效性、安全性和可接受性稳定，内分泌科医生对AI系统的接受率随时间推移逐渐提高，从初始测试审查的约70%提升至再测试审查的77.5%（图5），表明医生对AI治疗方案的信任度逐步增加。
图5. 前瞻性研究中AI模型的性能评估
6、AI系统的概念验证可行性临床试验结果
16例T2DM患者参与的试验（图6）中，AI系统干预后血糖控制显著改善，平均每日毛细血管血糖从11.1±3.6 mmol/L降至8.6±2.4 mmol/L，达到预定主要终点。持续葡萄糖监测（CGM）显示，葡萄糖目标范围内时间（TIR）显著提高，低血糖风险未增加。医生对AI系统满意度较高，认为其界面易懂、省时、有效且安全。
图6. 一项旨在评估AI系统对T2DM患者血糖控制情况的概念验证可行性试验
研究结论
本研究开发的RL-DITR系统在优化T2DM患者血糖控制方面具有潜力，通过多阶段临床验证，证明了其在模拟和实际临床环境中的有效性和可行性。RL-DITR系统能提供个体化、动态的胰岛素剂量推荐，有效改善患者血糖控制，减少血糖波动，且未增加低血糖风险，提高了医生的工作效率和满意度。未来需开展更大规模、多中心的随机对照试验，进一步验证该系统在不同临床场景中的疗效和适用性，同时应考虑AI系统在不同种族、门诊患者等更广泛人群中的推广应用及潜在影响。
研究亮点
1.创新的RL-DITR系统：结合患者模型和策略模型，实现胰岛素剂量的个体化和动态优化，为糖尿病治疗提供新方法。
2.全面的临床验证：从内部验证到外部验证、前瞻性部署研究和概念验证试验，确保系统的有效性和可靠性，为AI系统在临床实践中的应用提供参考。
3.改善血糖控制：显著降低患者血糖水平，提高血糖控制达标率，减少并发症风险，有望改善糖尿病患者的长期预后。
参考文献：Wang G, Liu X, Ying Z, Yang G, Chen Z, Liu Z, Zhang M, Yan H, Lu Y, Gao Y, Xue K, Li X, Chen Y. Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial. Nat Med. 2023 Oct;29(10):2633-2642.
