作者
胡川 黄艺璠 赵越 王飞
陆军军医大学第一附属医院医学大数据与人工智能中心（胡川、黄艺璠、王飞），药剂科（赵越）
摘要
目的：设计与实现精准血药浓度监测系统，为患者提供个性化用药方案，提高临床治疗疗效。
方法：融合强化学习模型，从系统架构、流程、功能等方面设计和实现精准血药浓度监测系统。
结果：精准血药浓度监测系统的应用为临床药师提供了智能化监测手段，提升了药物浓度监测水平。
结论：精准血药浓度监测系统是实现个体化精准用药的有效途径。
关键词
血药浓度监测；强化学习模型；设计；精准用药
正文
1 引言
近年来，随着医药卫生体制改革的不断深入，国家相继出台《关于印发进一步改善医疗服务行动计划的通知》《关于开展药品使用检测和临床综合评价工作的通知》等政策，引导医院探索药学服务新模式。其中，药物浓度监测由传统的安全有效浓度监测逐渐转变为对药物治疗过程的管理，更多关注过程监测与结果解释。结合人工智能技术，将患者药物浓度数据和其他多维度临床诊疗数据进行关联分析，辅助临床药师进行精准血药浓度监测 [1] 与用药管理，提供合理用药指导和个性化用药评估，为实现精准药事服务提供有效途径。
2 系统分析
2.1 用户需求分析
目前多数医院的血药浓度监测往往局限于单一的监测数值，药物疗效和治疗效果并未形成线性关系，加上临床药师与医生之间的诊疗思维又相对独立，难以形成个性化治疗方案。越来越多的临床药师与医生认识到，应结合血药浓度监测数据等多维度数据表象，发掘药物参与诊疗与代谢过程中的本质问题。
2.2 业务流程分析
临床药师通过精准血药浓度监测系统创建血药浓度报告生成规则，按门诊、住院、科室、病种等分类别筛选患者，形成血药浓度监测对象列表，并可查看患者诊疗信息及用药情况。系统结合计算规则和算法模型自动生成患者用药建议初步报告，药师再根据患者实际情况对报告进行优化、初审，上级药师对初审报告进行复核，形成最终用药建议报告供临床医生参考，见图1。
3 系统设计
血药浓度监测是以药代动力学原理为指导，分析测定药物在血液中的浓度，用以评价疗效或确定给药方案，使给药方案个体化，以提高药物治疗效果，确保临床安全、有效、合理用药。因此，血药浓度监测系统的核心是对个体化药物治疗的过程进行精准管理 [2]，通过测定患者体内的药物暴露、药理标志物或药效指标，利用定量药理模型，以药物治疗窗为基准，制定适合患者的个体化给药方案，以提高疗效，避免或减少毒性反应。
3.1 系统架构
精准血药浓度监测系统采用当前主流的前后端分离架构，前端使用Vue框架，保证从核心代码到API的快速开发，后端选择微服务架构提供应用程序接口（application programming interface,API）服务。系统通过API采集HIS、LIS、EMRS的医嘱、检验等相关诊疗数据，建立血药浓度分析模型与引擎[3]，对数据进行AI分析，并提供结果预判，形成从数据采集、模型训练、辅助用药的系统整体架构，见图2。
3.2 系统功能
3.2.1 样本监测管理
精准血药浓度监测系统采集HIS、LIS、EMRS等相关数据，展示院内所有血药浓度监测样本的统计情况，同时根据数据分析自动生成送检样本各疾病诊断占比图、送检样本各年龄段分布图及各科室送检占比；还可以通过治疗药物监测显示全院使用监测药物的患者详情；该患者历史用药剂量与药物浓度之间的关系[4]。
3.2.2 治疗药物监测报告
系统通过智能监测规则对全部患者进行动态监测，自动筛选并展示送检药物浓度监测的患者信息，药师可以查看患者的所有用药信息及检验信息。系统根据临床评估规则库生成初步报告，药师对此报告进行初步审核形成初审报告，上级药师再通过复审初审报告而形成终审报告。
3.2.3 历史报告查询
根据时间段范围提取使用过监测药物的门诊、住院患者及其诊疗记录，同时按疾病分类和科室分类分别进行数据汇总，并核对每个患者的诊疗详情和历史治疗药物监测报告记录。
3.2.4 医疗计量工具
医疗计量工具是一组算法模型可视化应用工具，药师可录入或选择患者年龄、性别、体质量、肌酐等指标，系统通过后台算法自动计算患者的肌酐清除率；根据腹水情况、肝性脑病、凝血酶原时间、血清白蛋白值、血清胆红素值计算患者的Child评分[5]；通过录入0小时、24小时、48小时、72小时的血药浓度计算药物曲线下面积。
3.2.5 用药建议规则库
从患者年龄段、药物浓度、检验、合并用药等多方面对用药智能报告生成规则进行编辑和优化。药物浓度可设置药物浓度单位、浓度最小值、浓度最大值、用药时长、用药建议等维度[6]；检验设置检验项目名称、判断单位、检验结果最小值、检验结果最大值等维度；合并用药可设置特殊药物名称、合并用药名称、合并用药建议等维度。
3.2.6 智能病例学习库
病例学习库主要用于实习药师的业务学习，可随机抽取一份脱敏病例的数据，查看该病例的用药情况及检验指标等各项数据。实习药师可在药师报告里填写对该随机病例的用药建议意见，通过对比标准报告进行病例学习[7]，提高实习药师的业务水平。
3.2.7 文献库
系统搜集了国内外与监测药物临床评估规则库相关的所有溯源文献，药师可以查看、学习相关的文献内容。
3.3 算法模型
系统采用强化学习模型对数据进行训练，训练过程见图3。在此模型中，主动学习和决策的主体被称为智能体[8]，与智能体交互的对象称为环境。智能体基于某种策略做出某种决策，即一系列的动作，以期望获得最大的收益。同时，环境对智能体的行为给出相应的反馈，该反馈是一个可以被量化的奖励函数，奖励可以是正的奖励或者负向的奖励。
在精准用药场景中，环境是指患者的身体状况，包括身高、体质量、症状评估、实验室检查指标（血常规、肝肾功能、尿常规等）、合并用药、药物浓度等指标，动作是指药物的方案调整。模型的应用过程是通过发现用药前后患者身体状况的变化，通过数据训练找到影响患者用药结局的关键因子，赋予其在影响治疗结局中的权重比例，为临床安全用药的个性化处理提供决策依据，不断优化治疗方案，使治疗效果最优。
具体计算过程为：患者在该疗程治疗前后身体状况的变化情况被视为第t个疗程的治疗反馈，即奖励R_t。在模型的奖励函数设计中，患者临床情况好转，R_t设为100，恶化设为－100，不详则设为0。通过数据训练反馈治疗信息，治疗结局不好为R_t1、治疗结局一般为 R_t2、治疗结局较好为R_t3，采用R_t1，R_t2和R_t3的加权平均数来表示R_t：R_t=50%×R_t1+40%×R_t2+10%×R_t3 （1）
其中50%，40% 和10% 分别表示 R_t1，R_t2 和 R_t3 对应的权重，是经过多次实验得到的经验值。
4 应用分析
我院于2022年3月开始应用精准血药浓度监测系统，针对白血病、淋巴瘤、类风湿关节炎等病种，对使用了以甲氨蝶呤药物为代表的患者进行用药监测和用药评估[9]。截至目前，使用甲氨蝶呤药物的患者主要集中在血液科、皮肤科、中医与风湿科等科室，门诊、住院患者监测样本达13720例，结合临床需求出具的个性化用药报告30余份，主要功能与应用情况见图4。
4.1 为临床药师提供了智能化监测工具
药物浓度样本监测管理队列由系统自动筛选，更加精准地定位监测对象；用药建议根据系统内置的AI算法智能生成个性化用药报告[10]，为药师提供辅助用药指导，大大降低了工作强度，提高了工作效率。
4.2 为患者提供了个性化精准用药指导
血药浓度监测是基于现有的治疗方案，结合患者的统计学信息、药物信息等，采用AI算法捕获非线性变量关系以实现对药物浓度的高精度预测，从而调整药品剂量，使药物浓度维持在治疗浓度范围内。后期，该系统将进一步整合药物基因组学与血药浓度监测结果，做到真正的个体化用药指导。
4.3 为用药质量安全提供了保障
通过药物监测协助临床制定个体化治疗方案，医院个体化用药指导逐渐形成多药物、多环节、多因素的定性定量参数结合的系统化监测模式，保证治疗用药安全、合理，对精准治疗和助推学科发展意义重大。
5 结语
精准血药浓度监测系统的设计与建设，充分结合了人工智能技术，医院临床药师团队可通过系统的精准定位为患者提供用药监测服务及用药评估建议[11]，使药物的使用更加合理，降低了药源性疾病的发生风险，明显提升了药事服务质量。后续，将进一步进行数据挖掘与知识利用，不断完善算法模型，维持稳定的、最佳的治疗浓度，提高药物疗效，减少不良反应，促进个体化用药与精准药学的临床应用[12]。
原文链接
链接: https://pan.baidu.com/s/1PhNY1DcHhOE5s7xO0lbAKw?pwd=fdfd
提取码: fdfd
欢迎关注大模型、深度学习、强化学习等相关工作或对相关领域感兴趣的仁人志士们，后台回复 【读者群】 入群，一起交流探讨人工智能相关领域内容 ～
牛啊