“您点一下这个网络门诊，医生就可以在线帮您看病开药了。”近日，家住洞头的娄奶奶在孙子帮助下，第一次用手机完成了线上诊疗。“以后买降血糖的药不用专程跑一趟了，药还能邮寄到家，真方便！”娄奶奶笑着说。
嘈杂的门诊大厅、冗长的取药队伍、寻找不便的门诊科室……类似的就医体验不少人都经历过。如今，温州医科大学附属第一医院打造了基于多模态大模型技术构建全周期健康管理生态新体系的项目（以下简称多模态大模型），以上的经历将逐渐成为历史。据悉，该项目是2024年“数据要素×”大赛浙江分赛二等奖作品，现已入围全国总决赛。
多模态大模型是一种基于深度学习的机器学习技术，其核心思想是能整合处理不同形式的数据，通过学习不同模态之间的关联与交互，实现更加智能化和综合性的信息处理。
当多模态大模型技术与智慧医疗相碰撞，又将擦出怎样的火花？“利用这项技术，我们搭建了智能预就诊、智能陪诊等多个系统，结合患者人脸识别、就诊进度、诊疗信息等数据，就可无感实现签到、就诊信息推送、特检自动挂号等功能，以简化就诊流程，减少患者来院时间和次数。”温州医科大学第一临床医学院（信息与工程学院）、附属第一医院院长、党委副书记张纯武说。
在温医大附一院南白象院区的模拟诊室，工作人员详细演示了患者就诊的流程——
诊前阶段，患者打开“温医一院”APP，点击智能预约，即可进入“智能预就诊系统”。该系统利用虚拟医生进行AI问诊，通过多轮、多形式的主动式交互，引导患者描述病情，并智能匹配相应的科室和医生，实现精准预约。
就诊当天，智能陪诊系统会提前推送消息提醒患者就诊。当患者到达医院入口，大厅摄像头自动进行无感人脸识别完成身份验证，后台同步自动签到并推送相关就诊信息及诊室位置，结合院内导航功能，引导患者迅速到达诊室。
接诊时医生可对诊前虚拟医生AI预问诊时生成的病历草稿进行修改，或直接让AI整理接诊期间的医患对话语音，重新生成病历草稿，减少文书耗时，以留下更多的医患沟通时间。
就诊结束医生开具处方，院内药房自动发药机完成配药后，系统会为患者推送最优取药窗口以及路径导航，引导患者前往。
诊后当患者收到检查检验云影像报告与图像的推送时，同时将有人工智能自动辅助患者初步解读报告结果。真正实现全周期健康管理。
“通过该项目，我们让信息‘多跑腿’，患者‘少走路’。这不仅能提高医疗服务的效率，改善患者就医感受，还确保了医疗信息的准确性和安全性。”张纯武介绍，作为一家有着105年建院历史的三甲医院，温医大附一院年门急诊量590万人次，辐射浙南闽北赣东近3000万人口。该项目实施以来，构建了8148个检验检查诊断知识库与模型，累计服务医生280.6万人次，服务患者302.9万人次。目前，患者从预约到离院的整个诊中环节，平均用时从过去3小时缩短至30分钟内，同一患者来院次数同比下降3%。诊前的温馨提醒帮助减少18万号源浪费，诊中的检查自动预约协助减少排队量13.98万人次，预住院率提高25%。患者看病体验更好，医院管理效率更高。
据介绍，温医大附一院将进一步完善院前健康管理平台，利用患者数据构建更加精准的个性化健康管理方案，提升院前健康干预，帮助更多患者实现“治未病”。（记者 黄荣杰）
