张晓凡

上海创智学院全时导师

上海交通大学副教授

领域方向：AI基础理论与科学智能

系统开展医疗领域大语言模型与视觉基础模型的研究工作，覆盖了数据集建设、基础模型训练、下游任务适配及多模态应用的完整链条，并在工具调用、模型适配和多模态学习等方向取得了显著成果，助力解决临床实际问题。鉴于现实医学领域的复杂性，医疗大语言模型在实现大规模应用前，仍需克服不少限制。这些限制不仅体现在数据获取、隐私保护和标准化等基础问题上，更显著的是当前模型在多模态数据理解、推理能力和思维链条长度上的不足。医疗数据往往是多样化的，包含图像、文本和其他生物信号，其决策往往涉及多层次的信息整合、因果推导以及动态变化的复杂情境，例如从患者病史、影像检查结果、环境因素中推导出诊断结论，或在多种治疗方案中权衡风险与收益。目前的大语言模型在处理简单任务时表现优秀，但在面对需要多种模态、多步推理、跨领域知识整合以及复杂逻辑关系的任务时，表现仍显不足。因此，未来医疗大语言模型的发展，需要在多模态数据解析、推理能力的提升和更长、更严密的思维链条构建方面取得突破。这包括引入更先进的推理反思机制、优化长上下文处理能力，以及通过多模态融合实现更丰富的信息处理能力，从而满足真实医学场景中复杂决策的需求。