基于跨模态特征对齐和中西医融合的胰腺癌评估方法和系统
知识产权简介
本发明涉及智慧医疗与人工智能技术领域，具体公开了一种基于多模态特征对齐的胰腺癌中医智能诊断系统及方法。所述系统旨在解决现有技术中中医诊断依赖主观经验、难以量化，以及现代医学影像与中医辨证理论脱节，导致胰腺癌早期诊断与综合评估困难的技术问题。 本发明通过构建统一的多模态感知与融合框架实现。首先，系统采集并标准化处理中医四诊信息（舌、面、眼图像及脉象、问诊文本）与现代医学影像（CT/MRI/超声）。其次，利用共享主干网络分别编码各类数据，并通过金字塔式的渐进式融合进行初次融合。然后，本发明引入跨模态对齐模块（基于查询的转换器，Q-Former），通过一组可训练的查询向量，主动、有选择地从异构模态特征中检索和融合与诊断最相关的语义信息，实现中医表征与西医影像的深层语义对齐与互补。最后，通过并行的多任务预测头，同步输出胰腺癌风险等级和中医证型，并通过多模态医学大模型进行交叉验证推理，最终输出辅助诊断报告。 本发明首次实现了中医经验知识与西医影像证据在深度学习模型中的有机融合与相互校验，显著提升了胰腺癌辅助诊断的客观性、准确性及系统可解释性，为中西医结合智能诊疗提供了创新性解决方案。
转化前景
本发明涉及智慧医疗与人工智能技术领域，具体公开了一种基于多模态特征对齐的胰腺癌中医智能诊断系统及方法。所述系统旨在解决现有技术中中医诊断依赖主观经验、难以量化，以及现代医学影像与中医辨证理论脱节，导致胰腺癌早期诊断与综合评估困难的技术问题。本发明通过构建统一的多模态感知与融合框架实现。本发明首次实现了中医经验知识与西医影像证据在深度学习模型中的有机融合与相互校验，显著提升了胰腺癌辅助诊断的客观性、准确性及系统可解释性，为中西医结合智能诊疗提供了创新性解决方案。