龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：合肥云诊信息科技有限公司
摘要：本发明涉及多模态大模型技术领域，具体公开了一种基于多模态大模型的中医舌诊分析系统及方法，通过Tongueai‑API接口批量生成舌象和面象图像的中医特征定性、定量描述文本，构造视觉文本融合的中医望诊问诊指令微调数据集的方法，为TongueLMM大模型的中医舌诊问诊垂直领域训练提供了重要数据支撑。TongueLMM语言解码器模块是对通用LLM大语言生成模型进行融合视觉与语言指令的微调，通过训练LLM对视觉文本多模态指令跟随学习，激发LLM语言模型的图像理解能力。语言解码器模块可适配多种对中文支持较好的LLM模型，本项目LLM选择LLaMA网络模型，使用中医望诊问诊指令微调数据集迁移学习在中医舌面象解读及多轮问答、中医体质推理的三个训练任务中取得了较高性能。
主权项：1.一种基于多模态大模型的中医舌诊分析方法，其特征在于，所述方法包括：步骤S1、训练视觉编码器Et模块；步骤S2、使用云诊科技AI舌诊开放平台Tongueai-API接口生成舌象和面象图像的中医特征描述文本，形成舌面象的中医特征解读数据、多轮问答数据和体质推理数据，并构建TongueLMM视觉文本融合的中医望诊问诊指令微调数据集；步骤S3、通过将舌面象视觉编码特征映射到自然语言词嵌入向量特征空间的多层感知神经网络学习模态融合模块fp，采用多层线性变换残差网络结构训练视觉编码与中医专业术语的概念对齐，以将视觉信息转化为语言描述；步骤S4、通过TongueLMM模态融合学习模块fp连接Tongue视觉编码器Et和TongueLMM语言解码器fσ，并在生成的舌象问诊指令性视觉-语言数据上进行端到端的微调训练，所述训练包括：中医舌面象解读、舌面象多轮问诊、舌面象推理体质三个子任务训练。
全文数据：
权利要求：
百度查询： 合肥云诊信息科技有限公司 一种基于多模态大模型的中医舌诊分析系统及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号