龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京小蝇科技有限责任公司
摘要：本发明提供一种基于知识蒸馏的呼吸暂停知识问答模型训练方法，采用知识蒸馏的掩码语言训练模块和自监督的掩码语言训练模块，并结合重构损失和分类损失，经过呼吸暂停领域的知识训练，从教师模型中提取关键知识，并将其转移到轻量级模型中；自监督掩码语言训练模块使得学生模型能够在下游任务提供的语料信息下，并基于其提供的上下文信息，实现文本句子的补全和修正。本发明实现了在保持高准确率的同时，提高了问答系统的响应速度，这对于普及呼吸暂停相关知识、辅助快速诊断、提供个性化治疗建议等方面具有显著的有益效果，进而促进了医疗资源的合理分配和医疗服务质量的提升。
主权项：1.一种基于知识蒸馏的呼吸暂停知识问答模型训练方法，其特征在于：包括以下步骤：S1、建立基于AI语言大模型问答结果的呼吸暂停知识数据集并划分为训练集、验证集和测试集；S2、建立基于知识蒸馏的掩码语言模块和基于自监督的掩码语言训练模块，所述基于知识蒸馏的掩码语言模块通过掩码语言模型和重建损失指导学生模型的特征重建以使所述学生模型具有教师模型相当的呼吸暂停知识特征表达能力，所述教师模型包括编码器ViT-H和词嵌入模块，所述学生模型的编码器参数数量小于所述编码器ViT-H参数数量，所述学生模型也包括词嵌入模块；所述基于自监督的掩码语言训练模块为非对称的编码器-解码器网络结构，编码器为学生模型的编码器ViT-T，解码器为多层感知机，通过结合所述基于知识蒸馏的掩码语言模块、分类损失提高所述编码器ViT-T的隐性呼吸暂停知识表达能力和对下游任务的泛化能力；S3、建立重建损失、分类损失和总损失；S4、利用所述训练集、所述验证集和所述测试集分别训练、验证、测试所述学生模型，达到模型收敛阈值后得到基于知识蒸馏的呼吸暂停知识问答模型，一种基于知识蒸馏的呼吸暂停知识问答模型训练方法完成。
全文数据：
权利要求：
百度查询： 北京小蝇科技有限责任公司 一种基于知识蒸馏的呼吸暂停知识问答模型训练方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号