龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国人民解放军军事科学院系统工程研究院
摘要：本发明提供了一种多模态要素抽取方法、系统及装置，涉及机器学习技术领域，方法主要包括：对文本模态要素及图片模态要素，分别通过预训练模型，抽取文本特征及图像表征后，投影至同一个向量空间后进行拼接，再输入至Transformer进行信息交互，得到文本模态与图片模态的融合表征；将融合表征中的文本表征，通过条件随机场进行序列标注，抽取文本要素集合；对融合特征中的图像表征，通过DETR模型进行目标检测，得到图像实体集合；基于文本要素集合及图像实体集合，通过余弦距离函数进行相似度计算，得到要素抽取集合。本方案可准确、自动地将文本模态数据及图片模态数据进行融合，避免了单一模态造成的信息缺失，实现了信息互补，并兼具共指消解功能。
主权项：1.一种多模态要素抽取方法，其特征在于，包括：步骤1、对于文本模态要素，通过语言表征模型，获取文本特征；对于图片模态要素，通过残差网络模型，抽取图像表征；步骤2、将文本特征和图像表征分别通过线性层投影至同一个向量空间后进行拼接，再输入至Transformer进行信息交互，得到文本模态与图片模态的融合表征；步骤3、将融合表征中的文本表征，输入线性层，转换为频谱图，得到低维表征向量，所述低维表征向量的维度是事件类别数目，具体表达式为： ；其中，表示每一帧频谱图对应每个事件类别标签的概率矩阵；通过条件随机场,对低维表征向量进行序列标注，抽取文本要素集合；步骤4、对融合特征中的图像表征，通过DETR模型，进行目标检测，得到图像实体集合；步骤5、基于文本要素集合及图像实体集合，通过余弦距离函数，对文本中的要素及图像中的实体一一进行相似度计算，得到匹配值Si，当匹配值Si大于预设阈值时，则将对应的文本要素及图像实体输入至要素抽取集合，具体公式为：Si=t·i||t||*||i||；其中，t表示文本中的要素向量；i表示图像中的实体向量；||t||表示t的范数；||i||表示i的范数。
全文数据：
权利要求：
百度查询： 中国人民解放军军事科学院系统工程研究院 一种多模态要素抽取方法、系统及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号