买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：烟台海颐软件股份有限公司

摘要：本发明属于多模态知识对齐技术领域，具体涉及一种多模态知识分层识别和受控对齐方法。所述方法包括：获取业务领域关键词，构建领域词向量模型；对服务场景进行归类，基于领域词向量模型，生成每一类服务场景的向量特征集合；采集多模态知识内容，对所述多模态知识内容进行分层格式化处理，并基于领域向量模型，形成多模态知识的特征集；将生成的多模态知识特征与每一类服务场景的向量特征进行相似度判断，若相似度值大于预设的对齐灰度阈值，则当前多模态知识向与服务场景对齐；重复上述完成多模态知识体系构建。以统一接口融合不同模态，改进多模态知识内容识别和管理的困难。

主权项：1.一种多模态知识分层识别和受控对齐方法，其特征在于，包括以下步骤：步骤100：获取业务领域关键词，构建领域词向量模型；步骤200：对服务场景进行归类，基于领域词向量模型，生成每一类服务场景的向量特征集合；步骤300：采集多模态知识内容，对所述多模态知识内容进行分层格式化处理，并基于领域词向量模型，形成多模态知识的特征集合；步骤400：将步骤300形成的多模态知识特征集合与步骤200生成的每一类服务场景的向量特征集合进行相似度判断，若相似度值大于预设的对齐灰度阈值，则当前多模态知识向与服务场景对齐；步骤500：重复步骤300-步骤400完成多模态知识体系构建；所述步骤300中采集多模态知识内容，对所述多模态知识内容进行分层格式化处理，并基于领域词向量模型，形成多模态知识的特征集合，具体包括以下步骤：获取上传文件属性，根据文件属性将上传文件分别分在视频处理层、音频处理层、图片处理层及文字处理层，并将视频处理层、音频处理层、图片处理层提交给文字处理层进行处理；在文字处理层对成段文本进行切片，对切片后文字拆分成词，基于领域词向量模型形成词向量，并构建整个句子的句向量矩阵，句向量矩阵池化，聚合所有句向量池化提取段落向量特征，形成多模态知识的特征集；所述将视频处理层、音频处理层、图片处理层提交给文字处理层进行处理，包括：在视频处理层将视频转换为时序图片，将提取后图片提交给图片处理层进行处理；在图片处理层利用OCR计算提取出图片内的文字，将所述文字传给文字处理层进行处理；在音频处理层是将音频文件用ASR转换为文字，将生成的文字提交给文字处理层进行处理。

全文数据：

权利要求：

百度查询： 烟台海颐软件股份有限公司 一种多模态知识分层识别和受控对齐方法