买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南通亚森信息科技有限公司

摘要：本发明公开了一种信息输入系统，具体涉及信息输入技术领域，包括多模态信息融合模块，提取转化文本、输入文本和输入图片的关键词，根据不同模态的重要性，动态调整各模态特征的权重，输出融合后的多模态特征；多模态信息融合模块包括融合模型选择单元，将多模态信息的数值特征向量和融合模型的基本信息输入融合模型选择单元，输出待选融合模型集合A；通过融合模型选择单元，根据多模态信息的数值特征向量和响应性能要求动态地调整或选择最佳的融合模型，解决现有技术问题中存在的多模态信息融合所需的时间过长，影响下游任务的问题。

主权项：1.一种信息输入系统，其特征在于，包括：语音输入转化模块，用于收集用户的语音段，并将收集的语音段输入语音识别转化模型，输出语音段对应的转化文本，将转化文本传输至多模态信息融合模块；文字输入模块，用于接收用户的输入文本，将输入文本传输至多模态信息融合模块；图片输入模块，用于接收用户的输入图片，将输入图片传输至多模态信息融合模块；多模态信息融合模块，提取转化文本、输入文本和输入图片的关键词，根据不同模态的重要性，动态调整各模态特征的权重，输出融合后的多模态特征；语音识别转化模型管理模块，用于获取并监测语音识别转化模型的性能质量评估指数Yzp，所述语音识别转化模型管理模块对Yzp进行数值判定并输出，基于性能质量评估指数的判定结果采取措施；所述性能质量评估指数Yzp的判定过程包括下列步骤：步骤S11、筛选真实相似度为1的语音段，放入语音段集合A；步骤S12、获取语音段集合A中每个语音段的特征向量参数，特征向量参数包括音频特征向量参数和文本特征向量参数，计算特征向量参数平均值得到语音段的标准特征向量参数；步骤S13、获取真实相似度为xsd的语音段集合B，提取语音段集合B中每个语音段的特征向量参数，计算得到语音段质量评估指数yp；步骤S14、用语音段集合B的真实相似度xsd和语音段质量评估指数yp的比值，表示性能质量评估指数Yzp；步骤S15、性能质量评估指数判断：将获取的性能质量评估指数Yzp和预设值Yzp0进行对比；步骤S16、当获取的性能质量评估指数Yzp低于预设值Yzp0，表明语音识别转化模型异常，向管理人员预警，提示管理人员采取措施；语音段质量管理模块，将语音段输入语音转化文本相似度预测模型中，输出的相似度预测值；所述语音段质量管理模块对语音段的相似度预测值进行数值判断，基于相似度预测值和预设值的关系，采取措施；所述语音转化文本相似度预测模型的运行过程包括下列步骤：步骤S21、数据准备：收集包含语音段、转化文本和真实表意文本的数据集，语音段输入语音识别转化模型后得到转化文本，语音段经过人工标注得到真实表意文本，计算每个语音段对应的转化文本和真实表意文本相似度，记为真实相似度，将数据集划分为训练集和测试集；步骤S22、特征提取：从语音段中提取音频特征向量参数和文本特征向量参数，音频特征向量参数包括分贝、单位时间信息熵、清晰度、自然度、信噪比、梅尔频率倒谱系数和语音段时长，同时，对转化文本进行向量化处理，提取文本特征向量参数；步骤S23、模型构建：选择机器学习搭建模型框架，输入语音特征向量参数和文本特征向量参数，输出相似度预测值；步骤S24、模型训练与评估：使用训练集训练模型，调整模型参数以优化性能，训练至模型的损失函数满足预设值；并在测试集上评估语音转化文本相似度预测模型的性能；步骤S25、将符合性能要求的语音转化文本相似度预测模型输出应用。

全文数据：

权利要求：

百度查询： 南通亚森信息科技有限公司 一种信息输入系统