申请/专利权人：浙江印象软件有限公司

申请日：2023-08-16

公开（公告）日：2024-07-05

公开（公告）号：CN117319750B

主分类号：H04N21/4402

分类号：H04N21/4402;H04N21/2187;H04N21/431;G10L15/26;G06F16/35;G06F40/284

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.01.16#实质审查的生效;2023.12.29#公开

摘要：本申请公开了一种直播信息的实时显示方法及装置，其中所述直播信息的实时显示方法可以在直播间的显示界面上提供直播内容关联的信息，便于用户更深层次的与主播交互，以及理解直播间传递的信息，理解直播内容。本申请提供的直播信息的实时显示方法以文本形式显示直播内容关联的信息，降低用户由于听不清直播内容导致的信息遗漏，显著提升直播效果。

主权项：1.直播信息的实时显示方法，其特征在于，所述方法包括：对直播视频流中的音频信息进行识别，得到文本信息；获取预设的提示信息，所述提示信息用于指示文本预测器输出所述文本信息相关的关键词以及所述关键词所属的预设类别；所述提示信息包括待预测的关键词标签以及所述关键词标签关联的类别标签；融合所述提示信息和所述文本信息，得到模型输入信息；将所述模型输入信息输入所述文本预测器，触发所述文本预测器输出关键词标签的预测结果，以及所述关键词标签对应的类别标签的预测结果；将基于所述关键词标签的预测结果，以及所述关键词标签对应的类别标签的预测结果生成的信息显示在所述直播视频流对应的直播间中；其中，所述文本预测器由大型生成式语言模型进行提示学习得到；在卡顿发生的情况下，将所述直播视频流切换为经过视频流优化模型优化的被有损压缩过的视频形成的视频流；所述视频流优化模型的训练方法包括：获取第一样本视频及压缩标签，所述压缩标签为所述第一样本视频对应的压缩方式对应的标签；将所述第一样本视频输入第一网络进行基于卷积的信息提取，得到第一样本特征信息，将所述第一样本特征信息输入第二网络进行标签预测，得到压缩预测值；获取预设的特征集，所述特征集包括每一压缩标签对应的特征子集；基于所述特征集和所述压缩预测值，确定第一特征信息集和第二特征信息集，所述第一特征信息集为所述压缩预测值对应的特征子集形成的集合，所述第二特征信息集为所述特征集与所述第一特征信息集的差集；基于所述第一样本特征信息、所述第一特征信息集和所述第二特征信息集计算的三元组损失函数，得到信息距离损失；根据所述压缩预测值和所述压缩标签之间的差异，计算压缩方式损失；根据所述信息距离损失和所述压缩方式损失的加权求和结果，确定第一损失；根据所述第一损失，调整所述第一网络和所述第二网络的参数，直至到达预设的收敛条件，得到训练好的第一网络；获取第二样本视频，将所述第二样本视频进行基于滑动窗口的划分处理，得到多个第三样本视频；将所述第二样本视频输入所述训练好的第一网络，得到第二样本特征信息；针对每一所述第三样本视频，将所述第三样本视频和所述第二样本特征信息输入第三网络，所述第三网络用于融合所述第三样本视频中的各个图像，并基于融合结果和所述第二样本特征信息生成一个样本目标帧图像；根据各所述样本目标帧图像形成目标帧序列，在所述第二样本视频中提取与所述目标帧序列对应的参考序列；获取所述参考序列的人工优化结果，所述人工优化结果为由人工对该参考序列中每一帧图像基于该第二样本视频所经历的压缩方式进行图像恢复后得到的结果；根据所述目标帧序列和所述人工优化结果之间的差异，调整所述第三网络的参数，直至达到收敛条件，得到训练好的第三网络；基于所述训练好的第一网络和所述训练好的第三网络确定所述视频流优化模型。

全文数据：

权利要求：

百度查询： 浙江印象软件有限公司 直播信息的实时显示方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD