龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种基于视听融合的机器人室内易混淆行为类识别方法，使用视频在空间分布上的信息、时间差分上的特征信息以及音频中的类别信息对视频中的行为类进行整体识别。在音频信息的处理上，直接使用膨胀因果卷积处理原始音频信息，从而避免音频转化为其它信息格式过程中的信息损失。考虑到行为特征在视觉、声音上是不均匀分布的，本发明在解码器中引入了类别自适应的特征融合网络。融合网络通过引入类别混淆表构建了损失函数形成了自适应的训练范式。本发明使用深度网络对现有行为识别视频数据滤除杂音，并构建了室内场景下针对视觉易混淆行为的视频数据集，能够训练出收敛的视听融合的行为识别模型。
主权项：1.一种基于视听融合的机器人室内易混淆行为类识别方法，其特征在于：对于视频数据，使用两个具有不同帧采样率、不同图像分辨率的支路分别进行两种不同层级的特征提取，第一个支路为时间流支路，该支路以较高的帧采样率对视频进行帧采样，通过对所得帧图像进行连续的三维卷积得到帧图像在时间差分上的特征；第二个支路为空间流支路，该支路以较低的帧采样率对视频进行帧采样，通过对所得帧图像进行连续的三维卷积提取保留在帧图像中的空间特征，将时间流支路的帧图像进行等比例缩小，以保证效率同步，从而提升三维卷积的速度与空间流支路平齐；对所述视频数据，以固定采样率进行音频采样得到若干音频组成的音频信息流，从所述音频信息流提取最终声音特征；融合空间流支路特征和时间流支路特征得到最终视觉特征；融合所述最终声音特征和最终视觉特征得到最终特征，并利用所述最终特征进行行为识别。
全文数据：
权利要求：
百度查询： 北京深谋科技有限公司 一种基于视听融合的机器人室内易混淆行为类识别方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号