买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连民族大学

摘要：本发明公开了一种少数民族舞蹈视频描述中视觉互参考语义检测方法，其将输入视觉特征经过视觉互参考语义检测结构进行处理，输出表达能力较强的视频语义信息。所述视觉互参考语义检测结构以3D卷积神经网络和2D卷积神经网络处理得到的视频3D视觉特征和2D视觉特征为输入，分别经3D语义检测支路和2D语义检测支路提取语义特征，在语义提取过程中将3D视觉特征引入2D语义检测支路，将2D视觉特征引入3D语义检测支路，实现3D和2D信息的交互作用，同时采用多阶段迭代操作进一步提升语义特征表达能力，将两支路最终输出的3D语义特征和2D语义特征拼接融合来表达视频语义。将该语义特征输入至长短时记忆网络进行解码，可以得到较准确的视频文本描述。

主权项：1.少数民族舞蹈视频描述中视觉互参考语义检测方法，其特征在于，包括：将视频分别经过3D卷积神经网络和2D卷积神经网络处理后得到3D视觉特征V3D和2D视觉特征V2D；所述3D视觉特征V3D在3D语义检测支路中进行特征提取、所述2D视觉特征V2D在2D语义检测支路中进行特征提取，分别得到3D语义特征Sa1和2D语义特征Sb1；将所述3D语义特征Sa1和2D视觉特征V2D进行拼接融合获取新3D语义特征；将所述2D语义特征Sb1和3D视觉特征V3D进行拼接融合获取新2D语义特征；在3D语义检测支路中，对特征提取操作、拼接融合操作进行多阶段迭代，得到3D语义特征SAm；在2D语义检测支路中，对特征提取操作、拼接融合操作进行多阶段迭代，得到2D语义特征SBm：在3D语义检测支路中，对3D语义特征SAm采用语义检测单元End-A进行最后一次语义提取，获取3D语义特征Send-A；在2D语义检测支路中，对2D语义特征SBm采用语义检测单元End-B进行最后一次语义提取，得到2D语义特征Send-B；将所述3D语义特征Send-A和2D语义特征Send-B进行拼接融合，得到语义特征S；所述3D视觉特征V3D在3D语义检测支路中进行特征提取、所述2D视觉特征V2D在2D语义检测支路中进行特征提取，具体为：3D语义检测支路中利用语义检测单元A1提取语义特征，得到3D语义特征Sa1，具体操作如式1～6所示： 式1所示为语义检测单元A1的第1层全连接计算，其中U1,i是权重U1的每一列向量，3D视觉特征V3D与U1,i做向量乘法计算，⊕表示特征的拼接融合，得到中间特征M1；将所述中间特征M1与偏置相加，得到： 其中，D1是常数形式的偏置项，Bro1·是广播操作，通过拓展该常数与向量相加，得到中间特征N1；将所述中间特征N1进行非线性激活处理，当特征中的元素小于或等于1时，将其置为0，否则特征元素值不变；如式3所示： 其中，N1,i是N1的每一个特征元素，函数AReLU·是非线性激活函数，得到中间特征W1；然后进行随机删除神经元操作，如式4所示： 其中，函数的作用是随机删除神经元操作，使其中的部分神经元暂时失去作用，在当前阶段不进行反向传播，k1是保留参数；得到第1层输出特征X1；对第一层输出特征X1提取过程进行多次循环操作，得到语义检测单元A1的第1层、第2层、…、第n层输出特征： 对语义检测单元A1第n层特征进行Softmax多标签分类操作： 其中，Xn,i是特征Xn的每一个特征元素，函数exp·是指数函数表达，通过对该特征进行Softmax分类处理，得到多标签分类形式的语义特征向量Sa1；采用上述的处理方式，2D语义检测支路中2D视觉特征V2D经过语义检测单元B1处理得到2D语义特征Sb1；将所述3D语义特征Sa1和2D视觉特征V2D进行拼接融合，具体为： 其中，SA1为特征向量拼接得到的新3D语义特征；将所述2D语义特征Sb1和3D视觉特征V3D进行拼接融合，具体为： 其中，SB1为特征向量拼接得到的新2D语义特征；在3D语义检测支路中，对特征提取操作、拼接融合操作进行多阶段迭代，迭代次数为m，则该支路逐次输出如下3D语义特征： 在2D语义检测支路中，对特征提取操作、拼接融合操作进行多阶段迭代，迭代次数为m，则该支路逐次输出如下2D语义特征： 将所述3D语义特征Send-A和2D语义特征Send-B进行拼接融合，得到语义特征S，具体为：

全文数据：

权利要求：

百度查询： 大连民族大学 少数民族舞蹈视频描述中视觉互参考语义检测方法