买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明属于濒危动物保护领域，具体涉及一种基于多模态行为信息的大熊猫配种时期预测方法。本发明提供的基于多模态行为信息的大熊猫配种时期预测方法，使用通道融合加注意力机制提取视频数据包含的时空间信息，加强了视频输入中时间信息和空间信息的交互；使用音频作为视频数据的补充，综合了分析大熊猫的动作行为和吼叫行为，提升了通过行为变化预测大熊猫发情阶段变化的准确度；提出的时间序列预测模型在行为变化序列数据上测试得到0.400的均方误差和0.472的均方根误差分，相较于其他时间序列预测方法具有明显的性能优势。

主权项：1.一种基于多模态行为信息的大熊猫发情阶段变化预测方法，其特征在于，包括以下步骤：S1、定义声音、视频两个模态的大熊猫行为，采集雌性大熊猫处于发情期的视频并分模态标注得到多模态数据集；具体包括：S11、定义不同模态下的大熊猫行为，其中包括视频模态下的大熊猫动作行为和声音模态下的大熊猫吼叫行为；S12、分离录制视频内的视频流和声音流，得到由图像帧构成的视频流数据和音频段构成的声音流数据；对于视频流数据，标注大熊猫在各帧中的空间位置和行为标签；对于声音流数据，标注每个音频段所属的吼叫种类；S2、设计多模态行为特征提取模块，包括：S21、对视频流，使用双流网络，通过3DCNN提取输入的连续视频帧中的时间信息，通过2DCNN提取输入关键帧的空间信息：F2d＝φ2dIk,F3d＝φ3dIs变换φ2d·和φ3d·分别表示2DCNN和3DCNN，Ik表示视频输入的关键帧，Is表示视频输入的帧序列，表示时间特征，表示空间特征，B表示batch大小，Cs和Ct分别表示空间特征和时间特征的通道维度，H和W表示特征图的长和宽；进行通道融合： conv1·表示卷积核大小为1x1的卷积层，conv3·表示卷积核大小为3x3的卷积层，通道融合即把时间特征F3d和空间特征F2d沿通道维度进行拼接，然后使用一层1x1卷积和3x3卷积进行处理，输出融合后的特征通道融合之后先对融合后的特征做拉平操作得到向量然后让F′经过自注意力层，自注意力层的计算的公式如下：Q＝K＝V＝F′W＝softmaxQKT F″＝F+αFa其中，Q为Query、K为Key、V为Value、W为权重因子其代表了以通道为区分，F′中各个通道之间的相似程度，α用于决定将有多少的注意力信息被保留下来，它初始化的值为0，是一个可学习的参数；经过通道上的注意力机制的处理后的F″，更好地融合了3DCNN和2DCNN输出的两种不同的特征信息，F″通过分类头得到视频模态下大熊猫行为的分类结果；S22、对声音流，先通过一个一维卷积层融合输入的音频信息并统一声波向量的维度，然后通过连续的多尺度特征提取模处理音频所包含的多尺度特征，最后通过上下文相关池化和AAM-softmax得到准确的大熊猫吼叫行为种类；S23、综合视频流和声音流得到的分类结果，得到多模态行为嵌入向量；S3、基于多模态数据集训练多模态行为特征提取模块，检测一定时间窗口内的大熊猫视频得到行为变化数据；具体而言，定义观察窗口为T天，则得到的大熊猫行为变化向量为：X＝[x1,x2,…xt……,xT]其中是上一步得到的多模态行为嵌入向量，N为界定的大熊猫行为种类个数，xt中个元素的值为各行为时长与输入视频时长的比值；S4、设计时间序列预测模块，对于输入的大熊猫行为变化向量X，首先经过一个一维卷积层抽取行为变化信息，然后通过三个LSTM层，最后再经过一个自注意力操作和分类头得到分类结果；LSTM层的计算公式如下：ft＝σWf·[ht-1；xt]+bfit＝σWi·[ht-1；xt]+bi ot＝σWo·[ht-1；xt]+boht＝ot*tanhCtft、it、Ct、ot分别表示表示遗忘门、输入门、候选记忆、记忆门和输出门，σ·表示sigmiod函数，Wf、Wi、WC、Wo分别表示LSTM单元的遗忘门权值矩阵、输入门权值矩阵、记忆状态权值矩阵和输出门权值矩阵，bf，bi，bC，bo为对应的偏置矩阵，ht-1为上一时刻的隐藏层输出，ht为当前时刻的隐藏层输出，tanh·为双曲正切函数。S5、基于行为变化数据训练时间序列预测模块，得到大熊猫配种时期的预测结果。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于多模态行为信息的大熊猫配种时期预测方法