买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：一种基于Pose‑Transformer网络的动物行为识别方法，首先采集动物行为视频，并对动物行为视频进行预处理；然后构建Pose‑Transformer网络别视频中的动物行为。识别网络构建步骤包括：1获取动物身体部位关节点的位置，生成动物的关节点坐标和置；对于输入视频的T0帧的骨架序列，将其划分为姿态块序列；2在Transformer网络中，将步骤1得到的姿态块进行时空TransformerEncoder，其中：时序TransformerEncoder和空间TransformerEncoder分别在时序和空间上根据动物不同行为对应的关节点之间关联性强度的不同，为不同姿态块的骨架关节点赋予相应的权重，用于表征不同行为关节点之间的时空关联程度；3通过一个姿态块聚合层建模步骤2得到的姿态块序列的时序信息，再通过全局平均池化和全连接层获得动物的行为分类结果。

主权项：1.一种基于Pose-Transformer网络的动物行为识别方法，首先采集动物行为视频，并对动物行为视频进行预处理；然后构建识别网络识别视频中的动物行为，其特征是识别网络是Pose-Transformer网络，其构建步骤包括：1获取动物身体部位关节点的位置，生成动物的关节点坐标和置信度；对于输入视频的T0帧的骨架序列，将其划分为姿态块序列；2在Transformer网络中，将步骤1得到的姿态块进行时空TransformerEncoder，其中：时序TransformerEncoder和空间TransformerEncoder分别在时序和空间上根据动物不同行为对应的关节点之间关联性强度的不同，为不同姿态块的骨架关节点赋予相应的权重，用于表征不同行为关节点之间的时空关联程度；3通过一个姿态块聚合层建模步骤2得到的姿态块序列的时序信息，再通过全局平均池化和全连接层获得动物的行为分类结果；所述步骤2中，2.1在Transformer网络的嵌入层Embedding层后加入位置编码器positionalEmbedding，将每个姿态块的动物骨架序列的关节点信息转换为Transformer向量表示，生成的向量包括查询向量Q、键向量K和值向量V；2.2获取关节点间的空间相关性：将步骤2.1得到的向量输入到空间TransformerEncoder层，并处理得到每个姿态块的每个动物骨架的关节点空间关联特征；空间TransformerEncoder层由N个SpatialTransformerEncoder块堆叠；2.3获取关节点间的时序相关性：将步骤2.1得到的向量输入到时序TransformerEncoder层，并处理得到每个姿态块的动物骨架序列的关节点的时序关联特征；时序TransformerEncoder层由N个TemporalTransformerEncoder块堆叠；所述步骤3中，3.1将步骤2得到的关节点的空间关联特征和时序关联特征进行Concate操作后，作为姿态块聚合子模块的输入；3.2通过姿态块聚合操作分析连续姿态块序列的时序相关性即姿态块对应姿态的相关性；3.3根据步骤3.2得到的姿态块的相关性，通过全局平均池化和全连接层获得动物的行为分类结果。

全文数据：

权利要求：

百度查询： 南京工业大学 一种基于Pose-Transformer网络的动物行为识别方法