买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南师范大学

摘要：本发明公开了一种基于增强连接时序分类网络的步态识别方法，包括：S1、将步态图片依据时序进行分组，并按组构建非完整周期的子步态能量图；S2、随机抽取预定长度的子步态能量图，依据时序先后构建具有相同序列标签的步态训练数据；通过深度卷积网络和具有时序特征的双向长短期记忆网络来提取步态的静态和动态时序特征；S3、针对周期内变化行走角度的曲线行走和合成的行走条件变化数据进行测试。本发明综合了连接时序分类网络和三元组损失函数的优势，使得我们的步态识别方法对步态周期的依赖性降低，对协变条件具有更强的鲁棒性，能在步态周期不完整的条件下，并且面对步态行走条件实时变化的场景时，都能取得较好的识别效果。

主权项：1.一种基于增强连接时序分类网络的步态识别方法，其特征在于包括：S1、将步态图片依据时序进行分组，并按组构建非完整周期的子步态能量图；S2、随机抽取预定长度的子步态能量图，依据时序先后构建具有相同序列标签的步态训练数据；通过深度卷积网络和具有时序特征的双向长短期记忆网络来提取步态的静态和动态时序特征，利用连接时序分类器在训练过程中自动对齐序列标签的优势，结合三元组损失，将样本分为正样本、负样本和自身样本，以提高分类器对细小差异的鉴别能力；S3、在仅对周期内固定行走条件的各类数据进行时序分类训练的前提下，针对周期内变化行走角度的曲线行走和合成的行走条件变化数据进行测试；所述步骤S2中，包括：1采用前馈的方式，利用深度卷积神经网络DenseNet的稠密连接机制，直接将所有层相连接，从而减少梯度消失，加强特征间的传递，同时减少相关参数和计算量；2利用长短期记功能的循环神经网络Bi-LSTM来提取步态时序特征；3利用深度卷积神经网络、循环神经网络和基于CTC的连接时序分类器，来构建端到端的增强连接时序分类网络模型EN-CTCNet，以实现更加灵活的局部标签预测和步态识别；4构建增强连接时序分类网络EN-CTCNet的多目标混合损失函数，包括CTC损失函数、TripletLoss损失函数和Softmax损失函数，利用TripletLoss损失函数的优势扩大类间差异，缩小类内差异，提高识别效率；所述步骤1，具体为：1.1令S为固定分布中的步态训练样本集；输入空间是所有i维向量的有限序列集合；目标空间表示为有限字符ID条件下所有序列的集合，通常将元素称为标记或标记序列；每个步态训练样本都由一组序列x,z组成；目标序列z＝z1,z2,…,zM小于或等于输入序列x＝x1,x2,…,xT，即M≤T；因为输入序列与目标序列通常具有不同的长度，输入序列可以是随机大小，而输出序列只能是一个或者几个ID，所以没有先验的方法对输入序列和输出序列进行预对齐处理；利用步态样本集S来训练一个增强连接时序分类器，并能对任意长度的步态测试序列数据进行分类，输出最有可能的序列标签，即： 1.2利用DenseNet网络进行步态特征的降维和提取，其输出特征定义为1.3使用长度为T的序列向量x＝x1,x2,…,xT，其中并将x作为Bi-LSTM网络的输入；所述步骤2，具体为：2.1长短期记功能的循环神经网络是基于xt和ht-1来计算ht，只不过对内部的结构进行了更加精心的涉及，加入了输入门it、遗忘门ft以及输出门ot三个门和一个内部记忆单元Ct；其中，输入门控制当前计算的新状态以多大程度更新到记忆单元中，遗忘门控制前一步记忆单元中的信息有多大程度被遗忘掉，输出门控制当前的输出有多大程度上取决于当前的记忆单元；2.2在步态序列标记任务中，步态ID的集合用A表示，在增强时序分类方法中，有Softmax输出层单元|A|，表示为在时间节点t所观测到的相应标签概率；通过引入了一个额外的标签单元，名称为“边界间隔”，用表示；边界间隔用来观察和标记行条件的变化；带有的扩展步态ID集合表示为在不同时间节点t，Softmax输出层定义了所有ID的概率，每一个时间节点取一个ID并连接起来便构成了一条路径π；将这条路径所有时刻的ID观察概率相乘得到路径总概率，它体现了输入序列到输出路径序列的概率；2.3利用DenseNet网络输出特征定义为长度为T的序列向量x＝x1,x2,…,xT，其中并将x作为Bi-LSTM网络的输入；Bi-LSTM网络的输出与Softmax层相连，连接权重定义为WBlstm；Bi-LSTM网络输入与输出的关系为： 即通过该子网络实现了序列空间的连续映射通过该映射将输入序列x映射到连续输出定义为在时间t时观测到标签k的概率；所述步骤3，具体为：3.1令A'T为步态ID集合上长度为T的序列集合；假设每次观察的条件概率都是输出独立的，通过输入序列x来获得集合中任何路径π的概率分布，输入序列x是原始步态序列图经过DenseNet步态空间特征提取网络和Bi-LSTM步态时序特征提取网络后输出的序列特征，其对应路径π的概率分布表示为： 3.2定义集合A'的一个ID标签序列为l，因为集合A'可能有多个路径映射到同一序列，因此需要重新定义多对一的函数来重新映射路径集，并获得预测的ID标签序列，即：Fm:A'T→A≤T，其中A≤T表示可能的路径集，即在原始路径的基础上，预测的ID序列的长度不大于输入序列的长度；定义映射函数Fm的思想：从路径中删除所有重复的标签和区间边界 相当于网络从原始输入序列标签转换为预测标签，或者从预测到的标签转换为另一个新标签；与文本序列中有多个字母的情境不同，在步态识别中，步态序列通常具有相同的ID，因此，如下的预测结果“ID1ID2ID2ID2”就显得不那么合理了，因此引入投票策略来获得最终预测结果，即：PvoteID1ID2ID2ID2＝ID2ID2ID2显然，基于CTC算法的识别方法不需要输入数据与预测标签之间的一一对齐，注意力更多的集中在整个序列的最终预测结果；最终将l∈A≤T标记为其对应的所有路径的概率之和，那么ID标签序列的实际预测概率可以表示为： 所述步骤4，具体为：4.1构建增强连接时序分类网络EN-CTCNet的多目标混合损失函数，包括CTC损失函数、TripletLoss损失函数以及Softmax损失函数，根据ID标签序列实际概率，定义CTC损失函数为：LCTC＝-lnpl||x4.2基于CTC的步态识别方法可以输出一个序列的ID，该序列ID非常适用于以随机步态帧作为输入来实现周期弱相关的步态识别，并且其还具有处理周期内步行条件变化的潜力；4.3为了尽可能保留更多的步态识别信息，训练中对所有的样本，按照三元组进行分类，分为自身样本、正样本和负样本；其中，正样本与自身样本是属于同一类的样本，而负样本是与自身样本不在同一类的样本，定义基于三元组的能量损失函数Ltriples： 通过最小化三元组能量损失函数，完成对三元组分类器的学习，基于三元组的分类器，可以将同类样本差异极小化，不同类样本之间的差异最大化，很好地完成对测试样本的分类识别；同时，EH-CTCNet有效结合CTC损失函数、TripletLoss损失函数以及Softmax损失函数，总权重损失函数定义为：Wloss＝ω1Lctc+ω2Ltriples+ω3Lsoftmax上式中ω1，ω2，ω3表权重值，满足ω1+ω2+ω3＝1；通过控制ω1，ω2，ω3的大小，以提取到最适合网络训练的特征，实现不影响网络分类识别的同时，在一定程度上加快网络的收敛速度。

全文数据：

权利要求：

百度查询： 湖南师范大学 一种基于增强连接时序分类网络的步态识别方法