买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于时空信息的行人轨迹预测方法，该方法从行人的多种特征中选取了场景信息、行人交互信息和行人历史轨迹信息这三个会对行人轨迹产生明显影响的因素作为神经网络的输入，从而得到精确度更高的行人轨迹预测方法，具体包括：将行人历史轨迹信息转换为顶点矩阵形式，并设计核函数从历史轨迹信息中提取行人交互信息并生成邻接矩阵，将输入的场景图片中的行人信息消除得到纯净的背景信息。结果表明该网络结构可以根据行人交互特点及行人运动状态正确生成预测轨迹，在多个数据集上取得了较好的预测结果。

主权项：1.一种基于时空信息的行人轨迹预测方法，其特征在于，所述行人轨迹预测方法包括如下步骤：步骤S1、获取数据集，并对该数据集进行处理，其包括：首先提取数据集中的行人坐标，并进行坐标转换，获得行人于像素坐标系下的坐标，再基于该像素坐标系的行人坐标构建各个时刻的行人轨迹顶点矩阵；步骤S2、针对步骤S1中得到的行人轨迹顶点矩阵，将其转化为图信息，其包括：提取若干时刻的行人轨迹矩阵，计算出行人间的交互作用，得到邻接矩阵；步骤S3、将步骤S2中得到的图信息输入至空间特征编码器中进行处理，其中，该图信息包括有行人轨迹交互信息及场景信息；步骤S4、采用时序特征编码器，对步骤S3中的空间特征编码器的输出进行时序维度的特征提取，得到时空特征向量；步骤S5、针对步骤S4中得到的时空特征向量，变换其向量的维度；步骤S6、根据步骤S5中经过维度变换后的时空特征向量，对行人未来轨迹进行预测；在所述步骤S1中，基于公式1进行坐标转换，该公式1的表达式为： 在公式1中，u、v表示像素坐标系中的x、y轴，xw、yw表示世界坐标系中的x、y轴，其中，矩阵H表示为： 在公式2中，[r1r2t]为相机外参，[r1r2]为旋转参数，t为平移参数，M为相机内参，s为尺度因子；所述步骤S2具体包括：步骤S201、所述行人轨迹顶点矩阵，其表示为：V'＝{vij|i∈{1,2,...,N},j∈{1,2}}3在公式3中，该矩阵V'共N行，每行代表一个行人，共2列，分别代表x、y轴；步骤S202、提取多个时刻的顶点矩阵，且设为一组，其表示为： 步骤S203、根据步骤S202中得到的行人坐标数据计算出行人间交互作用的大小，核函数为： 在公式5中，数值区间为数值越大，则表示行人轨迹交互影响概率越大；数值越小，则表示行人轨迹交互影响概率越小；步骤S204、生成的邻接矩阵为： 所述步骤S3具体包括：步骤S301、针对步骤S2中得到的行人坐标信息的顶点矩阵与行人交互信息的邻接矩阵，将其截取一帧作为网络输入，则输入表示为：V'＝{vij|i∈{1,2,...,N},j∈{1,2}以及，A'＝{aij|i∈{1,2,...,N},j∈{1,2,...,N}}；步骤S302、将步骤S301中得到的网络输入，输入至图卷积神经网络中进行处理，其中，针对邻接矩阵，令其与单位矩阵相加并对称归一化，表示为：步骤S303、根据得到的计算其表示为： 在公式7中，即为对称归一化处理后的结果，是的度矩阵，设为M×M维矩阵，首先计算M维向量，表示为：其中，然后根据计算对角矩阵其表示为：其中，步骤S304、将步骤S303中得到的输入图卷积网络，在该网络中，每层将与输入矩阵相乘，再送入全连接网络及非线性激活层，其中，当该非线性激活层的输入矩阵为X时，则该层表示为：步骤S305、对于整体网络，当其输入为顶点矩阵V时，则其最终输出为：vtraj＝GCNV＝GCNlayerGCNlayer...GCNlayerV8在公式8中，vtraj表示为最终得到的行人轨迹交互信息的编码特征向量；步骤S306、按时间顺序重复步骤S301-步骤S305，得到不同时刻的vtraj，再按时序排列成为最终的行人轨迹交互编码向量： 步骤S307、采用ResNet18提取网络输入中的场景特征，再叠加全连接与非线性激活层于最终输出层，生成场景特征向量：Vscene＝LeakyReluFCResNetpicture10步骤S308、将步骤S306中得到的行人轨迹交互编码向量与步骤S307中得到的场景特征向量拼接成空间特征编码器最终输出，其表示为：Vspatio＝concatVtraj,Vscene11；所述步骤S4具体包括：步骤S401、将空间特征向量为Vspatio按时序分为Tobs个向量： 步骤S404、设每次输入时序段长度为Tseg，则每次的输入为： 步骤S405、每次时序特征的计算过程，其表示为： 在公式12中，为第i次计算得到的时序编码向量，memi为第i次计算得到的记忆隐向量；步骤S406、将不同序列段的时序编码向量拼接，得到时空特征向量： 在公式13中，

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于时空信息的行人轨迹预测方法