买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州岽睿微电子科技有限公司

摘要：本发明公开了一种基于代理注意力机制的老年人活动识别方法，涉及人工智能技术领域，包括步骤如下：S1、采用加速度传感器和位移传感器采集老年人的加速度数据，以及使用运动捕捉相机收集老年人的骨骼数据；S2、分别对采集到的老年人的加速度数据和骨骼数据进行数据预处理，数据预处理包括具体加速度数据采用线性插值处理和去噪后进行归一化处理生成加速度归一化数据；本发明通过将基于代理注意力机制的视觉转换器用于老年人活动识别，极大的简化了模型复杂度，降低了算法复杂度；针对多模态聚合方法进行了改进，利用多种数据来源进行融合实现优化，则使用改进后的聚合方法对骨骼数据和加速度数据模型进行了融合。

主权项：1.一种基于代理注意力机制的老年人活动识别方法，其特征在于，包括步骤如下：S1、采用加速度传感器和位移传感器采集老年人的加速度数据，以及使用运动捕捉相机收集老年人的骨骼数据；S2、分别对采集到的老年人的加速度数据和骨骼数据进行数据预处理，数据预处理包括具体加速度数据采用线性插值处理和去噪后进行归一化处理生成加速度归一化数据，骨骼数据采用扁平化处理和线性插值处理和恢复为三位数组后进行归一化处理生成骨骼归一化数据；S3、分别在代理注意力模块中建立传感器模型和空间和时间骨骼模型，并对加速度归一化数据和骨骼归一化数据进行再处理，经过基于代理注意力机制的交叉视图聚合模块完成对骨骼数据和加速度数据的特征融合计算；所述传感器模型对加速度数据的处理逻辑如下：A1、将输入的加速度归一化数据进行线性编码，与此同时拼接一个加速度令牌ACLS，计算公式为Yn×o＝Xn×iWi×o+b，Y＝Yn×o，ACLS，式中，W表示为权重矩阵，即传感器模型需要学习的参数，b表示为o维的向量偏置，n表示为输入向量的行数，i表示为输入的样本特征数，o表示为输出的样本特征数，Xn×i表示为输入的数据，Yn×o表示为经过编码后输出的数据，Y表示加入加速度令牌之后的输出，ACLS表示为加速度令牌；A2、将A1处理后的数据再次输入归一化层进行归一化二次处理，则归一化二次处理计算公式为式中，X1表示为加速度归一化数据，X表示为经过线性插值处理和去噪处理之后的数据，X1min表示为输入的加速度归一化数据的最小值，X1max表示为输入的加速度归一化数据的最大值，X2表示为加速度归一化二次处理数据；A3、将加速度归一化二次处理之后的数据X2输入代理注意力模块，在该模块中，将代理矩阵A视为查询并在A、K和V之间执行注意力计算，以得到所有值聚合的代理特征VA，然后使用A作为第二个注意力计算中的键和值，使用查询矩阵Q，将全局信息从代理特征广播到每个查询标记并获得最终输出O，通过这种方式，用于避免了Q和K之间的成对相似度的计算，同时通过代理标记保留每个查询键对之间的信息交换，而代理矩阵A的维度远小于查询矩阵Q，则算法复杂度也由此大大降低，具体计算公式为：Q＝kWQ、K＝kWK、V＝kWV、A＝poolingQ、OA＝σQAT+B1σAKT+B2V、O＝σQAT+B1σAKT+B2V+DWCV，式中，k表示为经过位置编码的模型输入，Q表示为查询矩阵，K、V分别表示为键，值矩阵，A表示为代理矩阵，作为Q矩阵的代理参与计算，WQ、WK、WV表示为参数矩阵，是传感器模型训练过程中需要学习的参数，OA表示为代理注意力模块的输出，σ表示为softmax函数，B1、B2分别表示为代理偏差，且由三个偏差组件构建，Gi,j表示为输出矩阵中i行j列的值，k2i,2j表示为输入矩阵2i行2j列的值；A4、经过代理注意力模块的数据同时传入基于代理注意力机制的交叉视图聚合层AgentCVA和加速度模型的下一层归一化层继续进行归一化三次处理，获得归一化三次处理数据X3；A5、将经过归一化层处理后的归一化三次处理数据X3输入到多层感知机中，由多层感知机进行特征提取，并进行最终的多分类任务，在多层感知机中，通过逐层计算，将每一层的输入作为下一层的输出；因此，对于第l层，其输入为l-1层的输出，输入向量通过权重矩阵和偏置向量进行线性变换，并通过softmax激活函数进行非线性变换，经过共L层之后得到最终的输出结果，则计算公式如下：al＝fwlal-1+dl、g＝fwL+1aL+dL+1、式中，al表示为第l层的输出向量，wl表示为第l层的权重矩阵，al-1表示为第l-1层的输出向量，dl表示为第l层的偏置，g表示为多层感知机的最终输出，wl+1表示为多层感知机的权重矩阵，aL表示为多层感知机的初始输入，dL表示为多层感知机的偏置矩阵，ftm表示为softmax激活函数，e表示为自然常数；A6、经过多层感知机的逐层计算后，输出加速度令牌ACLS；所述空间和时间骨骼模型包括空间骨骼模型和时间骨骼模型，其中，空间骨骼模型的处理逻辑如下：B1、将输入骨骼归一化数据进行一维编码，与此同时拼接一个空间令牌SCLS，计算公式为output[i′]＝bias+sumj′input[j′]*weight[i′,j′]，Y′＝Y′n×o,SCLS，式中，input表示为输入的一维特征序列，weight表示为卷积核权重，output表示为卷积运算的结果，i′,j′分别表示为卷积核和输入特征序列的索引，Y′n×o表示为经过编码后输出的数据，Y′表示为加入空间令牌之后的输出，SCLS表示为骨骼令牌，sum表示为求和，bias表示为偏差；B2、将B1处理后的数据再次输入归一化层进行归一化二次处理，则归一化二次处理计算公式为式中，X′2表示为骨骼归一化数据，X′表示为经过线性插值处理后的数据，X′1min表示为输入的骨骼归一化数据的最小值，X′1max表示为输入的骨骼归一化数据的最大值，X′2表示为骨骼归一化二次处理数据；B3、将骨骼归一化二次处理之后的数据X′2输入代理注意力模块，在该模块中，将代理矩阵A′视为查询并在A′、K′和V′之间执行注意力计算，以得到所有值聚合的代理特征VA′，然后使用A′作为第二个注意力计算中的键和值，使用查询矩阵Q′，将全局信息从代理特征广播到每个查询标记并获得最终输出O′，通过这种方式，用于避免了Q′和K′之间的成对相似度的计算，同时通过代理标记保留每个查询键对之间的信息交换，而代理矩阵A′的维度远小于查询矩阵Q′，则算法复杂度也由此大大降低，具体计算公式为：Q′＝k′W′Q′、K′＝k′W′K′、V′＝k′W′V′、A′＝poolingQ′、O′A′＝σ′Q′A′T+B′1σ′A′K′T+B′2V′、O′＝σ′Q′A′T+B′1σ′A′K′T+B′2V′+DWCV′，式中，k′表示为经过位置编码的模型输入，Q′表示为查询矩阵，K′、V′分别表示为键，值矩阵，A′表示为代理矩阵，作为Q′矩阵的代理参与计算，W′Q′、W′K′、W′V′表示为参数矩阵，是传感器模型训练过程中需要学习的参数，O′A′表示为代理注意力模块的输出，σ′表示为softmax函数，B1′、B2′分别表示为代理偏差，且由三个偏差组件构建，G′i″,j″表示为输出矩阵中i″行j″列的值，k′2i″,2j″表示为输入矩阵2i″行2j″列的值；B4、经过代理注意力模块的数据会再次进入归一化层继续进行归一化三次处理，获得归一化三次处理数据X′3；B5、将经过归一化层处理后的归一化三次处理数据X′3输入到多层感知机中，由多层感知机进行特征提取，并进行最终的多分类任务，在多层感知机中，通过逐层计算，将每一层的输入作为下一层的输出；因此，对于第l′层，其输入为l′-1层的输出，输入向量通过权重矩阵和偏置向量进行线性变换，并通过softmax激活函数进行非线性变换，经过共L′层之后得到最终的输出结果，则计算公式如下：a′l′＝fw′l′a′l′-1+d′l′、g′＝fw′L′+1a′L′+d′L′+1、式中，a′l′表示为第l′层的输出向量，w′l′表示为第l′层的权重矩阵，a′l′-1表示为第l′-1层的输出向量，d′l′表示为第l层的偏置，g′表示为多层感知机的最终输出，w′l′+1表示为多层感知机的权重矩阵，a′L′表示为多层感知机的初始输入，d′L′表示为多层感知机的偏置矩阵，ft′m′表示为softmax激活函数，e′表示为自然常数；B6、经过多层感知机的逐层计算后的数据输入至时间骨骼模型；所述时间骨骼模型的处理逻辑如下：C1、将多层感知机的逐层计算后的数据进行线性编码，与此同时会拼接一个时间令牌TCLS，计算公式为Y″＝Y″n′×o′，TCLS，式中，W″表示为权重矩阵，即传感器模型需要学习的参数，b″表示为o′维的向量偏置，n′表示为输入向量的行数，i3表示为输入的样本特征数，o′表示为输出的样本特征数，表示为输入的数据，Y″n′×o′表示为经过编码后输出的数据，Y″表示加入时间令牌之后的输出，TCLS表示为时间令牌；C2、将C1处理后的数据再次输入归一化层进行归一化二次处理，则归一化二次处理计算公式为式中，X″2表示为骨骼归一化数据，X″表示为经过线性插值处理后的数据，X″1min表示为输入的骨骼归一化数据的最小值，X″1max表示为输入的骨骼归一化数据的最大值，X″2表示为骨骼归一化二次处理数据；C3、将骨骼归一化二次处理之后的数据X″2输入代理注意力模块，在该模块中，将代理矩阵A″视为查询并在A″、K″和V″之间执行注意力计算，以得到所有值聚合的代理特征VA″，然后使用A″作为第二个注意力计算中的键和值，使用查询矩阵Q″，将全局信息从代理特征广播到每个查询标记并获得最终输出O″，通过这种方式，用于避免了Q″和K″之间的成对相似度的计算，同时通过代理标记保留每个查询键对之间的信息交换，而代理矩阵A″的维度远小于查询矩阵Q″，则算法复杂度也由此大大降低，具体计算公式为：Q″＝k″W″Q″、K″＝k″W″K″、V″＝k″W″V″、A″＝poolingQ″、O″A″＝σ″Q″A″T+B″1σ″A″K″T+B″2V″、O″＝σ″Q″A″T+B″1σ″A″K″T+B″2V″+DWCV″，式中，k″表示为经过位置编码的模型输入，Q″表示为查询矩阵，K″、V″分别表示为键，值矩阵，A″表示为代理矩阵，作为Q″矩阵的代理参与计算，W″Q″、W″K″、W″V″表示为参数矩阵，是传感器模型训练过程中需要学习的参数，O″A″表示为代理注意力模块的输出，σ″表示为softmax函数，B″1、B″2分别表示为代理偏差，且由三个偏差组件构建，G″i″′,j″′表示为输出矩阵中i″′行j″′列的值，k″2i″′,2j″′表示为输入矩阵2i″′行2j″′列的值；C4、经过代理注意力模块的数据会进入基于代理注意力机制的交叉视图聚合模块中，在交叉视图聚合模块中会完成对骨骼数据和加速度数据的特征融合；特征融合：将经过时间骨骼模型中代理注意力模块的C3中数据作为查询矩阵Q，将经过加速度模型中代理注意力模块的A3中数据作为键值矩阵K，V，特征融合计算过程与代理注意力机制的计算过程一致，不同之处在于数据来源来自骨骼数据和加速度数据C5、经过特征融合后的数据会再次进入归一化层和多层感知机进行处理，完成特征提取，并输出时间令牌TCLS，将时间令牌TCLS和加速度模型输出的加速度令牌ACLS进行向量相加，再将相加后的特征向量输入多层感知机MLP内，由多层感知机完成最终的特征提取，并输出对应标签的概率分布，即多层感知机MLP完成了对骨骼数据和加速度数据的整个聚合计算过程，并得到了最终的活动识别结果；S4、将融合之后的数据再次输入到归一化层和多层感知机，完成特征提取，并输出对应标签的概率分布，获得最终的活动识别结果。

全文数据：

权利要求：

百度查询： 苏州岽睿微电子科技有限公司 一种基于代理注意力机制的老年人活动识别方法