买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜福州大学申请的专利基于时间可变形注意力机制的居家老人实时状态监测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117218709B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311388239.6，技术领域涉及：G06V40/16；该发明授权基于时间可变形注意力机制的居家老人实时状态监测方法是由柯逍;连朴为;郑心玥设计研发完成，并于2023-10-25向国家知识产权局提交的专利申请。

本基于时间可变形注意力机制的居家老人实时状态监测方法在说明书摘要公布了：本发明涉及一种基于时间可变形注意力机制的居家老人实时状态监测方法。首先，基于改进yolov7提取视频人体2D姿态图，沿时间维度堆叠成3D热图体，并使用主题中心裁剪，均匀采样等多种方式进行数据预处理。接着，利用时间可变形注意力机制模块与前馈神经网络，使用网络隐帧赋权，结合3D卷积，构建动作识别模型。然后，基于Harr级联分类器提取人脸位置，结合特征聚类网络，多头注意网络、注意融合网络构建表情识别模型。最后，通过不断迭代，优化组合损失更新动作识别模型和表情识别模型参数，并利用动作识别模型构建多级动作判别预警系统，结合表情识别模型构建实时情绪打分系统。

本发明授权基于时间可变形注意力机制的居家老人实时状态监测方法在权利要求书中公布了：1.基于时间可变形注意力机制的居家老人实时状态监测方法，其特征在于：包括以下步骤：步骤S1：基于改进yolov7提取视频人体2D姿态图，沿时间维度堆叠成3D热图体，并使用主题中心裁剪，均匀采样多种方式进行数据预处理；步骤S2：利用时间可变形注意力机制模块与前馈神经网络，使用网络隐帧赋权，结合3D卷积，构建动作识别模型；步骤S3：基于Harr级联分类器提取人脸位置，结合岛损失函数与特征聚类网络，多头注意网络、注意融合网络构建表情识别模型；步骤S4：按照指定训练参数进行迭代训练，通过优化组合损失更新动作识别模型和表情识别模型参数，根据验证准确率不断保存最优模型；利用动作识别模型构建多级动作判别预警系统，并结合表情识别模型构建实时情绪打分系统；步骤S1具体包括以下步骤：步骤S11：使用yolov7-pose进行目标检测，将低层特征与高层特征相融合，从而提高yolov7模型的特征表示能力；然后进行2D人体姿态估计，提取至多17个关键点；步骤S12：在提取2D人体姿势关键点后，将制定沿时间维度堆叠构成的3D热图体；我们将2D姿态表示为大小为K×H×W的热图，其中K是关节的数量，H和W是视频帧的高度和宽度；在yolov7目标检测器给定相应边界框的情况下，对热图进行补零处理从而匹配原始帧的大小；通过人体关节坐标xk,yk以及置信度得分ck，组合K个以每个关节为中心的高斯映射得到关节热图J: σ1为高斯图的方差，xo,yo表示关节坐标周围点的坐标，e为自然常数；并且，利用提取的人体关键点，构建人体肢体热图L: 函数D计算点xo，yo到线段segak，bk的距离，ak，bk表示肢体的两端，代表两端关节点的置信度；最后，将所有热图沿时间维度一同叠加得到三维热图体，其大小为K×Ti×H×W，Ti为时间长度；步骤S13：首先采用中心裁剪技术，根据所有2D姿态估计的最小目标边界框的大小对所有帧进行裁剪，调整为检测目标的大小，既能保留所有动作信息，又能减少3D热图体空间大小；由于处理视频每一帧会造成大量计算开销，接着使用均匀抽样方法，对视频进行平均分割，将视频分割成同帧数的n′个片段，并在每一个片段中抽取一帧，拼接成较短的视频，减少在时间维度上的长度；对数据使用翻转、变形、缩放处理方法；步骤S2具体包括以下步骤：步骤S21：使用时间可变形注意力机制；将一组视频特征作为查询输入；然后它将输出一组动作预测；每个动作预测都表示为时间段、置信度评分和标签的元组；使用时间可变形注意模块TDA，自适应地关注输入特征序列中参考位置周围时间位置的特征；首先设输入视频表示实数空间；TS指时间维度的长度，C则代表某一帧的维度；所以特征序列中的特征都是从视频每一帧提取的特征向量，接下来将对每一帧进行特征增强，使得每一帧都具有时间上下文特征；设查询向量tq∈[0，1]为对应参考点的归一化坐标，这里的参考点就是视频的某一帧；输入为第m个TDA模块头的输出为由从X采样的一组关键元素的加权和计算得出： kn表示采样点的数量，amqk∈[0，1]为各个采样点的归一化注意力权值，体现对不同采样点的关注程度；Δtmqk∈[0,1]为相对于tq的采样偏移量；Xtq+ΔtmqkTs表示在tq+ΔtmpkTS处的线性插值特征；接着通过线性投影从查询特征zq中预测注意权值amqk和采样偏移量Δtmqk；使用softmax函数将注意力权重归一化，是各个帧的权重值，为可学习参数；TDA的输出是通过不同TDA头输出的线性组合来计算的：TDAzq，tq，X＝WOconcath1，h2，...，hm 也是一组可学习的权重，concat表示线性组合；在计算输出序列中的第t′帧时，查询点和参考点都是输入序列中的第t′帧，所述查询特征是该帧的输入特征和在该位置嵌入的其他位置特征的总和；位置嵌入用于区分输入序列中的不同位置，使用正弦位置嵌入法确定嵌入位置： γ＝1，2，3…，根据实际情况设定；步骤S22：进行各帧权重分配，将所有识别片段的所有帧的特征进行赋权；通过计算视频编码向量c′与隐层表示ki的相似度，得出各帧特征对应的权重系数；计算公式如下： T表示矩阵转置，T0为输入视频帧数，ξi为第i帧的权值，V0为可学习参数；步骤S23：解码层使用自注意力机制与时间可变形注意力TDA结合，将前者TDAzq，tq，X的输出作为输入，通过连接池化层和前馈神经网络，从而可以得到解码层预测结果；步骤S24：此前步骤是使用注意力机制提高网络对视频的识别能力，在此，我们引入基于骨骼的3D卷积网络作为动作识别的主干网络，在多种3D卷积中，选择slowonly网络作为主要网络组成，并在网络层中嵌入此前提出的注意力机制；在slowonly网络中，3D卷积的使用参数有所不同，这里卷积核的维度表示为分别表示时间步长，空间步长，通道大小，我们使用不同类型的卷积来提取视频的特征，各层卷积使用情况如下：第一层卷积层为：1×72，64第二层卷积残差连接层使用： 第三层卷积残差连接层使用： 第四层卷积残差连接层使用： 步骤S3具体包括以下步骤：步骤S31：基于Harr级联分类器提取人脸位置；Haar级联分类器是由大量的弱分类器组成的级联结构，每个弱分类器用于检测图像的一个特定特征；级联结构允许快速过滤掉非人脸区域，只对可能包含人脸的区域进行更详细的检测；在检测到对应的人脸后，依据人脸检测的最小目标框进行裁剪，只保留人脸部分；对部分数据加入随机噪声、模糊化、颜色变化处理方法；步骤S32：为搭建多头注意网络，该网络第一部分使用特征聚类网络；整个网络以残差网络为主干，我们使用两种损失函数，一种称为亲和损失，另一种则为岛损失函数，使用两种损失函数的目的在于，在使同一类别内的距离尽可能靠近的同时，既能最大化不同类之间的边界，也能最大化不同类中心的距离；我们假设网络的输入为xi，该输入的标签为yi，该部分网络的输出为x′i：x′i＝Fwr，xiF表示该部分网络，wr表示网络参数；接着使用亲和损失： 为类中心矩阵，每一列对应一个特定类的中心，为c中的列向量，表示实际标签，N′为批次训练的图像量，σc表示各个类中心的标准差，Y表示标签空间，Do为类中心维数；同时使用岛损失函数： τ为自定义的阈值；步骤S33：第二部分为多头注意网络，我们的方法构建1×1、1×3、3×1和3×3卷积核来捕获多尺度的局部特征；通道注意单元由一个全局平均池化层、两个线性层和一个激活函数组成，并且利用两个线性层来编码信道信息； 表示Ka个空间注意头，表示Ka个空间注意图；由于第一部分的输出为x′i，第j个空间注意单元的输出为：sj＝x′i⊙Hjws，x′i，j∈{1，...，Ka}ws代表网络参数，同时假设为通道注意头，为通道注意头输出的最终注意力特征向量，则第j个输出为：aj＝sj⊙H′jws，sj，j∈{1，...，Ka}步骤S34：第三部分使用注意融合网络；注意融合网络通过应用log-softmax函数来缩放注意力特征向量；因为在第二部分多头注意网络中，输出注意力特征向量特征缩放结果为： 在L0这里取512，接着使用分区损失的方法： 为的方差，从而指导注意力头集中在不同的关键区域，避免注意力重叠，最后，归一化的注意力特征向量合并为一个，然后用线性层计算类置信度；步骤S4具体包括以下步骤：步骤S41：对于动作识别模型，我们直接使用交叉熵损失和梯度下降法对模型进行优化；对于表情识别模型，我们使用4种损失函数组成新的损失函数： 其中，为亲和损失，为岛损失，为分区损失，为预测结果的交叉熵损失；λ1，λ2，λ3分别代表对应损失函数的系数，系数根据需要进行调整；接着不断对模型迭代，使用梯度下降法对模型参数进行更新，不断验证模型准确度，保留最优模型参数；步骤S42：在进行动作识别和表情识别的模型训练后，将训练完成的模型部署在居家老人实时监测系统中；对动作进行分级，分成三级，分别表示无危险、可能危险、危险三种情况：1对于挥手、坐、走路、站着、躺着动作，我们认为是正常动作，视为无危险动作；2对于头疼、腰部不适、膝盖不适、咳嗽、打喷嚏动作，我们视为可能危险动作，保持对画面人物的严格监控，并提醒家属存在潜在危险或可能疾病；3对于摔倒、呼救动作，我们视为危险动作，警报提醒家属；步骤S43：基于表情识别的实时情绪打分系统，我们使用表情识别模型结合摄像头，每秒捕获老人的面部表情一次，并预测老人的心情，同时依照预测的置信度，对每秒老人的心情进行打分，并实时计算当前老人当天的实时心情平均得分，我们假设当前时刻心情得分为scorei当心情为厌恶的、轻蔑的时候：score1＝100-60*pro当心情为开心、兴奋的时候：score2＝90+10*pro当心情为中立的、惊讶的时候：score3＝60+25*pro当心情为愤怒的、悲伤的时候：score4＝100-80*propro为预测的置信度，置信度区间为[0，1]，进而能够进行算出当天实时情绪平均得分。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。