买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：一种基于家庭场景图的儿童危险行为检测方法，使用多头注意力机制，将目标检测器FasterR‑CNN的目标检测结果转化为多模态的特征；使用主宾语对的特征推理二者之间的关系；综合考虑谓词关系在关系分布中的出现频率和不同谓词关系之间的语义相关性，计算调整因子，在计算损失阶段调整对不同的谓词类别关系进行重加权，减少头部谓词类别对罕见的尾部谓词类别的惩罚，使模型更多关注具有丰富信息量的谓词关系，形成识别性能优秀的场景图模型；使用这样的模型实时监测家庭中儿童的活动情况，对儿童出现的危险行为进行报警。本发明综合考虑谓词关系的出现频率和谓词之间的相关性，提高了对家庭场景下的儿童危险行为的识别速度和精度。

主权项：1.一种基于家庭场景图的儿童危险行为检测方法，其特征在于，所述方法包括以下步骤：步骤一：将VisualGenome数据集中的图像输入到目标检测器FasterR-CNN中，检测出图像中的所有潜在对象集合Obj＝{oi|,i＝1,…,N}，其中N为对象数量，每个对象oi都具有视觉特征vi，边界框坐标的空间特征si，以及初始的文本模态特征，即对象标签预测li；步骤二：从潜在对象集合Obj中任意取出一个对象oi，将对象的视觉特征vi和边界框坐标的空间特征si通过视觉嵌入编码为查询向量Qi、键向量Ki以及值向量Vi的向量三元组Qi,Ki,Vi，将向量三元组作为输入送入协同注意力网络；步骤三：将视觉模态的查询-键-值向量三元组Qi,Ki,Vi作为输入送入多头注意层MA，获取视觉特征信息θi：θi＝MAQi,Ki,Vi＝[head1,head2,…,headp,…,headα]Wo 其中，Wo表示输出的权重矩阵，dk表示向量的维度，head1表示第一个注意力头，head2表示第二个注意力头，headp表示第p个注意力头，headα表示最后一个注意力头，p表示[1，α]的任意数字，α表示注意力头的总数，softmax·表示使用softmax函数进行计算；步骤四：将多头注意力层的结果θi输入到前馈层中，再对前馈层的输出使用残差连接和层归一化，得到最终的视觉特征Gi；步骤五：将对象oi的对象标签预测li通过文本嵌入得到查询-键-值向量三元组，以步骤三、四相同的方式计算出对象oi的最终文本特征Ti；步骤六：将Gi和Ti送入一个两层的全连接神经网络，然后进行相加，获得对象oi的多模态特征Zi；步骤七：从潜在对象集合Obj中任意取出一个对象oj，其中j≠i，重复步骤二到步骤六，得到对象oj的多模态特征Zj；步骤八：将对象oi的多模态特征Zi和对象oj的多模态特征Zj送入关系分类预测网络，得到对象oi和对象oj的可能谓词关系集合t＝1,…,M}，以及与可能谓词关系集合对应的初始预测矩阵t＝1,…,M}，其中M表示关系的数量，其中为初始预测矩阵ηij中谓词关系对应的初始预测值；步骤九：从可能谓词关系集合Predij中任意选出一个谓词关系标签将该标签作为正样本；步骤十：从可能谓词关系集合Predij中任意取出一个谓词关系类别其中m≠n，将该标签作为负样本，计算正样本和负样本的相关性 其中s,o表示所有对于谓词类别有效的三元组的主宾语对的集合，表示这个三元组不是有效三元组，即对于主宾语对sn,on，二者不具有这个关系的可能性，表示这个事件发生的概率；步骤十一：基于谓词类别的分布情况和谓词之间的相关性计算调整因子； 其中φm、φn表示谓词关系和的实例数量，其比值体现了正负样本对和在类别分布中的相对位置；u为大于0的超参；β表示谓词关系predn和predm的相关性阈值，当μnmβ时，这对谓词对是弱相关的，反之当μnm≥β时，这对谓词对是强相关的；步骤十二：遍历可能谓词关系集合Predij，计算谓词类别的预测概率 步骤十三：遍历可能谓词关系集合Predij，重复步骤九到十二，计算所有谓词类别关系的预测概率，得到预测概率分布矩阵其中预测概率最高的谓词关系为谓词关系预测结果，记为得到场景图的三元组步骤十四：计算损失值 其中，yr是一个独热编码one-hotencoding向量，表示对象oi和对象oj的真实关系标签，谓词关系为数据集标注的真实关系时取值为1，否则为0；步骤十五：利用随机梯度下降方法更新模型参数；遍历潜在对象集合Obj，重复步骤二到步骤十四，计算其中所有对象之间的关系，当L小于指定的最小损失值后，结束计算，得到训练好的场景生成模型；步骤十六：将家用摄像头采集的图像缩放至固定大小M*N；将其送入训练好的场景图生成模型，得到对应的场景图；步骤十七：遍历场景图中所有的主谓宾三元组s,r,o，监测其中和儿童实时位置相关的所有三元组，当发现相关三元组出现可能的危险行为时及时报警。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于家庭场景图的儿童危险行为检测方法