买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:合肥工业大学
摘要:本发明的一种跨模态细粒度属性对齐的行人智能查找方法、存储介质,包括以下步骤,对数据集中的行人图像以及文本进行全局和属性特征提取;对提取的行人文本特征和图像特征进行全局匹配;将提取的属性特征和全局文本特征作为输入,通过语义共同注意机制得到细粒度的行人属性特征;将得到的细粒度的行人属性特征和文本属性特征进行一一匹配,计算总损失函数,进行相似度计算,最后得到匹配结果。本发明通过语义共同注意机制对属性特征进行强化,使得相似的属性特征相似度更高,反之则更低,这样改进后得到更加细粒度的行人属性,使得拥有相同身份的行人和文本特征更容易匹配,大大提升了根据描述文本查询相似图片的准确率。
主权项:1.一种跨模态细粒度属性对齐的行人智能查找方法,其特征在于,包括以下步骤,S1、对数据集中的行人图像以及文本进行全局和属性特征提取;S2、对提取的行人文本特征和图像特征进行全局匹配;S3、将提取的行人视觉属性特征和全局文本特征作为输入,通过语义共同注意机制得到细粒度的行人视觉属性特征;S4、将得到的细粒度的行人属性特征和文本属性特征进行一一匹配,计算总损失函数,进行相似度计算,最后得到匹配结果;步骤S3中的语义共同注意机制由自我注意机制模块和关系注意模块组成;其中,自我注意机制包括一个多头注意和由两个全连接层以及ReLU激活函数组成的前反馈层,自我注意模块的输入包含查询Q、键K和值V;按比例缩放的点积注意机制用以下公式表示: 其中,代表值V的维度,为了获取各种各样的特征表示,通过多种的线性变换获取多组变换后的V,K,Q,然后实现包含h个平行头的多头注意,多头注意的公式如下所示: 其中,,他们都属于第i个头的变换矩阵,,是原始输入特征的维度,是从每一个头获取的输出特征的维度。
全文数据:
权利要求:
百度查询: 合肥工业大学 跨模态细粒度属性对齐的行人智能查找方法、存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。