买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：腾讯科技(深圳)有限公司

摘要：本申请公开了一种视觉问答方法、装置、设备及存储介质，涉及计算机设备领域。所述方法包括：获取第一图像、第一文本和视觉提示信息，第一文本是针对第一图像的问题文本，视觉提示信息是针对第一图像中的一部分图像内容的信息；根据第一图像和视觉提示信息，生成图像分割信息，图像分割信息用于指示第一图像中的一部分区域；根据第一图像、图像分割信息和第一文本，生成第一文本对应的第一回答信息。本申请通过关注于图像分割信息所指示的输入图像中的一部分区域，并结合该部分区域与整体区域之间的关系，针对性地回答输入文本，使得生成的回答信息更加准确。

主权项：1.一种视觉问答方法，其特征在于，所述方法包括：获取第一图像、第一文本和视觉提示信息，所述第一文本是针对所述第一图像的问题文本，所述视觉提示信息是针对所述第一图像中的一部分图像内容的信息；编码所述第一图像，得到所述第一图像的特征信息；编码所述视觉提示信息，得到所述视觉提示信息的特征信息；对所述视觉提示信息的特征信息中的每个元素分别进行query变换、key变换和value变换，得到每个元素分别对应的查询特征、索引特征和内容特征；对于所述视觉提示信息的特征信息中的第一元素，通过自注意力机制，分别计算所述第一元素对应的查询特征和其他元素对应的索引特征之间的相似度，得到所述第一元素对应的至少一个相似度；对于所述第一元素对应的至少一个相似度中的第一相似度，将所述第一相似度与所述视觉提示信息的特征信息中的第二元素对应的内容特征相乘，得到所述第一相似度与所述第二元素对应的内容特征的乘积，其中，所述第一相似度是指所述第一元素对应的查询特征和所述第二元素对应的索引特征之间的相似度；对所述第一元素对应的至少一个相似度与所述第二元素对应的内容特征的乘积相加，得到所述第一元素信息自交叉后的数据；根据所述视觉提示信息的特征信息中的各个元素信息自交叉后的数据，得到信息自交叉后的特征信息；对所述信息自交叉后的特征信息中的每个元素分别进行key变换和value变换，得到所述信息自交叉后的特征信息中的每个元素分别对应的索引特征和内容特征；对于所述第一图像的特征信息中的第三元素，通过交叉注意力机制，分别计算所述第三元素对应的查询特征，与所述信息自交叉后的特征信息中的各个元素对应的索引特征之间的相似度，得到所述第三元素对应的至少一个相似度；对于所述第三元素对应的至少一个相似度中的第二相似度，将所述第二相似度与所述信息自交叉后的特征信息中的第四元素对应的内容特征相乘，得到所述第二相似度与所述第四元素对应的内容特征的乘积，其中，所述第二相似度是指所述第三元素对应的查询特征和所述第四元素对应的索引特征之间的相似度；对所述第三元素对应的至少一个相似度与所述第四元素对应的内容特征的乘积相加，得到所述第三元素信息间交叉的数据；根据所述第一图像的特征信息中的各个元素信息间交叉的数据，得到注意力机制的输出数据；对所述注意力机制的输出数据上采样，得到上采样后的数据；通过多层感知机对所述上采样后的数据非线性映射，得到所述多层感知机的输出数据，所述多层感知机的输出数据用于指示所述视觉提示信息对应于所述第一图像中各个位置的概率，所述多层感知机中包括至少一次非线性映射过程，每次非线性映射过程使用一个线性映射函数和一个非线性映射函数；获取所述视觉提示信息对应于所述第一图像中各个像素的概率中，概率大于第二阈值的像素点；将所述概率大于第二阈值的像素点中存在相邻关系的至少第一数量的像素点所构成的区域，确定为所述第一图像中的一部分区域；根据所述第一图像中的一部分区域，得到图像分割信息，所述图像分割信息用于指示所述第一图像中的一部分区域；其中，若所述第一图像中的一部分区域是规则形状的区域，则所述图像分割信息是所述第一图像中的一部分区域的对角像素点的坐标信息；若所述第一图像中的一部分区域是不规则形状的区域，则所述图像分割信息是所述第一图像中的一部分区域的轮廓线的坐标信息；根据所述第一图像、所述图像分割信息和所述第一文本，生成所述第一文本对应的第一回答信息。

全文数据：

权利要求：

百度查询： 腾讯科技(深圳)有限公司 视觉问答方法、装置、设备及存储介质