买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本发明涉及深度学习以及食品分析技术领域，具体指一种基于多尺度信息融合的食品营养评估方法，包括：分别提取食品RGB图像、深度图像的各个尺度的RGB图像特征、深度图像特征；设计多模态融合算法，融合每一尺度的RGB图像特征与深度图像特征，得到每一尺度的目标融合特征；设计基于双向特征金字塔的多尺度特征融合算法，增强每一尺度的目标融合特征，得到每一尺度的双向增强融合特征；基于各个尺度的双向增强融合特征，采用多任务学习，预测多种营养素。本发明引入深度图像特征来获取三维空间信息，提取图像特征，并通过多模态融合与双向特征金字塔融合算法，获得了语义信息与细节信息丰富的特征，可为营养评估提供了精确的结果。

主权项：1.一种基于多尺度信息融合的食品营养评估方法，其特征在于，包括：获取食品RGB图像和深度图像；利用特征提取器，提取各个尺度的RGB图像特征、深度图像特征；基于多模态融合算法，融合每一尺度的RGB图像特征、深度图像特征，得到每一尺度的目标融合特征，包括：对每一尺度的深度图像特征进行全局平均池化后，采用多层通道以及非线性激活函数，得到每一尺度对应的通道注意力权重；利用每一尺度对应的通道注意力权重对每一尺度的RGB图像特征进行加权处理，得到每一尺度的第一融合特征；将每一尺度的深度图像特征、RGB图像特征进行拼接后，采用多层卷积，得到每一尺度的第二融合特征；将每一尺度的第一融合特征、第二融合特征和RGB图像特征相加，得到每一尺度的目标融合特征；根据基于双向特征金字塔的多尺度特征融合算法，对各个尺度的目标融合特征进行增强，得到各个尺度的双向增强融合特征，包括：采用预设的第一卷积核，对各个尺度的目标融合特征的通道数进行统一，得到各个尺度的通道融合特征；将最后一尺度的通道融合特征作为最后一尺度的单向增强融合特征，再采用双线性插值对最后一尺度的单向增强融合特征进行尺寸放大操作；将尺度放大后的最后一尺度的单向增强融合特征与其上一层级对应尺度的通道融合特征相加，得到上一层级对应尺度的单向增强融合特征，依次类推，直至得到第一尺度的单向增强融合特征；将第一尺度的单向增强融合特征作为第一尺度的双向增强融合特征，再采用预设的第二卷积核对第一尺度的双向增强融合特征进行尺度缩小操作；将尺度缩小后的第一尺度的双向增强融合特征与其下一层级对应尺度的单向增强融合特征相加再融合，得到第二尺度的双向增强融合特征，依次类推，直至得到最后一尺度的双向增强融合特征；对各个尺度的双向增强融合特征进行池化与拼接操作，得到预测特征；将预测特征输入至多任务学习模型中，经过多层线性层以及非线性激活函数，输出食品中各种营养素的预测值。

全文数据：

权利要求：

百度查询： 江南大学 一种基于多尺度信息融合的食品营养评估方法