申请/专利权人：南京邮电大学

申请日：2022-01-12

公开（公告）日：2024-07-02

公开（公告）号：CN114595739B

主分类号：G06F18/10

分类号：G06F18/10;G06F18/214;G06N3/0464;G06F18/213;G06N3/096;G06V10/82;G06V10/94;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2024.07.02#授权;2022.06.24#实质审查的生效;2022.06.07#公开

摘要：本申请涉及一种图像‑触觉信号相互重建方法和装置。该方法包括：通过接收到待重建信号，待重建信号为视觉信号或图像信号；将待重建信号输入到训练好的深度重建网络模型中进行数据重建，获得重建后的信号；训练深度重建网络模型的步骤包括：搭建基于自编码器构成的深度重建网络模型，将数据集划分为训练集和测试集对深度重建网络模型进行第一阶段和第二阶段的训练；第一阶段和第二阶段的训练交替重复进行，直至深度重建网络模型的训练结果收敛，获得初步深度重建网络模型；将测试集中图像‑触觉信号输入初步深度重建网络模型进行测试，获得训练好的深度重建网络模型。提升了跨模态重建方法接收端信号恢复的泛化能力和恢复质量。

主权项：1.一种图像-触觉信号相互重建方法，其特征在于，所述方法包括：接收到待重建信号，所述待重建信号为视觉信号或图像信号；将所述待重建信号输入到所述训练好的深度重建网络模型中进行数据重建，获得重建后的信号，其中，所述待重建信号为视觉信号时，重建后的信号为图像信号，所述待重建信号为图像信号时，重建后的信号为视觉信号；其中，训练深度重建网络模型的步骤包括：将数据集划分为训练集和测试集，其中，训练集包含外部数据集和内部数据集，外部数据集由图像数据和触觉数据构成；内部数据集由多对一一配对的图像-触觉信号构成，测试集也是由一一配对的图像-触觉信号构成；搭建基于自编码器的深度重建网络模型；所述深度重建网络模型主要由四个自编码器网络：A1，A2，A3，A4构成，其中，A1由编码器EN1和解码器DE1组成；A2由编码器EN2和解码器DE2组成；A3由编码器EN3和解码器DE3组成；A4由编码器EN4和解码器DE4组成；其中，编码器EN1，EN2，EN3，EN4由四层卷积层和两个全连接层构成，解码器DE1，DE2，DE3，DE4由两个全连接层和四层反卷积层构成；将所述训练集输入所述深度重建网络模型，对所述深度重建网络模型进行第一阶段的训练，输出成对、一致的图像-触觉特征编码，其中，所述训练集的内部数据集中的图像信号输入所述深度重建网络模型中A2的编码器EN2；所述训练集的内部数据集中的触觉信号输入所述深度重建模型中A3的编码器EN3；将所述训练集的内部数据集输入到所述深度重建网络模型，进行第二阶段的训练，实现跨模态重建；深度重建网络模型的第一阶段的训练和第二阶段的训练交替重复进行，直至深度重建网络模型的训练结果收敛，获得初步深度重建网络模型；将所述测试集中图像-触觉信号输入所述初步深度重建网络模型进行测试，获得训练好的深度重建网络模型；其中，将测试集中的图像信号输入所述初步深度重建网络模型中的A2路径，输出重建的触觉信号；将测试集中的触觉信号输入所述初步深度重建网络模型中的A3路径，输出重建的图像。

全文数据：

权利要求：

百度查询： 南京邮电大学 图像-触觉信号相互重建方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD