买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：本发明适用于触觉互联网技术领域，提供了一种基于堆栈式自动编码的力触觉信息的生成方法，本发明基于深度学习的图像特征提取方法，利用深度度卷积模型VGG16提取表面触觉图像的特征，并利用堆栈式自动编码的编码部分将从物理表面获取到的力触觉数据进行实时压缩，从原始力触觉信号中提取出维度远小于其自身的特征，并与上述提取出的表面材质的图像纹理特征相结合，然后在低维空间建立从表面材质的视觉纹理特征到触觉纹理特征的映射模型，获取到的表面材质的触觉纹理特征将通过解码器恢复为表面材质的触觉纹理信号。本发明很大程度上降低了触觉信息采集成本，解决了直接构建映射模型会带来参数量巨大、模型难以优化和运算时间长等问题。

主权项：1.一种基于堆栈式自动编码的力触觉信息的生成方法，其特征在于，包括以下步骤：步骤S1、利用深度卷积网络模型VGG16提取表面触觉图像的特征；步骤S2、通过堆栈式自动编码器中的编码器进行表面材质触觉纹理信息的特征提取；应用矩形权重矩阵和偏置向量对原始触觉信息进行降维，得到触觉信息的特征；步骤S3、在完成表面材质的触觉纹理和图像纹理特征提取后，通过一种轻量级的用于时序序列处理的机器学习方法，基于门控循环网络GRU建立从视觉信息到触觉信息的跨模态转换模型；步骤S4、通过一个解码器将表面材质的触觉纹理特征重构为表面材质的触觉纹理信息，应用矩形权重矩阵和偏置向量将特征重构，恢复到输入信号相同的维度，得到触觉信号的重构；步骤S5、计算原始触觉信号与重构的触觉信号间的平均相对误差；对误差进行求导沿着导数下降的方向更新权重和偏置，从而确定编码器和解码器的参数；步骤S6、最小化通过表面材质的视觉纹理特征映射得到的表面材质的触觉纹理特征和通过对表面材质的触觉纹理信号进行特征提取得到的触觉纹理特征之间的误差，从而确定门控循环网络的参数；步骤S7、将训练好的模型保留；最后通过映射模型获取触觉纹理特征并通过解码器重构触觉纹理信号；所述步骤S1中，得到表面触觉图像的特征的具体途径为：采用深度卷积模型VGG16提取表面触觉图像的特征，VGG16的卷积层中卷积核滑动扫过整个图像的数据矩阵，卷积核所带有的系数与其感受野内的数据计算Hadamard积后形成新的隐藏层，在多次卷积后执行池化运算以缩减图像数据维度，将卷积网络最后一层的数据展开得到图像的特征矢量，然后将其与全联接层或Softmax层相连以完成分类任务，通过分类的准确度来佐证特征提取方法的有效性；所述步骤S2中，得到触觉信息特征的具体途径为：长度为的原始力触觉信号经过第一层编码器，通过第一组权重矩阵与偏置向量得到初步特征： ；其中，是提取到的初步特征，代表初步特征的长度，，是用来提取初步特征的权重矩阵，是与其对应的偏置向量，为激活函数；将得到的初步特征进一步压缩，得到最终特征： ；其中，为提取特征所用到的神经网络的层数，，代表第层提取出的特征，为第层的维度；令，为力触觉信号的特征；所述步骤S3的具体途径为：图片特征向量作为输入进入GRU中，图片特征向量与状态向量作为输入向量进入网络中，输出端得到一个处理后的视觉纹理特征向量和一个新的状态向量；在GRU的结构中，和被并行地送入两个门中：重置门和更新门，重置门决定了在多大程度上被保留下来，更新门控制着状态的更新；对重置门和更新门输出和，通过以下的两个公式计算得到： ； ；其中，,,,是网络的参数；给出，保留的历史信息首先与结合，然后通过下式： ；其中，是参数，代表着逐元素相乘的乘法；在的基础上，状态向量将参与即将到来的时间即时状态，如下式所示： ；处理后的图像信号如下式所示： ；其中，是参数矩阵，为激活函数；所述步骤S4中，重构得到触觉信息具体途径为：重构步骤S3所得到的力触觉信号的特征： ；其中，为解码器中重构所需的权重矩阵，为重构中的偏置向量，为利用权重矩阵和偏置向量性映射得到的重构数据，在解码器的最后一层，得到原始信号的重构： ；其中，,与原始数据具有相同的维度；所述步骤S5的具体途径为：解码器和编码器共同构成了堆栈式自动编码器，其中涉及的所有参数可表为集合： ；为了得到最优参数，、和三个相连的层共同组成了一个自动编码器AE，AE参数通过下式确定： ；即最小化每一个自动编码器的重构误差，从原始的表面材质的触觉纹理信号作为第一个自动编码器的输入和目标输出，当第一个自动编码器的参数确定后，其隐藏层被提取出来作为下一个自动编码器的输入和目标输出，参数确定依次进行，当每个编码器的参数确定后，堆栈式自动编码器的参数随之确定；沿着导数下降的方向更新参数，并保留误差最小时的权重和偏置作为编码器和解码器的最终参数；所述步骤S6的具体途径为：将门控循环神经网络中的所有参数封闭到一个集合： ；最佳参数组合由最小化通过表面材质的视觉纹理特征映射得到的表面材质的触觉纹理特征和通过对表面材质的触觉纹理信号进行特征提取得到的触觉纹理特征c之间的误差得到，如下式： ；参数优化过程采用Adam算法，通过带有动量的梯度下降来求解参数集合，达到误差最小化的目的；所述步骤S7的具体途径为：训练过程完成后，将最终更新后的模型参数保留，将提取的视觉图像特征通过映射模型来获取触觉纹理特征，并将获取的触觉纹理特征通过解码器重构触觉纹理信号，从而实现从视觉图像到触觉信息的跨模态生成。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于堆栈式自动编码的力触觉信息的生成方法