买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：一种导盲方法涉及电子信息领域，通过摄像头采集正前方3米左右的景像，同时送入图像转声音模块进行图像到声音的转化，首先将图像RGB空间转化到HSV空间，其次获取每个像素点的H、S、V的值。将H、S、V的值映射到声音的正弦波具体映射方式为：H值赋给正弦波的初始相位，S值赋给正弦波的幅度值，V值赋给正弦波的频率。接着将同一列的图像像素的声音进行列叠加，最后按照图像中从左到右的顺序拼接成最终的声音片段。得到声音后，通过耳机将声音送到人耳中。人耳听此声音，判断出正前方障碍物的有无情况，达到户外导盲的目的。使用了C++语言编写并实现了图像转声音算法以及设计搭建了导盲装置，实现导盲的目的。

主权项：1.一种导盲方法，其特征在于：①将图像的RGB颜色空间通过公式转化成HSV颜色空间，转化公式如下：max＝maxR,G,Bmin＝minR,G,Bdelta＝max-min 其中：H、S、V对应色调、饱和度和明度值；max和min分别代表R、G、B的最大值和最小值，delta作为中间量；②图像到声音的转化使用的声音信号的表达式为正弦波这里A代表幅度、f代表频率、代表初始相位；将H、S、V三个图像特征映射到声音的正弦波的三个参数：幅度、频率和初始相位中；H取值范围为0-360，S取值范围为0-1，V的取值范围为0-1；图像三个分量信息向声音三个参数信息进行映射，根据不同的映射方法，最终得到6种不同的声音，分别为：i：H值映射到正弦波的幅度，S值映射到正弦波的频率，V值映射到正弦波的初始相位；ii：H值映射到正弦波的幅度，S值映射到正弦波的初始相位，V值映射到正弦波的频率；iii：H值映射到正弦波的频率，S值映射到正弦波的幅度，V值映射到正弦波的初始相位；iv：H值映射到正弦波的频率，S值映射到正弦波的初始相位，V值映射到正弦波的幅度；v：H值映射到正弦波的初始相位，S值映射到正弦波的频率，V值映射到正弦波的幅度；vi：H值映射到正弦波的初始相位，S值映射到正弦波的幅度，V值映射到正弦波的频率；映射方法为：通过计算得到的H、S、V的值直接赋给A、f、从而确定了每种声音参数；下面通过客观评价方法，确定上述6种映射中的最佳映射；一.客观评价模型客观评价模型用到了基于长短期记忆循环神经网络LSTM模型；二.客观评价模型的结构LSTM模型本身就是一个结构的多个复制组成，属于循环神经网络；此模型设置为4层，每一层结构中包括两个激活函数模块，设置为tanh函数，和3个循环激活函数模块，设置为sigmoid函数，损失函数同样使用交叉熵函数，迭代器选用adam优化算法；三.客观评价数据集的选择声音数据则为②中的6种图转声方法对图片转化得到；选取了3种对原图像数据增强的方法，分别是对比度的增加、亮度的增加和水平翻转；图像数据增加后，再通过图转声算法转换成声音文件；对所有的声音样本进行标记；标记的方法如下：i：将这些声音依次标号后，然后进行打乱；ii：将全部声音文件分为10份以上，判断的人年龄在20-30岁共10人以上；每人首先会听到3段有障碍物的声音和3段无障碍物的声音示例，训练他们用人耳区分有无障碍物的声音；随后让他们对客观评价方法需要评价的图转声数据集，通过人耳听觉进行有无障碍物的判断，若认为有障碍物则将此声音标记为0，若认为无障碍物，则将此声音标记为1；iii：全部声音判断结束后，回收结果，并进行统计；四.模型输入选取了4种声音特征：梅尔倒谱系数特征MFCC、将音调之间的距离和关系表现在空间中的音乐格子图tonnetz、色度频率和梅尔频谱；将上文的声音数据的四种特征值相结合作为网络模型的输入；五.训练模型将所有样本数据分为训练集、验证集、测试集；在训练过程中，当迭代次数增加时，如果其损失函数不再降低，则训练停止；综上，此客观评价模型的训练已完成，对图片转换成的声音数据进行评价，评价最高的为最佳的映射，从而找到不同的映射中效果最佳的映射；6种映射方法，每个像素点得到的声音的数学表达式如下，映射顺序与②中相同： 其中：Hi,j、Si,j和Vi,j均为第j列的第i个像素通过计算得到的H、S、V值，T表示最后总的波形时间，N为原图像像素的总列数；③列叠加得到每个像素点所对应的声音后，需要对相同列上的声音进行叠加；将每一列M个像素所对应的声音进行叠加操作，最终每一列均合成一个时间长度为TN的波形Cat，6种映射方法公式如下： ④最终输出最后将图像的每列得到的声音，按照在图像中从左到右的顺序，将分开的几段合成波形首尾相连，最终合成一段时间为T的声音。

全文数据：

权利要求：

百度查询： 北京工业大学 一种导盲方法