买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:湖大粤港澳大湾区创新研究院(广州增城)
摘要:本发明属于人工智能技术领域,具体涉及一种利用智能眼镜语音辅助盲人日常生活的方法,包括有以下步骤:步骤S100:图像特征提取;步骤S200:文本特征提取;步骤S300:多模态特征融合;步骤S400:文本生成;步骤S500:文本转语音:将所得到的文本序列通过语音输出;本发明的技术方案,能够在智能眼镜采集周围环境图像后,通过语音播报的方式,提示盲人具体方位下的环境、物体信息,可应用于包括物体识别、路径指引、交通信号识别、商品信息获取等方面,通过这些功能,失明人群可以更自主地进行日常活动,不仅能够显著提升失明人群的生活质量,还能够促进他们更好地融入社会,增强他们的自信心和独立性。
主权项:1.一种利用智能眼镜语音辅助盲人日常生活的方法,其特征在于:包括有以下步骤:步骤S100:图像特征提取:预训练特征提取模型,智能眼镜获取周围环境图像,利用训练好的特征提取模型对环境图像进行特征提取,获取图像特征向量;步骤S200:文本特征提取:使用BERT模型语言表征模型和其配套的Tokenizer工具文本预处理工具进行文本特征提取,提取图像特征向量所对应的文本描述;步骤S300:多模态特征融合:引入共注意力机制,将图像特征向量和文本特征向量分别转换为新的图像特征向量和新的文本特征向量,并将新的图像特征向量和新的文本特征向量进行拼接融合,得到融合后的特征向量;步骤S400:文本生成:将融合后的特征向量引入位置编码,并将带位置编码的特征向量输入至编码器,通过解码器输出得到文本序列;步骤S500:文本转语音:将所得到的文本序列通过语音输出。
全文数据:
权利要求:
百度查询: 湖大粤港澳大湾区创新研究院(广州增城) 一种利用智能眼镜语音辅助盲人日常生活的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。