买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门理工学院

摘要：本发明公开了一种听障外卖员使用的人机交互头戴式设备及其控制方法，所述设备包括：头戴式设备主体、第一摄像头、第二摄像头、麦克风阵列、控制器、透明显示屏；所述方法包括：通过所述第一摄像头和第二摄像头获取环境图像，根据环境图像识别得到当前所处的第一场景类别；通过所述麦克风阵列获取环境声音，根据环境声音识别得到当前所处的第二场景类别；比较当前第一场景类别和第二场景类别，所述第一场景类别和第二场景类别为骑行场景、步行场景、交流场景其中的一种，若所述第一场景类别和第二场景类别相同，则将环境图像和环境声音转换为对应的场景类别的人机交互提示。

主权项：1.一种听障外卖员使用的人机交互头戴式设备的控制方法，其特征在于，基于一种听障外卖员使用的人机交互头戴式设备，所述头戴式设备包括：头戴式设备主体，用于保护听障外卖员的头部；第一摄像头，设置于所述头戴式设备主体的前侧，用于获取所述头戴式设备主体前侧的环境图像；第二摄像头，设置于所述头戴式设备主体的后侧，用于获取所述头戴式设备主体后侧的环境图像；麦克风阵列，设置于所述头戴式设备主体侧边，用于获取环境声音；控制器，设置于所述头戴式设备主体内，分别连接所述第一摄像头和第二摄像头，用于获取和分析环境图像，所述控制器连接至所述麦克风阵列，用于获取和分析所述环境声音；透明显示屏，设置于所述头戴式设备主体前侧，用于向听障外卖员显示分析后的场景提示；所述头戴式设备主体后侧设置有激光雷达，用于获取所述头戴式设备主体与后方来车的距离和方向；所述头戴式设备后侧延其周向设置有颈托，所述颈托朝向人体头部的一侧分布设置有若干振动单元，所述控制器控制最接近后方来车的方位的振动单元振动；所述方法包括：通过所述第一摄像头和第二摄像头获取环境图像，根据环境图像识别得到当前所处的第一场景类别；通过所述麦克风阵列获取环境声音，根据环境声音识别得到当前所处的第二场景类别；比较当前第一场景类别和第二场景类别，所述第一场景类别和第二场景类别为骑行场景、步行场景、交流场景其中的一种，若所述第一场景类别和第二场景类别相同，则将环境图像和环境声音转换为对应的场景类别的人机交互提示，具体的：若所述场景类别为骑行场景和步行场景，则通过所述激光雷达获取所述头戴式设备主体与后方来车的距离和方向；若所述头戴式设备主体与后方来车的距离小于第一距离阈值，则对所述第二摄像头获得的后侧的所述环境图像进行车辆识别，得到车辆类型；通过所述透明显示屏显示所述后方来车的距离和方向、车辆类型；若所述头戴式设备主体与后方来车的距离小于第二距离阈值，则通过对应方向的所述振动单元进行振动提醒；若所述头戴式设备主体与后方来车的距离小于第三距离阈值，则通过对应方向的所述振动单元增大振动频率进行振动提醒；若所述场景类别为交流场景，则通过所述第一摄像头获取当前交流对象的图像，对所述交流对象进行口型分析，判断交流对象是否为讲话状态；若所述交流对象为讲话状态，则通过所述麦克风阵列获取交流对象语音，将所述交流对象语音转换为交流文本，将交流文本显示在所述透明显示屏上；根据所述交流对象的图像，判断得到所述交流对象的性别和年龄；通过所述显示屏显示所述交流对象的性别和年龄；将所述交流文本进行关键词提取，将关键词通过所述透明显示屏显示在所述交流文本下方。

全文数据：

权利要求：

百度查询： 厦门理工学院 一种听障外卖员使用的人机交互头戴式设备及其控制方法