买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国医学科学院北京协和医院;北京理工大学

摘要：本发明公开了一种ICU智能探视交流系统及方法，属于人机交互技术领域；患者和家属分别通过虚拟现实、平面系统进行交互；可以让患者在虚拟现实环境中，脱离病房应激环境的干扰，看到家属来到自己身边，通过眼动追踪的方式对智能生成的选项进行选择，回应家属提问。家属可以在平面屏幕上看到患者在虚拟环境中，实时与他们进行互动。

主权项：1.ICU智能探视交流系统，其特征在于，包括：图像及声音采集设备、显示屏、服务器、工作站、VR眼镜、5G路由器以及降噪耳机；其中，图像及声音采集设备用于采集患者家属的影像及声音；显示屏用于向患者家属展示患者所处环境及患者化身的互动；工作站分别部署在ICU病房和患者家属所在地，分别运行病房客户端和探视客户端；VR眼镜为患者提供高沉浸的VR环境，显示家属问询内容及回答选项，患者通过眼动追踪的方式进行交互确认；降噪耳机为患者播放音频并隔绝外部噪声；病房客户端渲染的VR视景及音频经由5G通道无线串流至VR眼镜中；所述病房客户端面向患者，用于运行VR程序，功能包括VR虚实融合环境生成、眼动追踪、交互UI生成：所述VR虚实融合环境生成是在渲染出的虚拟舒缓环境中融合服务器处理好的患者家属真实图像；所述交互UI生成是通过VR眼镜在患者视野内通过平面UI的方式，显示服务器传送的家属问询文字和推荐回复内容选项；所述眼动追踪是基于VR眼镜内置的红外高速相机对患者瞳孔位置进行追踪，病房客户端能够根据患者瞳孔追踪的位置，确认患者所注视的回复内容选项，由此确认患者意图；病房客户端将回复内容选项反馈至服务器；所述探视客户端面向探视患者家属，用于显示患者虚拟环境及患者化身，功能包括图像及声音数据采集与传输、患者虚拟环境生成、患者虚拟形象生成；所述图像及声音数据采集与传输是将图像及声音采集设备获取的患者家属影像及声音进行优化压缩后向服务器传输；所述患者虚拟环境生成是生成与病房客户端一致的虚拟环境内容；所述患者虚拟形象生成是以服务器传输的患者化身驱动数据，对患者化身的表情、动作进行生成，并与AI克隆的患者语音同步；所述服务器内置语言处理模块、图像处理模块和虚拟人驱动模块，具体为：所述语言处理模块用于：将探视客户端传输的家属语音转为文本；通过自然语言处理对家属语音文本进行分析；根据对家属语言文本分析的结果，生成符合逻辑的回答内容选项；根据患者选择的回答内容文本生成语音数据，调用事先训练好的患者语音模型，AI克隆生成患者音色的语音；所述图像处理模块用于对探视客户端传输的患者家属影像进行提取，得到家属真实图像；所述虚拟人驱动模块用于根据AI克隆生成的患者语音驱动患者虚拟形象的表情、动作形成患者化身驱动数据。

全文数据：

权利要求：

百度查询： 中国医学科学院北京协和医院 北京理工大学 ICU智能探视交流系统及方法