买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：本发明公开了一种基于POMDP和面部行为分析的驾驶培训辅助系统，包括步骤：实时采集学员的头部姿态、脸部表情以及眼睛注视图像，并对采集的图像进行处理；根据得到头部姿态、脸部表情和眼睛注视的图像，估计和预测学员的注意力情况；根据预测的学员的注意力情况和学员的操作结果给予学员适当的驾驶培训辅助提醒或控制。由于人的注意力等内部状态不能被完全直接观察到，只能通过互动和观察来推断，所以这类场景具有不完全可观测性。因此，本文以部分可观马尔可夫决策过程PartiallyObservableMarkovDecisionProcess,POMDP为基础来实现驾驶培训辅助方法。本发明实现了在机器进行驾驶培训辅助的过程中实时地检测人的头部姿态、脸部表情以及眼睛注视，通过对学员的情绪和注意力的判断，基于POMDP实现驾驶辅助的最优决策，给学员提供合适的驾驶辅助输入，帮助学员获得更好的驾驶培训效果。

主权项：1.一种基于POMDP和面部行为分析的驾驶培训辅助方法，其特征在于，包括以下步骤：步骤1借助摄像头捕捉头部姿态、脸部表情以及眼睛注视的每一帧图像，借助面部行为分析工具OpenFace2.0，得到人脸的轮廓并且进行框示，用线段表示出眼睛注视朝向；步骤2根据步骤1中得到的脸部表情图像，在OpenFace2.0环境下，不同的脸部表情对应不同的脸部动作单元的不同数值，根据这些数值可推断脸部表情，估计和预测学员的情绪状态；步骤3根据步骤1中得到头部姿态和眼睛注视的图像及步骤2中得到的情绪状态，估计和预测学员的注意力情况；若学员的头部姿态和眼睛注视角度基本处于正常角度范围内，允许短时间偏离，并且眼睛注视角度没有长时间保持不变，加之步骤2中得到的情绪状态为正常则认为学员的注意力是集中的；步骤4根据步骤3中预测的注意力情况，基于部分可观马尔可夫决策过程PartiallyObservableMarkovDecisionProcess,POMDP实现驾驶辅助系统的最优决策；步骤4.1基于POMDP建立驾驶培训辅助系统的模型：针对具体的驾驶训场景，实例化POMDP基础模型的各个元组内容S,A,Ω,R,T,O,γ，得到驾驶培训辅助方法的POMDP模型；步骤4.1.1确定待研究场景的状态空间：环境的每一个可能的状态用s1,s2,…,sn来表示，环境的所有可能状态的集合称为状态空间，用S表示，即S＝{s1,s2,…,sn}；在每个时间点，环境都处于可能的状态之一；步骤4.1.2确定待研究场景的观测空间：代理不直接观察状态，而是获取关于状态的观察，环境的每一个可能的观察用o1,o2,…,om来表示；环境的所有可能的观察的集合称为观测空间，用Ω表示，即Ω＝{o1,o2,…,om}；步骤4.1.3确定待研究场景的动作空间：代理所能采取的每一个动作用a1,a2,…,ap来表示，代理所能采取的所有动作组成动作空间A，即A＝{a1,a2,…,ap}；在得到观察后，代理从一组可能的动作集合A中选择一个动作并执行这个动作；步骤4.1.4确定状态转移函数Ts,a,s’：Ts,a,s’＝Pst+1＝s’|st＝s,at＝a，状态转移函数表示为状态转移矩阵，转移矩阵描述了动作对系统状态的影响，代理在状态s采取动作a，下一时刻系统所处的状态由状态转移概率分布决定；步骤4.1.5确定观察矩阵Os’,a,o：Os’,a,o＝Pot+1＝o|at＝a,st+1＝s’，其中的每个元素po|a,s’是代理选择行动a之后在下一步转移到状态s’的条件下观测信息是o的概率；步骤4.1.6确定奖励函数Rs,a：奖励函数Rs,a根据任务的目标来设定；代理在状态s执行动作a之后，获得奖励Rs,a，环境基于状态转移函数T演化至下一个状态；步骤4.1.7确定折扣因子γ；折扣因子用于权衡即时回报和回来收益，也用于保证在面对无限时间时的合理行为；若γ越趋近于1，则说明未来收益与立即回报对当下的影响差不多；若γ越趋近于0，则说明未来收益对当下的影响越小，越看重立即回报；步骤4.2驾驶培训辅助POMDP模型求解：步骤4.2.1根据步骤4.1，针对具体驾驶培训场景已经确定了POMDP模型的各个元组的具体内容、建立好了驾驶培训辅助POMDP模型S,A,Ω,T,O,R,γ；步骤4.2.2基于POMDP模型演化过程中的信念状态更新：在POMDP模型求解中，通过引入信念状态b＝[bs1,bs2,…bsn]描述不完全可观的状态的概率分布，下一时刻的信念状态b’可以通过引入贝叶斯公式利用当前时刻的信念状态b、动作a和观察o来更新： 步骤4.2.3POMDP值迭代求解方法：最优值函数的求解，对驾驶辅助POMDP模型进行求解，得到驾驶培训过程中应当给予学员的合适的驾驶培训辅助动作:

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于POMDP和面部行为分析的驾驶培训辅助方法