买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于视频分析技术领域，公开了一种基于计算机视觉的手机PIN锁屏密码识别方法及系统，收集包含用户通过PIN码解锁手机屏幕过程的视频，检测视频帧中出现的指尖和数字键位置，并根据检测情况自动判断是否属于解锁过程；根据检测出的指尖位置计算触摸点并使用光流算法辅助完成对指尖运动的追踪；根据局部数字键位置计算整体键盘布局，存在遮挡时使用仿射映射原理微调键盘位置；使用光流法计算指尖运动参数，并根据速度和加速度判断指尖的移动或按下状态；最后通过位置和运动状态计算可能按下的数字序列，在解锁过程结束后，输出用户最有可能按下的三组PIN序列。本发明使用机器学习算法代替手工处理的步骤从而降低识别成本。

主权项：1.一种基于计算机视觉的手机PIN锁屏密码识别方法，其特征在于，所述基于计算机视觉的手机PIN锁屏密码识别方法包括用户通过PIN码解锁手机屏幕过程的视频，检测视频帧中出现的指尖和数字键位置，并根据检测情况自动判断是否属于解锁过程；根据检测出的指尖位置计算触摸点并使用光流算法辅助完成对指尖运动的追踪；根据局部数字键位置计算整体键盘布局，存在遮挡时使用仿射映射原理微调键盘位置；使用光流法计算指尖运动参数，并根据速度和加速度判断指尖的移动或按下状态；最后通过位置和运动状态计算可能按下的数字序列，在解锁过程结束后，输出用户最有可能按下的三组PIN序列；所述基于计算机视觉的手机PIN锁屏密码识别方法具体包括以下步骤：步骤一，获取包含用户通过PIN码解锁手机屏幕过程的视频，该视频可以来自于摄像头，也可以来自于智能手机等拥有拍摄功能的设备；步骤二，检测视频帧中出现的指尖和数字键1、3、8位置，并根据检测情况自动判断当前帧是否属于解锁过程；步骤三，针对获取到的指尖位置矩形框，计算指尖的触摸点并使用光流算法辅助完成对指尖运动的追踪；步骤四，针对获取到的数字键1、3、8位置矩形框，计算出整体键盘布局，存在遮挡时使用仿射映射原理微调键盘位置；步骤五，使用光流法计算指尖运动参数，并根据速度和加速度判断指尖的移动或按下状态；步骤六，当指尖触摸点位于数字键盘某个键的矩形框中时，根据位置和指尖运动参数计算该键被按下的概率并保存；步骤七，计算过程逐帧进行直到解锁过程结束，此时根据已保存的数字键序列及其概率输出最有可能的三组PIN序列；所述步骤二使用YOLO系列目标检测算法检测出指尖、数字键1、3、4共四个目标位置，将同时检测出指尖和数字键位置的帧作为解锁流程的开始，将连续5帧未检测出数字键位置作为解锁流程的结束。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于计算机视觉的手机PIN锁屏密码识别方法及系统