买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：济南大学

申请日：2019-02-28

公开（公告）日：2023-02-24

公开（公告）号：CN109992107B

专利技术分类：.用于用户和计算机之间交互的输入装置或输入和输出组合装置（G06F3/16优先）[2006.01]

专利摘要：本发明的虚拟操控装置及其操控方法，装置包括：模拟部，通过将电子信息加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。方法包括：读取单元选择实验器具及实验材料；选择初始操作的实验器具；基于手势行为，确定初始操作；识别运动轨迹，判断实验器具的移动方向；判断实验器具之间的位置，确定倾倒结果正确；生成实验操作过程；将上述操作过程转化成三维图像，并显示在显示部。该发明能够进行虚拟实验的操作和演示。

专利权项：1.虚拟操控装置，其特征在于，所述的装置包括：模拟部，通过将包含电子信息的物体加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，识别部包含一个智能手套，在手套上的不同手指上设置倾斜传感器，通过识别人体动作姿态，生成对应的操作手势，将操作手势附加到模拟部上；所述的识别部包括：电子信息读取单元，用于从模拟部读取电子信息，识别对应的实验器具或实验材料；操作手势识别单元，人体动作姿态，生成对应的操作手势；建立手势行为的识别结果，采用以下方式中的一种或多种：方式1：首先，在密封的试管内装入流体或具有流动性的固体物，并在瓶口中心设置摄像头，摄像头方向朝向瓶底位置，摄像头将图像信号传到手套上的中心处理芯片，在试管内壁上设置不同的易于计算机图像识别的图案条纹；其次，通过多次试验，建立实验试管的倾斜度与摄像头得到的图像之间的对应关系；第三，在每一个试管倾斜度下，根据两个相邻指节之间的倾斜度计算两个相邻指节之间的夹角，并利用这些夹角建立可视化三维手势模型；方式2：1将指节按照一定顺序编号；可以从大拇指开始到无名指结束，每个手指从根指节开始到末指节结束；2将每个指节上的倾斜传感器产生的图像按照指节顺序形成一个15维图像序列I；3将I与三维手势模型M建立对应关系；具体方法为：将倾斜传感器设置在数据手套上，通过数据手套实时获取三维手势模型数据；通过卷积神经网网络深度学习算法CNN建立I与M之间的对应关系；将M在屏幕上可视化；操作轨迹识别单元，用于识别操作手势的运动轨迹；操作距离判断单元，用于识别实验器具之间的距离；操作过程合成单元，用于将操作手势识别单元、操作轨迹识别单元、操作距离判断单元的识别结果附加到实验器具或实验材料上，生成实验操作过程；转换部，将识别部中操作手势与模拟部的结合转化成二维或三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像；演示部，用于对错误操作发出报警提示，并在显示部播放错误操作导致不良后果的真实或模拟影像。

百度查询： 济南大学 虚拟操控装置及其操控方法