买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市星野信息技术有限公司

摘要：本发明属于虚拟交互技术领域，本发明公开了一种虚拟场景交互方法和系统；包括：获取用户当前交互指令数据和相关环境数据，将用户当前交互指令数据进行预处理，得到融合交互特征序列；将融合交互特征序列输入至预先构建完成的基于深度强化学习的时间预测模型，得到一个未来时间段内的用户交互序列；根据相关环境数据和用户交互序列，利用预先构建完成的概率图模型，得到未来n个虚拟场景状态；基于未来n个虚拟场景状态渲染出对应的虚拟场景画面，将虚拟场景画面传输至用户端设备，大幅提升了用户的交互体验。

主权项：1.一种虚拟场景交互方法，其特征在于，包括：S1、获取用户当前交互指令数据和相关环境数据，将用户当前交互指令数据进行预处理，得到融合交互特征序列；S2、将融合交互特征序列输入至预先构建完成的基于深度强化学习的时间预测模型，得到一个未来时间段内的用户交互序列；S3、根据相关环境数据和用户交互序列，利用预先构建完成的概率图模型，得到未来n个虚拟场景状态；基于未来n个虚拟场景状态渲染出对应的虚拟场景画面，将虚拟场景画面传输至用户端设备；所述用户当前交互指令数据包括用户输入设备操作数据和生物特征数据；用户输入设备操作数据包括按键数据、手势数据和设备位移数据；生物特征数据包括眼球运动数据和肢体运动数据；相关环境数据包括用户所处虚拟位置数据、视角方向数据和用户所处环境状态数据；用户所处环境状态数据包括场景物体位置数据和光照数据；所述按键数据包括按键事件的时间戳、按键编码和扫描码；所述手势数据的获取方式包括：采用深度相机以固定的帧率持续采集用户手部区域的点云数据，构成点云数据序列；从点云数据序列中提取手部精确点云数据，将手部区域点云数据进行降采样，得到完整手部点云数据；将完整手部点云数据进行特征提取，得到手掌法向量、指尖位置向量、指根位置向量和指间角度向量；将手掌法向量、指尖位置向量、指根位置向量和指间角度向量拼接得到手势特征向量；将获得的手势特征向量按照时间的先后排列成一个手势特征向量序列，将手势特征向量序列输入至预先训练完成的手势识别模型中，输出对应的手势类型的概率分布，取概率分布中概率最大的手势类型的编码作为手势数据；所述将用户当前交互指令数据进行预处理的方式包括：将用户当前交互指令数据中不同模态的数据进行归一化处理，得到归一化指令数据；将归一化指令数据进行时间序列上的对齐，得到对应的多模态序列；将多模态序列在时间维度上拼接，形成一个具有g个特征通道的特征时间序列数据；将特征时间序列数据构建为一个三维张量，其中两个维度表示时间和特征通道，第三个维度用于表示对应的数据；所述基于深度强化学习的时间预测模型的构建方式包括：时间预测模型包括序列建模网络和强化学习网络；将门控循环单元网络作为序列建模网络的基础框架，门控循环单元网络包括网络输入层、GRU隐藏层和状态表示输出层；收集N1组的交互序列数据，每个交互序列数据包含时间步特征表示和对应的标签；将交互序列数据按照批次逐步输入至门控循环单元网络得到对应批次的最终状态向量，将对应批次的最终状态向量输入到预设的分类器中得到预测的标签概率的分布；计算标签概率和标签之间的交叉熵损失，对门控循环单元网络和分类器的可训练参数使用优化器进行梯度更新，并最小化交叉熵损失，得到序列建模网络；定义强化学习网络为一个半马尔可夫决策过程，为半马尔可夫决策过程定义一个元组S1，N2，P1，R1；其中，S1是低层管理器的决策的状态空间，N2是高层管理器可选择的子任务空间，P1是低层管理器的决策的状态转移函数，R1是低层管理器的决策的奖赏函数；将半马尔可夫决策过程划分为高层管理器的策略和低层管理器的策略；定义半马尔可夫决策过程的目标是学习一个最优的高层管理器的策略和Q个最优的低层管理器的策略，将交互序列数据通过门控循环单元网络获取的对应批次的最终状态向量，作为半马尔可夫决策过程的状态，训练半马尔可夫决策过程，并使用策略梯度算法分别优化高层管理器的策略和低层管理器的策略；使得在半马尔可夫决策过程中计算的期望累积奖赏最大化；得到构建完成的强化学习网络；所述概率图模型的构建方式包括：定义概率图模型的随机变量，随机变量为相关环境数据中的数据；根据虚拟场景中各个物体之间的相互影响关系，构建无向图结构；无向图结构中的节点表示随机变量，无向图结构中的边表示随机变量之间的相互依赖关系；为每个节点定义一个节点潜在函数，为每条边定义一个边潜在函数；收集M1组的历史数据，历史数据为虚拟场景状态的时间序列数据；初始化节点潜在函数和边潜在函数的参数，利用虚拟场景状态的时间序列数据对概率图模型进行训练，得到节点潜在函数和边潜在函数的参数；训练的方法为最大似然估计方法；即完成了概率图模型的构建；所述未来n个虚拟场景状态的获取方式包括：定义概率图模型的转移概率，基于概率图模型的转移概率，对未来n个时间步长进行推理，得到每个时间步长下虚拟场景各个物体的概率分布，在进行推理过程中，将用户交互序列按时间步长依次输入概率图模型；对于每个时间步长，根据概率分布采样或选取场景物体的状态，构建出该时间步长下的虚拟场景状态，继而得到未来n个虚拟场景状态。

全文数据：

权利要求：

百度查询： 深圳市星野信息技术有限公司 一种虚拟场景交互方法和系统