买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南方医科大学珠江医院

摘要：本发明公开一种基于多模态的智能交互AD筛查系统、装置，包括：量表测试模块，用于生成AD筛查测试；数据采集模块，用于采集受试者完成AD筛查测试过程的多模态数据；所述多模态数据包括受试者的眼动数据、微表情数据、笔迹数据以及步态数据；多模态分析模块，用于训练多模态信息融合模型；通过训练后的多模态信息融合模型分析所述多模态数据，对照标准MoCA‑B量表对所述多模态数据进行筛查，输出AD筛查结果；训练多模态信息融合模型过程中，当存在AD筛查结果与实际结果不符时，通过参数调整策略调整所述多模态信息融合模型的参数。本发明无需受试者佩戴多种仪器即可获取多模态数据进行AD筛查，识别准确率高。

主权项：1.一种基于多模态的智能交互AD筛查系统，其特征在于，包括：量表测试模块，用于生成AD筛查测试；所述AD筛查测试包括灯泡测试题目、图像抽象题目、眼动测试题目、步态能力测试题目；所述灯泡测试题目，用于采集眼动数据以及微表情数据，提供眼手协调精细运动、反应力、记忆力、微表情的模态评估；所述图像抽象题目用于采集笔迹数据；所述眼动测试题目用于采集眼动、微表情的数据；步态能力测试用于采集测试过程中步态数据、眼动数据以及微表情数据；数据采集模块，用于采集受试者完成AD筛查测试过程的多模态数据；所述多模态数据包括受试者的眼动数据、微表情数据、笔迹数据以及步态数据；多模态分析模块，用于训练多模态信息融合模型；通过训练后的多模态信息融合模型分析所述多模态数据，对照标准MoCA-B量表对所述多模态数据进行筛查，输出AD筛查结果；所述多模态分析模块通过Mediapipe进行多模态数据的识别以及关键点提取，构建任务序列数据集；所述关键点提取包括眼动数据提取、微表情数据提取、笔迹数据提取以及步态数据提取；将所述任务序列数据集转换为向量，通过主成分分析算法提取特征属性，以提取到的特征属性作为多模态信息融合模型的输入，以AD筛查结果为输出，训练多模态信息融合模型；通过所述多模态信息融合模型进行AD筛查；训练多模态信息融合模型过程中，当存在AD筛查结果与实际结果不符时，通过参数调整策略调整所述多模态信息融合模型的参数；在存在AD筛查结果与实际结果不符时，通过假阳性参数调整策略调整所述多模态信息融合模型的参数，具体为，当AD筛查结果存在假阳性或者假阴性，且假阳性样本的比例超过阈值时，使用加权交叉熵损失函数调整多模态信息融合模型，调整假阳性样本的权重，使得假阳性样本的权重高于假阴性样本的权重；假阳性样本的权重通过权重计算公式调整；所述权重计算公式为： 其中为假阳性样本的权重； 为假阳性样本的数量； 为总样本数； 为假阳性样本的比例阈值；所述步态数据提取包括：以位于拍摄区域左侧的摄像设备为主相机，根据主相机拍摄到的骨骼数据映射提取拍摄区域中受试者的膝盖、手臂、落脚位置的相应空间坐标点，根据落脚位置计算步态轨迹；量化步态轨迹以及步态数据中的步态特征，得到步态序列，所述步态特征包括左右脚步伐距离、抬腿高度、行走速度、节律、步速、摆臂幅度、摆臂速度、转身时间；所述微表情数据提取包括：识别多模态数据中的微表情数据，获取微表情数据集；从已分类的微表情图片提取468个关键点向量，使得每张微表情图片均对应一个向量数据；抽取任意两张已分类的微表情图片及对应的向量数据作为输入，训练微表情分类网络；所述微表情分类网络以交叉熵为损失函数，学习率为0.0001；将微表情数据集通过所述微表情分类网络，得到微表情的分类；通过k-means聚类对表情分类进行扩展，得到微表情分类序列；所述眼动数据提取包括：确定面部、瞳孔的关键点坐标，以面额、眼角、鼻尖作为面部、鼻尖的起始点，构建面部法向量；根据瞳孔的关键点坐标以及眼部纵横比确定眨眼次数；根据瞳孔的关键点坐标以及左右眼角的位置，设定眼部坐标，使得瞳孔与眼睛分别位于预设网格内；根据所述面部法向量以及视线的落点，确定视线方向特征；获取视线目标追踪状况，参考标定的标准视线位置，量化眼动数据，确定眼动序列；所述眼动数据包括跟踪精度、跟踪偏移数、眼跳准确度、眼跳潜伏期、眼动速度、反扫视精度、矫正潜伏期；跟踪精度为视线与目标夹角在2度范围内，眼动速度为眼动与眼动偏移之间的角速度；所述眼动数据提取包括：确定面部、瞳孔的关键点坐标，以面额、眼角、鼻尖作为面部、鼻尖的起始点，构建面部法向量；根据瞳孔的关键点坐标以及眼部纵横比确定眨眼次数；根据瞳孔的关键点坐标以及左右眼角的位置，设定眼部坐标，使得瞳孔与眼睛分别位于预设网格内；根据所述面部法向量以及视线的落点，确定视线方向特征；获取视线目标追踪状况，参考标定的标准视线位置，量化眼动数据，确定眼动序列；所述眼动数据包括跟踪精度、跟踪偏移数、眼跳准确度、眼跳潜伏期、眼动速度、反扫视精度、矫正潜伏期；跟踪精度为视线与目标夹角在2度范围内，眼动速度为眼动与眼动偏移之间的角速度。

全文数据：

权利要求：

百度查询： 南方医科大学珠江医院 一种基于多模态的智能交互AD筛查系统、装置