买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东浪潮科学研究院有限公司

摘要：本发明公开了基于TinyML的少儿语言早教实现方法及系统，属于机器学习、边缘计算及数据处理技术领域，本发明要解决的技术问题为如何在家长陪伴时间有限的情况下，实现少年儿童语言教学的目的，采用的技术方案为：该方法是在家居环境中，使用边缘计算设备树莓派4B配合轻量化目标检测模型NanoDet‑Plus，并通过便携式摄像头进行实时输入，轻量化目标检测模型NanoDet‑Plus识别输入视频流中的家具，在通过马尔可夫模型和专家系统对识别结果进行解释性描述，边缘计算设备树莓派4B通过扬声器播放获得的文字性的解释，实现儿童语言教学的目的。

主权项：1.一种基于TinyML的少儿语言早教实现方法，其特征在于，该方法是在家居环境中，使用边缘计算设备树莓派4B配合轻量化目标检测模型NanoDet-Plus，并通过便携式摄像头进行实时输入，轻量化目标检测模型NanoDet-Plus识别输入视频流中的家具，在通过马尔可夫模型和专家系统对识别结果进行解释性描述，边缘计算设备树莓派4B通过扬声器播放获得的文字性的解释，实现儿童语言教学的目的；具体如下：家具数据库数据预处理：使用现有的家具数据图片建立家具数据库，并家具数据图片进行处理；建立轻量化目标检测模型NanoDet-Plus：使用深度可分离卷积，并结合改进型FCOS和GeneralizedFocalLoss构建轻量化目标检测模型NanoDet-Plus；并加载预训练好的模型参数；在GPU设备上训练：在GPU设备上进行训练，得到现有的家具识别模型；轻量化后的现有的家具识别模型：量化输出模型得到适合边缘设备的轻量化模型；将轻量化后的现有的家具识别模型部署于树莓派4B；在树莓派4B上设置马尔可夫模型和专家系统；其中，轻量化后的现有的家具识别模型的权重由FP32量化成UINT8类型，量化后权重的范围为[0,255]；轻量化后的现有的家具识别模型为： ；若轻量化后的现有的家具识别模型权重的范围为[-1,1]，则为；深度可分离卷积是指将一个3x3的卷积核分离成一个3x3的深度可分离卷积和一个1x1卷积的组合；马尔可夫模型由状态和动作组成，状态是由一个物体的集合组成，当轻量化后的现有的家具识别模型识别出状态外的物体，就会向状态输入一个信号，原有状态会转入新的状态，并在此过程中，调用专家系统的解释，并输出各个物体的位置信息描述；在使用过程中，需要将便携式摄像头佩戴在头上，摄像头方向和目光方向保持一致，当停留在一个场景内超过一定时间，早教机就会对眼前的场景进行教学，教学顺序按照场景内物体的大小，即目标检测识别框的大小顺序。

全文数据：

权利要求：

百度查询： 山东浪潮科学研究院有限公司 基于TinyML的少儿语言早教实现方法及系统