买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明涉及一种用于老年看护的多功能一体化片上系统，属于SOC嵌入式开发、深度学习、计算机视觉技术领域。所述系统通过vivado的blockdesign中的电路设计及控制阿里云服务器，在一块ZYNQ系列开发板中实现手势识别、夹菜喂食及摔倒救助，具体为三部分:1通过图像预处理、SVM预测，实现手势识别；2通过语音识别、菜品目标候选框提取、人脸识别，进行菜品CNN分类预测，进而实现夹菜喂食；通过摔倒检测及小车控制，完成双目视觉测距，实现摔倒救助。所述系统使电路设计灵活度降低了存储资源的同时也减少了计算资源，在保证正确性的同时也带来了速度的提升，为使用者提供全面的路况信息，同时实时性良好，符合实际使用要求，缩小了产品占用体积，且成本低。

主权项：1.一种用于老年看护的多功能一体化片上系统，其特征在于：包含嵌入式片上系统和外部硬件模块；嵌入式片上系统包含夹菜喂食系统、手势识别系统及摔倒救助系统；外部硬件模块包含麦克风、小车、HDMI显示器、机械臂、PC端以及双目摄像头；夹菜喂食系统包含菜品分类模块、人脸识别模块、语音识别模块、RAM缓存器、CNN加速库、AXI接口控制模块以及存储管理模块；菜品分类模块包含CNN参数预置子模块、候选框提取子模块、CNN框架构建子模块、机械臂位姿计算子模块；人脸识别模块包含嘴部识别子模块以及机械臂位姿控制子模块；RAM缓存器包含运算结果存储单元、测试数据存储单元、卷积核及偏置存储单元、全连接层权重偏置存储单元；CNN加速库包含卷积加速模块、池化加速模块以及全连接加速模块；手势识别系统包含结果判别模块、SVMoverlay调度模块、浮点数转定点数单元、傅里叶算子提取模块、轮廓提取模块、肤色检测模块、输入向量阻塞传输模块、支持向量存储器、偏置存储器、脉动阵列结构、输入向量存储器、AXIS总线控制模块以及核函数累加模块；脉动阵列结构包含NPE个PE模块；PE模块包含定点数乘法子模块、定点数加法子模块、ROM地址管理子模块以及输出数据管理子模块；所述NPE的最大数值取决于核函数累加模块的扇入能力；摔倒救助系统包含高斯滤波及灰度化模块、canny边缘提取模块、距离信息生成模块、摔倒检测模块、图像信息融合显示模块、视频流管理模块、图像纹理特征增强模块、SAD窗口遍历搜索模块、高质匹配点筛选模块、视差图距离测量模块、tinier-yolo障碍物检测模块、cv2pynq硬件加速模块以及sobel滤波模块；所述cv2pynq硬件加速模块加速opencv函数；所述sobel滤波模块加速sobel滤波函数；手势识别系统采用ZYNQ开发板进行软硬件协同设计完成对手势识别功能的加速；手势识别系统中的SVM测试向量通过AXIS总线控制模块、输入向量阻塞传输模块存入输入向量存储器，被反复取出传递至脉动阵列结构中NPE个PE模块中的第一个PE模块；PE模块在时钟上升沿依次把测试向量传递到下一个PE模块，并从支持向量存储器中取出支持向量与测试向量进行点积运算并输出给核函数累加模块；核函数累加模块通过内部计数器计数累加至数值Nsvn则从偏置存储器取出偏置值与累加值相加把结果传递至手势识别系统的结果判别模块；Nsvn为手势识别SVM训练中每个分类类别对应的支持向量数；所述Nsvn包括Nsv0Nsv1Nsv2......Nsvn,n的大小取决于SVM多分类的策略及分类类别数量；其中，摄像头连接肤色检测模块，肤色检测模块连接轮廓提取模块，轮廓提取模块连接傅里叶算子提取模块，傅里叶算子提取模块连接浮点数转定点数单元，SVMoverlay调度模块连接结果判别模块，结果判别模块连接阿里云连接的PC端；AXIS总线控制模块接收SVMoverlay调度模块传输来的测试向量，输入向量阻塞传输模块与AXIS总线控制模块以及输入向量存储器相连，控制测试向量往输入向量存储器的写入时序；脉动阵列结构中的PE模块与输入向量阻塞传输模块、支持向量存储器以及核函数累加模块相连，测试向量与支持向量在若干PE模块中进行核函数Kvtest,vsup运算、再将核函数Kvtest,vsup运算结果传递至核函数累加模块；核函数累加模块与偏置存储器以及AXIS总线控制模块相连，核函数累加模块从偏置存储器取偏置值和累加值相加后作为结果传递至手势识别系统的结果判别模块，Kvtest,vsup为SVM核函数运算，vtest是测试向量，vsup是支持向量；脉动阵列结构的每个PE模块对应一个支持向量存储器，每个支持向量存储器存储不同的支持向量；所有PE模块功能一致，包括：接收测试向量、传递测试向量、从对应支持向量存储器取出支持向量、完成SVM核函数运算、输出单个测试向量与单个支持向量的核函数运算结果；AXIS总线控制模块对四根核心信号线进行控制；其中，输入向量阻塞传输模块用于判断输入向量存储器是否处理完毕SVMoverlay调度模块传输进内嵌异步数据缓存子模块的数据，若处理完毕，则传输新数据，否则，停止传输；核函数累加模块中设置计数器，对从脉动阵列结构接收到的数据进计数累加；当计满数值Nsvn，从偏置存储器取出偏置与累加结果相加输出；夹菜喂食系统采用ZYNQ开发板进行软硬件协同设计完成高速、精准、全自动化的夹菜喂食功能；夹菜喂食系统通过语音识别方法识别用户通过麦克风描述的菜品名称并根据菜品数据库判断菜名是否合法，通过“Yolo改进候选框提取方法”，利用菜盘中每一个盛菜区格的形状特性，识别摄像头采集画面中的盛菜区格轮廓作为菜品目标候选框，将所有目标候选框中的图片逐一传递至CNN加速库完成CNN加速运算，通过CNN分类结果，用机械臂夹取用户所述合法菜名的菜品，通过人脸识别找到人脸中嘴巴处于摄像头画面中的相对位置，用机械臂完成喂食；其中，语音识别模块连接菜品分类模块，传递用户选择的菜品信息，AXI接口控制模块连接菜品分类模块，读取CNN预置数据、CNN用户配置信息、测试数据，存储管理模块连接AXI接口控制模块和RAM缓存器，根据AXI接口控制模块中接收的配置参数将预置数据或测试数据存储值RAM缓存器中的对应单元并使能CNN加速库中的模块进行运算；CNN加速库模块连接存储管理单元和RAM缓存器，根据使能信息令加速运算模块从RAM缓存器取数完成运算，将结果传至RAM缓存器；RAM缓存器连接AXI接口控制模块和存储管理模块，在存储管理模块的控制下，将运算结果传递至AXI接口控制模块，再传至菜品分类模块；其中，卷积加速模块通过遍历扫描数据的方法，按照参数RAM中的参数配置信息从参数RAM取出参数配置中用户所定义的卷积核大小的数据，从输入数据RAM取出对应地址的窗口数据，完成扫窗卷积，并利用HLS中相应指令进行卷积加速，将结果存放至运算结果存储单元；其中，池化加速模块按照参数配置信息中对于池化方式、池化窗口大小、池化窗口步进数据的定义，从输入数据RAM对应地址取数完成池化，并利用HLS相应指令进行池化加速，将结果存放至运算结果存储单元；其中，全连接加速模块按照参数配置信息中对于输入维度、输出维度，从参数RAM取出全连接层的权重和偏置值，与输入数据RAM中对应地址的输入数据完成全连接乘加运算，并利用HLS相应指令进行乘加运算加速，将结果存放至运算结果存储单元；其中，AXI接口模块控制AXI-lite总线与AXI-Stream总线，AXI-lite总线传递CNN参数配置信息，AXI-Stream传递大批量待运算数据；存储管理模块根据AXI-lite总线当中的配置信息及CNN加速库中的运算结束标志信息，完成对存储单元的控制；摔倒救助系统采用ZYNQ系列开发板进行软硬件协同设计完成快速、精准的摔倒救助功能；摔倒救助系统通过对摄像头读取的视频流采用相邻帧背景差分法以及形态学算法得到目标位置区域，并根据目标区域轮廓的变化检测出摔倒，搭载救助物品的小车自动开向摔倒者；小车车头的双目摄像头接收到左右视图，通过立体匹配方法寻求两幅图像之间的对应关系，即匹配左右图像上相对应的点，生成视差图，再根据该视差图实时计算出景深信息；小车到达摔倒人面前特定距离时停下，完成救助；其中，视频流管理模块连接sobel滤波模块、图像纹理特征增强模块、tinier-yolo障碍物检测模块、cv2pynq硬件加速模块、高斯滤波及灰度化模块，将视频数据分别传递给上述连接块进行相应功能；sobel滤波模块连接canny边缘提取模块，进行摔倒判别图像预处理，距离信息生成模块连接摔倒检测模块，传递摔倒人物至小车的距离信息，图像纹理特征增强模块、SAD窗口遍历搜索模块、高质匹配点筛选模块、视差图距离测量模块依次串行连接，完成对双目摄像头左右试图的立体匹配，得到视差图传递至距离信息生成模块，tinier-yolo障碍物检测模块连接图像信息融合显示模块，传递yolo探测目标框位置信息及目标判别概率；视频流管理模块，根据配置信息将视频流分别传递给sobel滤波模块、图像纹理特征增强模块、tinier-yolo障碍物检测模块以及cv2pynq硬件加速模块；其中，图像纹理特征增强模块、SAD窗口遍历搜索模块、高质匹配点筛选模块、视差图距离测量模块共同完成左右视图特征点匹配，为图像景深探测提供视差图；其中，tinier-yolo模块加载预训练好的BNN模型进行障碍物位置及类别概率检测，并通过NMS非极大值抑制法框定出目标区域。

全文数据：

权利要求：

百度查询： 北京理工大学 一种用于老年看护的多功能一体化片上系统