买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种协助盲人乘车的便携式方法，该方法包括：通过构建深度神经网络模型进行行人、公交车及其他机动车多个目标检测；获取公交车目标在图像中的位置、大小和可信度；融合多帧连续检测到的公交车目标信息，并结合测距模块测量的距离，评估出公交车目标的车行方向、移动速度和距离；播出语音，提示用户公交车到达信息。另外盲人可通过语音输入待乘坐公交路线，显示在显示屏，便于公交车司机和其他乘客提供协助。本发明还公开了一个便携式装置，包括控制器、图像捕捉模块、深度神经网络推理模块、测距模块、语音输出模块、语音输入模块和显示模块等。本发明能提示盲人是否有公交车到站，同时便于盲人得到其他人的乘车帮助。

主权项：1.一种协助盲人乘车的便携式方法，其特征在于，包括步骤：S1：获取训练图像，构建深度神经网络模型，利用训练图像对模型进行训练，实现行人、公交车及其他机动车辆三个类别的目标检测；S2：在实际应用时，通过上述训练好的深度神经网络模型，获取公交车目标在图像中的位置、大小和可信度；S3：融合多帧连续检测到的公交车目标信息，并结合测距模块测量的距离，评估出公交车目标的车行方向、移动速度和距离；S4：播出语音，提示用户公交车到达信息；构建的深度神经网络模型采用MobileNetSSD模型；利用深度神经网络模型进行目标检测，得到t时刻检测到的目标集合Ot＝{oi,t}，目标元素oi,t＝class,x,y,w,h,ci,t，其中，目标类别class，目标在图像中的横坐标x和纵坐标y，目标的宽度w和高度h，目标的可信度c，目标类别class为公交车、其他机动车辆或行人三种；在进行目标检测后，遍历目标集合，从目标集合中删除可信度c小于阈值的目标元素；步骤S3中，以前后时刻拍摄得到的两帧图像为例，针对下一时刻的图像，在通过深度神经网络模型得到目标集合Ot+1后，计算上一时刻目标集合Ot中公交车目标和此时刻目标集合Ot+1中公交车目标的相似度，将相似度大于阈值的目标作为最终的公交车目标；将所有时刻下识别出的公交车目标加入到公交车目标集合中；评估公交车目标的车行方向、移动速度，步骤是：根据每个时刻中公交车目标在图像中的坐标位置，得到公交车目标的移动方向，根据移动方向判断是否属于等待车行方向的公交车目标，如果不是，则将该公交车目标从公交车目标集合中移除；针对属于等待车行方向的公交车目标，根据前后时刻中该公交车目标在图像中的X方向变化量，估计公交车目标的移动速度；根据目标的图像大小，估计公交车离盲人的远近，目标的面积w*h大小意味着公交车的远近。

全文数据：一种协助盲人乘车的便携式装置及其方法技术领域本发明属于盲人导航的研究领域，特别涉及一种协助盲人乘车的便携式装置及其方法。背景技术盲人在公交站等待公交车时，由于其视觉缺陷，无法看到机动车辆的到来，也无法判断经过的机动车是不是公交车，出行非常不便。目前该领域大多是采用无线通信的方式。在公交站建立电子公交站牌，在每辆公交车增加设备，当公交车到达时，两者的设备互相通信，提示盲人公交车到达；或者是每位盲人自行携带引导装置，公交车上增加感应装置，当车靠近时，两者互相通信，引导装置提示盲人上车。这类装置的缺点是需要投入大量改造费用，比如改造现有公交车站，或为每辆公交车添加额外设备等。因此，需要提供一种不依赖于改造现有公交系统的协助盲人乘车的便携式装置及方法。发明内容本发明的主要目的在于克服现有技术的缺点与不足，提供一种协助盲人乘车的便携式装置及其方法，其具有识别准确、携带方便的优点，不需要改造现有公交设施，可拓展性强，成本低。本发明的目的通过以下的技术方案实现：一种协助盲人乘车的便携式方法，包括步骤：S1：获取训练图像，构建深度神经网络模型，利用训练图像对模型进行训练，实现行人、公交车及其他机动车辆三个类别的目标检测；S2：在实际应用时，通过上述训练好的深度神经网络模型，获取公交车目标在图像中的位置、大小和可信度；S3：融合多帧连续检测到的公交车目标信息，并结合测距模块测量的距离，评估出公交车目标的车行方向、移动速度和距离；S4：播出语音，提示用户公交车到达信息。优选的，所述构建的深度神经网络模型采用MobileNetSSD模型。优选的，利用深度神经网络模型进行目标检测，得到检测到的目标集合Ot＝{oi,t}，目标元素oi,t＝class,x,y,w,h,ci,t，其中，目标类别class，目标在图像中的横坐标x和纵坐标y，目标的宽度w和高度h，目标的可信度c，所述目标类别class为公交车bus、其他机动车辆car或行人person三种。更进一步的，在进行目标检测后，从目标集合中删除可信度c小于阀值的目标元素。以提高效率和后面匹配的准确度。优选的，步骤S3中，以前后时刻拍摄得到的两帧图像为例，针对下一时刻的图像，在通过深度神经网络模型得到目标集合Ot+1后，计算上一时刻目标集合Ot中公交车目标和此时刻目标集合Ot+1中公交车目标的相似度，将相似度大于阀值的目标作为最终的公交车目标；将所有时刻下识别出的公交车目标加入到公交车目标集合中。通过相似度来筛选出前后时刻中准确的公交车目标对，可提高后续识别的准确度。更进一步的，评估公交车目标的车行方向、移动速度，步骤是：根据每个时刻中公交车目标在图像中的坐标位置，得到公交车目标的移动方向，根据移动方向判断是否属于等待车行方向的公交车目标，如果不是，则将该公交车目标从公交车目标集合中移除；针对属于等待车行方向的公交车目标，根据前后时刻中该公交车目标在图像中的X方向变化量，估计公交车目标的移动速度。优选的，在通过测距模块测量距离前，先针对属于等待车行方向的公交车目标，根据前后时刻中该公交车目标在图像中的面积大小，粗估公交车目标与拍摄位置之间的距离，在粗估值小于一定值时，自动开启测距模块，测量用户和公交车目标的准确距离，所述测距模块采用超声波进行测量。优选的，所述协助盲人乘车的便携式方法，还包括公交车路线号显示步骤，方法是：播出语音提示，提示使用者说出要乘坐的公交车路线；录制使用者的语音，保存为音频文件；对音频文件进行语音识别，识别出公交车路线号；存储所述公交车路线号，并将其发送到显示模块上予以对外显示。通过设置该显示步骤，可以方便公交车靠站后，司机及周围人给予帮助。一种用于实现上述方法的协助盲人乘车的便携式装置，包括：箱体，以及设置在箱体内的控制器，在箱体一侧设有测距模块以及图像捕捉模块，测距模块和图像捕捉模块均与控制器数据相连；在箱体内部，控制器与一深度神经网络推理模块相连，控制器还与一语音输出模块相连。优选的，所述控制器采用树莓派3B板构成的嵌入式控制器。优选的，所述图像捕捉模块采用CSI摄像头，通过CSI总线与控制器连接，或者采用USB摄像头，通过USB总线与控制器连接。优选的，所述深度神经网络推理模块使用Movidius神经计算棒。该神经计算棒包括神经网络加速芯片，是现有的硬件，上面加载有固定的神经网络模型，可直接进行应用。优选的，所述测距模块采用超声波测距传感器。超声波测距传感器具有受环境因素干扰小的优点。优选的，所述语音输出模块包括扬声器或耳机，若采用耳机时，耳机通过数据线与控制器上的音频输出接口相连。优选的，所述便携式装置包括一显示模块，该显示模块采用多块MAX7219驱动的8*8LED点阵，通过SPI总线连接控制器。便于公交车司机和路人知道盲人要乘坐的路线，主动给予帮助。优选的，所述便携式装置包括一语音输入模块，该语音输入模块采用I2S麦克风，通过I2S总线接入控制器；或者，采用USB麦克风，通过USB总线接入控制器。使用者可通过语音来更改要检测的公交车线路。本发明与现有技术相比，具有如下优点和有益效果：1、本发明在不改造公交设施的情况下，通过视觉检测公交车及其他机动车辆等多种目标，为盲人提供公交车到站信息，有效避免盲人听到有车来就上前的情况，一定程度上保护了盲人的安全。2、相较于现有技术中盲人手持一张固定公交路线纸板，本发明通过语音交互可以方便更改不同的公交路线，通过路线的展示更易于得到公交司机及他人帮助，同时也弥补了机器视觉难以识别路线的缺陷。附图说明图1是本发明一实施例提供的装置结构框图；图2是本发明一实施例提供的装置结构示意图；图3是本发明一实施例提供的方法的流程图；图4是本发明另一实施例提供的装置结构框图；图5是本发明另一实施例提供的装置结构示意图；图6是本发明另一实施例提供的方法的流程图。图2和图5中：1-嵌入式控制器；2-摄像头；3-深度神经网络推理模块；4-测距模块；5-语音输出模块；6-语音输入模块；7-显示模块。具体实施方式下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。实施例1如图1和图2所示，本实施例公开一种协助盲人乘车的便携式装置，装置包括箱体，在箱体内部设有嵌入式控制器和深度神经网络推理模块，在箱体正面设有图像捕捉模块和测距模块，在箱体上端设有开口，控制器设有音频输出接口，语音输出模块通过该音频输出接口与控制器相连。其中，所述嵌入式控制器，是装置的控制和决策中心，用于控制其他模块。优先选用树莓派3B板作为所述嵌入式控制器。所述图像捕捉模块用于获取图像，输入给所述嵌入式控制器；所述图像捕捉模块可采用CSI摄像头，通过CSI总线与树莓派连接。所述图像捕捉模块也可以使用USB摄像头，通过USB总线与树莓派连接。所述深度神经网络推理模块，用于进行深度神经网络的推理，从所述嵌入式控制器输入图像，获得目标在图像中的位置、大小和可信度，然后返回目标检测结果给所述嵌入式控制器。所述深度神经网络推理模块使用Intel公司的Movidius神经计算棒；深度神经网络模型采用MobileNetSSD。所述测距模块用于测量盲人与目标的距离，输入到所述嵌入式控制器。所述测距模块可采用红外、超声波等多种测距传感器，但是考虑到应用场景，本实施例优选采用一个或多个超声波测距传感器。所述语音输出模块用于所述嵌入式控制器播放语音信号；所述语音输出模块使用一个耳机连接树莓派的3.5mm耳机接口。所述语音输出模块可使用扬声器。基于上述装置的方法，包括模型训练阶段以及实际使用阶段，其中模型训练阶段，包括下述步骤：1获取样本图像数据，在图像上至少标注有目标的类型和位置信息；标注信息可以由人工手动完成。2将样本数据分为训练样本和测试样本，通过训练样本对构建的深度神经网络模型进行训练，训练结束后采用测试样本对其进行测试，通过上述反复训练，得到最终的深度神经网络模型。在实际使用阶段，如图3所示，具体包括以下步骤：1捕捉图像。用户将图像捕捉模块的摄像头对准来车方向，获取t时刻的一帧图像image，然后将该图像发送到嵌入式控制器。2目标检测。嵌入式控制器将图像imaget发送给Intel神经计算棒，进行目标检测运算，返回t时刻检测到的目标集合Ot＝{oi,t}。其中目标元素oi,t＝class,x,y,w,h,ci,t，包括：目标类别class，目标在图像中的像素横坐标x和纵坐标y，目标的像素宽度w和高度h，目标的可信度c。目标类别class是公交车bus、其他机动车辆car或人person。遍历目标集合Ot，删除可信度c小于阀值的目标oi,t。3帧间匹配。计算当前目标集合Ot中公交车目标和上一时刻目标集合Ot-1中公交车目标的相似度，相似度大于阀值的目标加入公交车目标集合Bt＝{ot-1,j,ot,i}。4状态估计。根据匹配目标对ot-1,j,ot,i中的目标位置x的变化，估计公交车的运动方向和速度。以中国的交通规则为例，公交车目标向右移，表示该车处于要等待的车行方向。反之，公交车目标左移，表示该车是对面马路的公交车，就要将其移除出公交车目标集合Bt。对于等待车行方向的公交车目标，根据目标ot,i的位置x变化量，估计公交车移动速度，变化越大表示车速越快，反之变化越小车速越慢。另外，根据目标ot,i的图像大小，还可估计公交车离盲人的远近，目标的面积w*h大小意味着公交车的远近，面积小意味着车在远处，面积大意味着车在近处。从而可大概估计出位置。5测量距离。通过超声波测距传感器，测量出盲人与前方目标的距离dist。6融合决策。综合视觉估计的公交车速度距离信息和测距模块的距离信息，作出决策。若公交车目标ot,i的估计距离近、车速慢，并且测量距离dist小于阀值，则得出公交车靠站的结论。7语音提示。通过耳机或扬声器输出语音，提示盲人上车。本实施例装置结构简单，通过视觉检测、距离检测等多途径融合方式能够准确的得到公交车是否靠站这一结论，在有公交车靠站时，通过耳机或者扬声器提醒盲人，盲人可询问身边民众或者公交车司机是否是其想要搭乘的公交车，从而避免盲人听到有车来就上前的情况，保护盲人的安全。实施例2本实施例除下述特征外其他结构同实施例1：如图4和图5所示，本实施例公开一种协助盲人乘车的便携式装置，该装置相较于实施例1，增加了语音输入模块和显示模块。其中，所述语音输入模块用于输入盲人的语音信号给嵌入式控制器，本实施例中语音输入模块可采用I2S麦克风，通过I2S总线接入树莓派，也可以采用USB麦克风，通过USB总线接入控制器。所述显示模块是嵌入式控制器的显示终端，设置在箱体的正面，用于显示待乘坐的公交车路线，便于公交车司机和旁人知道盲人要乘坐的路线。显示模块采用多块MAX7219驱动的8*8LED点阵，通过SPI总线连接控制器。该实施例便携式装置的工作方法，与实施例1相比，在训练模型以及利用训练好的模型进行实际应用方面没有什么实质差别，其区别主要在于公交路线输入和显示部分，如图6所示，具体包括以下步骤：1语音询问：控制器通过语音输出模块播出语音，提示盲人说出要乘坐的公交车路线。2语音录制：语音输入模块录制盲人的语音，保存为音频文件；3语音识别：控制器进行语音识别，识别出公交车路线；4显示路线：控制器输出公交车路线到显示模块，显示模块对外显示公交车路线。通过设置语音输入模块和显示模块，盲人或者其他使用者就可以通过语音的方式修改公交车路线，同时对外显示后可以更方便的获取司机以及周围人的帮助。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

权利要求：1.一种协助盲人乘车的便携式方法，其特征在于，包括步骤：S1：获取训练图像，构建深度神经网络模型，利用训练图像对模型进行训练，实现行人、公交车及其他机动车辆三个类别的目标检测；S2：在实际应用时，通过上述训练好的深度神经网络模型，获取公交车目标在图像中的位置、大小和可信度；S3：融合多帧连续检测到的公交车目标信息，并结合测距模块测量的距离，评估出公交车目标的车行方向、移动速度和距离；S4：播出语音，提示用户公交车到达信息。2.根据权利要求1所述的协助盲人乘车的便携式方法，其特征在于，所述构建的深度神经网络模型采用MobileNetSSD模型；利用深度神经网络模型进行目标检测，得到检测到的目标集合Ot＝{oi,t}，目标元素oi,t＝class,x,y,w,h,ci,t，其中，目标类别class，目标在图像中的横坐标x和纵坐标y，目标的宽度w和高度h，目标的可信度c，所述目标类别class为公交车、其他机动车辆或行人三种；在进行目标检测后，从目标集合中删除可信度c小于阀值的目标元素。3.根据权利要求2所述的协助盲人乘车的便携式方法，其特征在于，步骤S3中，以前后时刻拍摄得到的两帧图像为例，针对下一时刻的图像，在通过深度神经网络模型得到目标集合Ot+1后，计算上一时刻目标集合Ot中公交车目标和此时刻目标集合Ot+1中公交车目标的相似度，将相似度大于阀值的目标作为最终的公交车目标；将所有时刻下识别出的公交车目标加入到公交车目标集合中。4.根据权利要求3所述的协助盲人乘车的便携式方法，其特征在于，评估公交车目标的车行方向、移动速度，步骤是：根据每个时刻中公交车目标在图像中的坐标位置，得到公交车目标的移动方向，根据移动方向判断是否属于等待车行方向的公交车目标，如果不是，则将该公交车目标从公交车目标集合中移除；针对属于等待车行方向的公交车目标，根据前后时刻中该公交车目标在图像中的X方向变化量，估计公交车目标的移动速度。5.根据权利要求2所述的协助盲人乘车的便携式方法，其特征在于，在通过测距模块测量距离前，先针对属于等待车行方向的公交车目标，根据前后时刻中该公交车目标在图像中的面积大小，粗估公交车目标与拍摄位置之间的距离，在粗估值小于一定值时，自动开启测距模块，测量用户和公交车目标的准确距离。6.根据权利要求2所述的协助盲人乘车的便携式方法，其特征在于，所述协助盲人乘车的便携式方法，还包括公交车路线号显示步骤，方法是：播出语音提示，提示使用者说出要乘坐的公交车路线；录制使用者的语音，保存为音频文件；对音频文件进行语音识别，识别出公交车路线号；存储所述公交车路线号，并将其发送到显示模块上予以对外显示。7.一种用于实现权利要求1-6任一项所述方法的协助盲人乘车的便携式装置，其特征在于，包括：箱体，以及设置在箱体内的控制器，在箱体一侧设有测距模块以及图像捕捉模块，测距模块和图像捕捉模块均与控制器数据相连；在箱体内部，控制器与一深度神经网络推理模块相连，控制器还与一语音输出模块相连。8.根据权利要求7所述的协助盲人乘车的便携式装置，其特征在于，所述控制器采用树莓派3B板构成的嵌入式控制器；所述图像捕捉模块采用CSI摄像头，通过CSI总线与控制器连接，或者采用USB摄像头，通过USB总线与控制器连接；所述深度神经网络推理模块使用Movidius神经计算棒；所述测距模块采用超声波测距传感器；所述语音输出模块包括扬声器或耳机，若采用耳机时，耳机通过数据线与控制器上的音频输出接口相连。9.根据权利要求7所述的协助盲人乘车的便携式装置，其特征在于，所述便携式装置包括一显示模块，该显示模块采用多块MAX7219驱动的8*8LED点阵，通过SPI总线连接控制器。10.根据权利要求7所述的协助盲人乘车的便携式装置，其特征在于，所述便携式装置包括一语音输入模块，该语音输入模块采用I2S麦克风，通过I2S总线接入控制器；或者，采用USB麦克风，通过USB总线接入控制器。

百度查询： 朱原灏 一种协助盲人乘车的便携式装置及其方法