买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南开大学

摘要：一种基于ANN的剧烈光照环境下的非结构化道路检测方法，其特征在于，在剧烈变化的光照环境下，为减少光照对图像的影响，首先离线采集真实场景下的道路图像并计算每帧图像的平均灰度，合理确定平均灰度的校正目标范围，分别对每帧图像进行Gamma校正，用合适的函数拟合校正系数与平均灰度值之间的关系；在道路在线检测时，对输入的图像序列，使用拟合的Gamma校正函数进行自校正，再进行区域裁剪；再对裁剪后的图像网格化，获取每个小格的特征向量，并做样本标记，利用当前图像的样本信息，搭建ANN神经网络并在线训练、更新和预测，实时输出可行驶区域的检测结果。该方法对光照变化场景有较好的适应性，有效提高了非结构化道路检测的实时性、鲁棒性和准确性。

主权项：1.一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，其特征在于，包括以下几个步骤：步骤A：离线阶段，利用离线采集的真实视频数据，寻找合适的Gamma校正函数；步骤B：通过摄像机实时获取道路图像，并对获取的图像进行预处理；步骤C：对预处理之后的道路图像进行处理，获得当前图像的样本特征向量；步骤D：利用步骤C中的图像样本信息，搭建ANN神经网络并进行在线训练、更新和预测，最终得到道路可行驶区域；所述的步骤A包括以下子步骤：A1：获取并记录视频图像序列的每帧的平均灰度值，并根据整体平均灰度情况，确定合理的校正灰度目标范围；A2：对每帧图像进行Gamma校正，将图像的平均灰度校正至步骤A1确定的灰度目标范围内，并记录对应的Gamma校正系数；A3：对记录的每帧图像的Gamma校正系数与平均灰度数据进行曲线拟合，确定Gamma校正系数与平均灰度之间的函数关系；所述的步骤D包括以下子步骤：D1：判断当前图像是否为初始帧，若是初始帧，则向ANN网络中输入步骤C中标记的训练样本，对其进行训练，更新并保存训练好的网络参数；若当前图像不是初始帧，则载入上一帧图像所用的ANN网络作为当前要使用的网络；D2：使用当前的ANN网络对步骤C中的测试样本进行预测，并统计评价区域的正样本和负样本数量；D3：以评价区域的正样本和评价区的负样本的数量计算性能评估值；D4：若Vacc大于所设定的阈值，则可认为当前ANN网络适用于当前场景，进入步骤D5；否则认为当前ANN网络不再适用于当前场景，则使用当前图像的训练样本对ANN网络重新进行训练，更新并保存训练好的网络参数，对当前图像的测试样本进行预测，进入步骤D5；D5：将所有样本中标记为正样本的网格进行组合，即得到最终输出的道路可行驶区域。

全文数据：一种基于ANN的剧烈光照环境下实时非结构化道路检测方法技术领域本发明涉及室外非结构化道路检测领域，尤其涉及一种基于ANN的剧烈光照环境下实时非结构化道路检测方法。背景技术智能车辆和移动机器人自主导航系统的关键技术之一是基于视觉的道路检测。近年来，随着人工智能技术和计算机技术的不断发展，自主驾驶的相关研究也得到了飞速发展，其中，如何在复杂的自然环境下准确识别道前方道路是研究自主驾驶系统中的一个难题。对于城市道路交通环境，例如高速公路和城市街道等，其结构化程度较高，其道路检测的方法一般为车道线的检测。而对于室外非结构化道路，例如乡村道路等，因为受到自然环境中物候、光照、地形等影响，都会造成道路表面特征的改变，给非结构化道路检测带来一定挑战性。如何从视觉传感器获取的彩色图像中提取道路信息是基于视觉的道路检测的关键。目前，针对非结构化道路检测算法，主要分为传统方法和非传统方法两类。传统方法主要包括基于道路特征的方法和基于道路模型的方法。基于道路特征的方法是根据道路的表面信息，如颜色、纹理、道路与非道路区域间有明显差异的原理，提取道路区域，这种方法有较高的鲁棒性，但计算量要求大；基于模型的道路检测方法，是预先假设道路模型，如抛物线、直线、交叉道路等模型，并根据图像匹配道路模型。后者虽只需要较少参数表示整个道路，但当道路不符合预先的假设模型时，匹配就会失败，因此如何选择模型和求解是该方法成功的关键。非传统方法主要是利用机器学习的方法，如支持向量机和神经网络等工具，进行道路检测。但在它们都需要大量的样本进行训练且训练耗时较长。发明内容鉴于上述现有技术的不足，本发明的目的在于提供一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，旨在解决现有的非结构化道路检测方法无法实时得到稳定、可靠、安全的道路可行驶区域的问题。本发明的目的是通过以下技术方案来实现的：一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，包括以下几个步骤：步骤A：离线阶段，利用离线采集的真实视频数据，寻找合适的Gamma校正函数；步骤B：通过摄像机实时获取道路图像，并对获取的图像进行预处理；步骤C：对预处理之后的道路图像进行处理，获得当前图像的样本特征向量；步骤D：利用步骤C中的图像样本信息，搭建ANN神经网络并进行在线训练、更新和预测，最终得到道路可行驶区域。进一步的，所述步骤A包括以下子步骤：A1：获取并记录视频图像序列的每帧的平均灰度值，并根据整体平均灰度情况，确定合理的校正灰度目标范围；A2：对每帧图像进行Gamma校正，将图像的平均灰度校正至步骤A1确定的灰度目标范围内，并记录对应的Gamma校正系数；A3：对记录的每帧图像的Gamma校正系数与平均灰度数据进行曲线拟合，确定Gamma校正系数与平均灰度之间的函数关系。进一步的，所述步骤B包括以下子步骤：B1：Gamma自校正，对通过摄像机实时获取的道路图像当前帧，利用步骤A中所确定的Gamma校正函数，进行图像的Gamma校正；B2：区域裁剪，对Gamma校正后的图像进行适当区域裁剪，将图像的上方与道路无关部分裁剪掉，留下图像下方待处理的部分；B3：网格化，对裁剪后的图像根据图像当前尺寸进行大小合理的网格化，即按选取的网格尺寸将裁剪后的图像分割成若干小格图像。进一步的，所述步骤C包括以下子步骤：C1：提取网格特征，对网格化后的每一个小格图像提取对应的颜色特征和纹理特征，得到每个小格样本的特征向量；C2：样本标记，对网格化后的每个网格进行样本标记。进一步的，所述步骤D包括以下子步骤：D1：判断当前图像是否为初始帧，若是初始帧，则向ANN网络中输入步骤C中标记的训练样本，对其进行训练，更新并保存训练好的网络参数；若当前图像不是初始帧，则载入上一帧图像所用的ANN网络作为当前要使用的网络；D2：使用当前的ANN网络对步骤C中的测试样本进行预测，并统计评价区域的正样本和负样本数量；D3：计算定义的评价函数计算性能评估值，其公式为：其中：Vacc为性能评估值，为评价区域中正样本的数量，为评价区域中负样本的数量；D4：若Vacc大于所设定的阈值，则可认为当前ANN网络适用于当前场景，进入步骤D5；否则认为当前ANN网络不再使用与当前场景，则使用当前图像的训练样本对ANN网络重新进行训练，更新并保存训练好的网络参数，对当前图像的测试样本进行预测，进入步骤D5；D5：将所有样本中标记为正样本的网格进行组合，即得到最终输出的道路可行驶区域。发明有益效果：该方法通过离线阶段拟合函数、道路检测在线阶段对图像进行自校正、区域裁剪以及后续的样本标记、搭建层数较少结构较为简单的ANN神经网络得到道路可行使区域，该方法对光照剧烈变化场景有较好的适应性，有效提高了非结构化道路检测的实时性、鲁棒性和准确性。附图说明图1是本发明的非结构化道路检测方法的结构框图。图2是本发明实施例中的实验场景。图3是本发明实施例中离线阶段确定平均灰度校正范围示意图。图4是本发明实施例中强光照条件下Gamma自校正前后对比，其中左边为原始图像，右边为Gamma校正后的图像。图5是本发明实施例中弱光照条件下Gamma自校正前后对比，其中左边为原始图像，右边为Gamma校正后的图像。图6是本发明实施例中区域裁剪示意图。图7是本发明实施例中图像网格化示意图。图8是本发明实施例中样本标记示意图。图9是本发明实施例中不同结构的ANN神经网络的系统运行时间，其中T1表示神经网络训练一帧图像所用的平均时间，T2表示整个非结构化道路检测方法处理一帧图像（包括训练过程）所用的平均时间。图10是本发明实施例中强光照条件下非结构化道路检测结果。图11是本发明实施例中弱光照条件下非结构化道路检测结果。图12是本发明实施例中正常光照条件下非结构化道路检测结果。其中：1-负样本区域即非道路区域；2-正样本区域即道路可行驶区域；3-评价区域；4-测试样本区域；5-道路可行驶区域A；6-道路可行驶区域B；7-道路可行驶区域C。具体实施方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干的变形和改变。这些都属于本发明的保护范围。为验证该检测方法的有效性，在光照剧烈变化的场景下，做了非结构化道路检测实验。智能车对整个图像处理的速率为要求为20帧秒~30帧秒。硬件环境为USB2.0接口、主频3.4GHZ、内存16G的笔记本，图像的分辨率设置为320*480。实施例：本发明是通过以下技术方案实现的，如图1所示为本发明的非结构化道路检测方法的结构框图，如图2所示是一个典型的非结构化道路场景，本发明实施例将在该场景下检验方法的有效性，本发明包括具体如下步骤：步骤A：离线阶段，利用离线采集的真实视频数据，寻找合适的Gamma校正函数；步骤B：通过摄像机实时获取道路图像，并对获取的图像进行预处理；步骤C：对预处理之后的道路图像进行处理，获得当前图像的样本特征向量；步骤D：利用步骤C中的图像样本信息，搭建ANN神经网络并进行在线训练、更新和预测，最终得到道路可行驶区域。进一步的，所述步骤A包括以下子步骤：A1：获取并记录视频图像序列的每帧的平均灰度值，并根据整体平均灰度情况，确定合理的校正灰度目标范围；如图3所示为离线阶段确定平均灰度校正范围示意图。A2：对每帧图像进行Gamma校正，将图像的平均灰度校正至步骤A1确定的灰度目标范围内，并记录对应的Gamma校正系数；A3：对记录的每帧图像的Gamma校正系数与平均灰度数据进行曲线拟合，确定Gamma校正系数与平均灰度之间的函数关系。进一步的，所述步骤B包括以下子步骤：B1：Gamma自校正，对通过摄像机实时获取的道路图像当前帧，利用步骤A中所确定的Gamma校正函数，进行图像的Gamma校正。如图4和图5所示，分别为强光照条件和弱光照条件下的校正前后对比，其中左边为原始图像，右边为Gamma校正后的图像。B2：区域裁剪，对Gamma校正后的图像进行适当区域裁剪，将图像的上方与道路无关部分裁剪掉，留下图像下方待处理的部分，如图6所示为区域裁剪示意图。B3：网格化，对裁剪后的图像根据图像当前尺寸进行大小合理的网格化，即按选取的网格尺寸将裁剪后的图像分割成若干小格图像，如图7所示为图像网格化的示意图。进一步的，所述步骤C包括以下子步骤：C1：提取网格特征，对网格化后的每一个小格图像提取对应的颜色特征和纹理特征，得到每个小格样本的特征向量；C2：样本标记，对网格化后的每个网格进行样本标记，在标记样本时，如图8所示，图像左上角和右上角小部分区域为负样本区域即非道路区域1，中间底部区域为正样本区域即道路区域2，其余为测试样本区域4，在测试样本区域4中，位于正样本区域即道路区域2上方以小块区域为评价区域3，用于对检测结果进行性能评估。进一步的，所述步骤D包括以下子步骤：D1：判断当前图像是否为初始帧，若是初始帧，则向ANN网络中输入步骤C中标记的训练样本，对其进行训练，更新并保存训练好的网络参数；若当前图像不是初始帧，则载入上一帧图像所用的ANN网络作为当前要使用的网络；在使用ANN网络之前，需要对ANN网络结构进行合理设计，如图9所示为不同结构的ANN神经网络的系统运行时间，其中T1表示神经网络训练一帧图像所用的平均时间，T2表示整个非结构化道路检测方法处理一帧图像（包括训练过程）所用的平均时间，本实例选取模型中效果最佳的模型3作为本实例所用的网络模型。D2：使用当前的ANN网络对步骤C中的测试样本进行预测，并统计评价区域的正样本和负样本数量；D3：计算定义的评价函数计算性能评估值，其公式为：其中：Vacc为性能评估值，为评价区域3中正样本的数量，为评价区域3中负样本的数量；D4：若Vacc大于所设定的阈值，则可认为当前ANN网络适用于当前场景，进入步骤D5；否则认为当前ANN网络不再适用于当前场景，则使用当前图像的训练样本对ANN网络重新进行训练，更新并保存训练好的网络参数，对当前图像的测试样本进行预测，进入步骤D5；D5：将所有样本中标记为正样本的网格进行组合，即得到最终输出的道路可行驶区域。如图10~图12所示，为不同光照场景下，基于ANN的剧烈光照环境下的实时非结构化道路检测结果，其中左边图像为原始图像，右边图像为检测结果，图10中的5为道路可行驶区域A，图11中的6为道路可行驶区域B，图12中的7为道路可行驶区域C。

权利要求：1.一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，其特征在于，包括以下几个步骤：步骤A：离线阶段，利用离线采集的真实视频数据，寻找合适的Gamma校正函数；步骤B：通过摄像机实时获取道路图像，并对获取的图像进行预处理；步骤C：对预处理之后的道路图像进行处理，获得当前图像的样本特征向量；步骤D：利用步骤C中的图像样本信息，搭建ANN神经网络并进行在线训练、更新和预测，最终得到道路可行驶区域。2.根据权利要求1所述的一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，其特征在于，所述的步骤A包括以下子步骤：A1：获取并记录视频图像序列的每帧的平均灰度值，并根据整体平均灰度情况，确定合理的校正灰度目标范围；A2：对每帧图像进行Gamma校正，将图像的平均灰度校正至步骤A1确定的灰度目标范围内，并记录对应的Gamma校正系数；A3：对记录的每帧图像的Gamma校正系数与平均灰度数据进行曲线拟合，确定Gamma校正系数与平均灰度之间的函数关系。3.根据权利要求1所述的一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，其特征在于，所述的步骤B包括以下子步骤：B1：Gamma自校正，对通过摄像机实时获取的道路图像当前帧，利用步骤A中所确定的Gamma校正函数，进行图像的Gamma校正；B2：区域裁剪，对Gamma校正后的图像进行适当区域裁剪，将图像的上方与道路无关部分裁剪掉，留下图像下方待处理的部分；B3：网格化，对裁剪后的图像根据图像当前尺寸进行大小合理的网格化，即按选取的网格尺寸将裁剪后的图像分割成若干小格图像。4.根据权利要求1所述的一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，其特征在于，所述的步骤C包括以下子步骤：C1：提取网格特征，对网格化后的每一个小格图像提取对应的颜色特征和纹理特征，得到每个小格样本的特征向量；C2：样本标记，对网格化后的每个网格进行样本标记。5.根据权利要求1所述的一种基于ANN的剧烈光照环境下的实时非结构化道路检测方法，其特征在于，所述的步骤D包括以下子步骤：D1：判断当前图像是否为初始帧，若是初始帧，则向ANN网络中输入步骤C中标记的训练样本，对其进行训练，更新并保存训练好的网络参数；若当前图像不是初始帧，则载入上一帧图像所用的ANN网络作为当前要使用的网络；D2：使用当前的ANN网络对步骤C中的测试样本进行预测，并统计评价区域的正样本和负样本数量；D3：计算定义的评价函数计算性能评估值，其公式为：其中：Vacc为性能评估值，为评价区域（3）中正样本的数量，为评价区域（3）中负样本的数量；D4：若Vacc大于所设定的阈值，则可认为当前ANN网络适用于当前场景，进入步骤D5；否则认为当前ANN网络不再适用于当前场景，则使用当前图像的训练样本对ANN网络重新进行训练，更新并保存训练好的网络参数，对当前图像的测试样本进行预测，进入步骤D5；D5：将所有样本中标记为正样本的网格进行组合，即得到最终输出的道路可行驶区域。

百度查询： 南开大学 一种基于ANN的剧烈光照环境下实时非结构化道路检测方法