雾霾天气下的交通限速标志识别技术研究课件.ppt

1、雾雾霾天气下的交通限速标志霾天气下的交通限速标志识别技术研究识别技术研究THE RECOGNITION OF TRAFFIC SPEED LIMIT SIGNS IN HAZE WEATHER背景及意义背景及意义论文主要工作论文主要工作总结与展望总结与展望1.利用改进的暗通道去雾算法得到去雾后的交通道路图像利用改进的暗通道去雾算法得到去雾后的交通道路图像2.利用颜色几何特征以及利用颜色几何特征以及HOG+SVM实现限速标志的检测实现限速标志的检测3.利用改进的卷积神经网络实现限速标志的识别分类利用改进的卷积神经网络实现限速标志的识别分类1.利用改进的暗通道去雾算法得到去雾后的交通道路图像利用改

2、进的暗通道去雾算法得到去雾后的交通道路图像2.利用颜色几何特征以及利用颜色几何特征以及HOG+SVM实现限速标志的检测实现限速标志的检测3.利用改进的卷积神经网络实现限速标志的识别分类利用改进的卷积神经网络实现限速标志的识别分类图像去雾算法主要分为两大类：图像去雾算法主要分为两大类：简单的图像增强类算法，代表算法是多尺度简单的图像增强类算法，代表算法是多尺度Retinex算法算法根据大气物理散射模型，推算出模型中的未知参数，实现对模型的逆变换，最根据大气物理散射模型，推算出模型中的未知参数，实现对模型的逆变换，最终得到去雾后的图像，代表算法是何凯明的基于暗通道先验原理的去雾算法。终得到去雾后的

3、图像，代表算法是何凯明的基于暗通道先验原理的去雾算法。大气物理散射模型：大气物理散射模型：()()()(1()I xJ x t xAt x暗通道原理：暗通道原理：在雾霾天气下，由于大气在雾霾天气下，由于大气光分量的影响，使得图像光分量的影响，使得图像亮度增加，对比度下降，亮度增加，对比度下降，暗通道值不再趋近于暗通道值不再趋近于0,()()min(min()darkccr g byxJxJy由大气物理散射模型可得由大气物理散射模型可得透射率趋近于透射率趋近于0的点即为最浓的点，雾最浓的点即为暗通道图中亮度最高的点，的点即为最浓的点，雾最浓的点即为暗通道图中亮度最高的点，推算全局光照强度的步骤如

4、下：推算全局光照强度的步骤如下：(1)取出暗通道图中亮度最高的前取出暗通道图中亮度最高的前0.1%的点作为雾最浓的点；的点作为雾最浓的点；(2)在待去雾图像中，找出这些点的像素最高值作为全局光照强度。在待去雾图像中，找出这些点的像素最高值作为全局光照强度。()0()0lim()lim()()(1()t xt xI xJ x t xAt xA存在的问题：存在的问题：创新点一：改进的全局光照强度推算过程创新点一：改进的全局光照强度推算过程(1)取出暗通道图中亮度最高的前取出暗通道图中亮度最高的前0.1%的点作为雾最浓的点；的点作为雾最浓的点；(2)在待去雾图像中，计算这些点的像素的平均值，得到在待

5、去雾图像中，计算这些点的像素的平均值，得到Aavg；(3)比较比较Aavg与所设定的阈值最大全局光照强度与所设定的阈值最大全局光照强度Amax，取两者中较小者，取两者中较小者 作为全局光照强度作为全局光照强度A假设透射率和全局大气光值为定值，对大气物理散射模型两边同时取窗口内假设透射率和全局大气光值为定值，对大气物理散射模型两边同时取窗口内最小值和三个颜色通道中的最小值最小值和三个颜色通道中的最小值根据暗通道先验原理，可化简为根据暗通道先验原理，可化简为得到的透射率利用导向滤波函数进行细化，最终去雾公式为得到的透射率利用导向滤波函数进行细化，最终去雾公式为()min()()()min(min)

6、()(min)1()ccyxcyxcccIyJyt xt xAA()()()1min(min)cyxccIyt xA 0()()max(),)I xAJ xAt x t存在的问题：透射率图的计算需要耗费较长时间，难以满足实时性要求存在的问题：透射率图的计算需要耗费较长时间，难以满足实时性要求创新点二：改进的透射率图计算过程创新点二：改进的透射率图计算过程在求解透射率图之前，先对原始待去雾图像下采样为原始大小的在求解透射率图之前，先对原始待去雾图像下采样为原始大小的1/4，然后推算，然后推算出下采样图的透射率图，最后利用双线性插值法将下采样图的透射率图恢复为出下采样图的透射率图，最后利用双线性插

7、值法将下采样图的透射率图恢复为原始大小。经实验验证，去雾效果没有明显变化，但处理速度有显著提升。原始大小。经实验验证，去雾效果没有明显变化，但处理速度有显著提升。算法算法5幅图像去雾处理时间幅图像去雾处理时间(ms)平均处理时间平均处理时间(ms)未下采样160.93153.25161.65161.53159.33159.34下采样下采样67.2170.4367.5262.1366.6866.79 (a)雾天图像原图雾天图像原图 (b)未下采样去雾效果图未下采样去雾效果图 (c)下采样去雾效果图下采样去雾效果图 下采样对下采样对5幅图像去雾处理时间的影响幅图像去雾处理时间的影响 原图原图 MS

8、R 暗通道去雾暗通道去雾 本文方法本文方法1.利用改进的暗通道去雾算法得到去雾后的交通道路图像利用改进的暗通道去雾算法得到去雾后的交通道路图像2.利用颜色几何特征以及利用颜色几何特征以及HOG+SVM实现限速标志的检测实现限速标志的检测3.利用改进的卷积神经网络实现限速标志的识别分类利用改进的卷积神经网络实现限速标志的识别分类粗定位粗定位精确定位精确定位样本种类样本种类 样本样本数数限速20km/h 85限速30km/h 79限速50km/h 81限速60km/h 30限速70km/h 68限速80km/h 63限速100km/h 60限速120km/h 57合计 527SVM分类器正样本分布

9、表分类器正样本分布表设定提取设定提取HOG特征的参数特征的参数为：为：9个直方图通道数、个直方图通道数、cell大小为大小为4x4像素、像素、block大小为大小为4x4个个cell、扫描步、扫描步长为长为0.5个个block大小，因此大小，因此每一个训练样本所提取出每一个训练样本所提取出的的 H O G 特 征 的 维 数 为特 征 的 维 数 为9x4x4x3x3=1296维。维。选取线性核函数作为选取线性核函数作为SVM分类器的核函数。分类器的核函数。利用查全率利用查全率(Recall)和查准率和查准率(Precision)来评价分类器的性能来评价分类器的性能TPRecallTPFPTP

10、PrecisionTPFN测试集测试集查全率查全率查准率查准率标准测试集98.11%(260/265)98.86%(260/263)实际视频测试集97.62%(82/84)96.47%(82/85)不同测试集下不同测试集下SVM分类器查全率及查准率结果分类器查全率及查准率结果分别采用标准数据测试集以及实际行车视频中截取的含有限速标志的分别采用标准数据测试集以及实际行车视频中截取的含有限速标志的85幅视频幅视频帧图像测试集帧图像测试集(负样本数为负样本数为153)来验证检测算法的有效性来验证检测算法的有效性1.利用改进的暗通道去雾算法得到去雾后的交通道路图像利用改进的暗通道去雾算法得到去雾后的交

11、通道路图像2.利用颜色几何特征以及利用颜色几何特征以及HOG+SVM实现限速标志的检测实现限速标志的检测3.利用改进的卷积神经网络实现限速标志的识别分类利用改进的卷积神经网络实现限速标志的识别分类卷积神经网络最重要的两个特点为稀疏连接和权值共享，利用这两个特点可以大卷积神经网络最重要的两个特点为稀疏连接和权值共享，利用这两个特点可以大大减少网络中连接权值的参数个数，提高网络的训练速度与精度。大减少网络中连接权值的参数个数，提高网络的训练速度与精度。(a)全连接示意图全连接示意图 (b)稀疏连接示意图稀疏连接示意图 (c)稀疏滤波器示意图稀疏滤波器示意图 假设图像大小为假设图像大小为100010

12、00像素，共有像素，共有1000000个隐藏单元，那么仅该层的连接权值的参数个隐藏单元，那么仅该层的连接权值的参数就达到了就达到了1012个；同样是该幅图像，大小为个；同样是该幅图像，大小为10001000像素，包含有像素，包含有1000000个隐藏单元个隐藏单元，100个滤波器个滤波器，设定接受域的大小为，设定接受域的大小为1010像素，那么该层的连接权值的参数变为像素，那么该层的连接权值的参数变为10000个。个。创新点三：创新点三：LeNet-5网络训练前加入预处理、在网络训练前加入预处理、在LeNet-5网络基础上改进神经元数，网络基础上改进神经元数，利用利用Softmax激活函数代替

13、激活函数代替tanh激活函数激活函数卷积神经网络结构示意图卷积神经网络结构示意图层数层数类型类型 特征映射图特征映射图 神经元结构神经元结构卷积核结构卷积核结构0输入图像 1 3232 1 卷积层 6 2828 552采样层 6 1414 22 3卷积层 12 1010 554采样层 12 55 225卷积层 120 11 556全连接层 84 117全连接层 9 11表表 卷积神经网络结构卷积神经网络结构原有的原有的LeNet-5网络中的激活函数使用的是网络中的激活函数使用的是tanh函数，本文选取函数，本文选取softmax激活函数作为网络的激活函数。激活函数作为网络的激活函数。softm

14、ax激活函数可以将网络中各层的输出值软性归一化到激活函数可以将网络中各层的输出值软性归一化到0,1之间，且之间，且其和为其和为1，减小输出值之间的差。可以将，减小输出值之间的差。可以将softmax函数的输出视作概率分函数的输出视作概率分布，选取概率最高的分量作为最终结果，使得网络的输出更加精准。布，选取概率最高的分量作为最终结果，使得网络的输出更加精准。表表 卷积神经网络正样本分布表卷积神经网络正样本分布表训练前，随机地选取一半正样本，训练前，随机地选取一半正样本，共共6453个，作为训练所用的正样个，作为训练所用的正样本，另一半共本，另一半共6453个，作为测试个，作为测试所用的正样本，负

15、样本同样随机所用的正样本，负样本同样随机选取一半，共选取一半，共17029个，作为训练个，作为训练所用的负样本，另一半共所用的负样本，另一半共17028个个作为测试所用的负样本。作为测试所用的负样本。正样本示意图正样本示意图负样本示意图负样本示意图样本种类样本种类样本数样本数限速20km/h1209限速30km/h1981限速50km/h1641限速60km/h1411限速70km/h1981限速80km/h1861限速100km/h1441限速120km/h1441合计12906预处理方法预处理方法测试集测试集1测试集测试集2测试集测试集3测试集测试集4测试集测试集5全测试集全测试集原始图像

16、97.7%97.36%97.23%97.91%97.4%97.65%对比度增强98%97.76%97.31%98.1%97.76%97.92%直方图均衡化97.8%97.78%97.38%97.89%97.4%97.83%自适应直方图自适应直方图均衡化均衡化98.65%98.31%97.66%98.63%98.13%98.51%预处理对卷积神经网络的影响预处理对卷积神经网络的影响预处理方法对卷积神经网络影响对比图预处理方法对卷积神经网络影响对比图98.65%98.31%97.66%98.63%98.13%98.51%96.50%97.00%97.50%98.00%98.50%99.00%测试集

17、1 测试集2 测试集3 测试集4 测试集5全集原始图像对比度增强直方图均衡化自适应直方图均衡化为了验证本文识别算法的有效性，本文主要与随机森林分类算法、基于为了验证本文识别算法的有效性，本文主要与随机森林分类算法、基于HOG特征的特征的SVM分类算法以及人眼识别的分类效果进行对比。分类算法以及人眼识别的分类效果进行对比。传统传统分类算法需要人为提取物体的特征，特征提取的好坏对分类器的性能分类算法需要人为提取物体的特征，特征提取的好坏对分类器的性能有着巨大的影响。卷积神经网络是深度学习的一种，它从最低级的特征开有着巨大的影响。卷积神经网络是深度学习的一种，它从最低级的特征开始逐级自动地学习更高级

18、的特征，特征的提取与识别分类同时进行，最终始逐级自动地学习更高级的特征，特征的提取与识别分类同时进行，最终通过机器学习找到最适合表征物体的特征组合。通过机器学习找到最适合表征物体的特征组合。分类算法分类算法 识别率识别率人眼97.63%随机森林 95.95%HOG+SVM 89.2%本文算法本文算法 98.51%各分类算法限速标志识别实验结果各分类算法限速标志识别实验结果展望：展望：1.目前算法在雾特别浓时不能完全地恢复雾天图像，存在一定的失真；目前算法在雾特别浓时不能完全地恢复雾天图像，存在一定的失真；2.算法当限速标志严重遮挡的情况下难以准确地将其检测出，影响识别的准算法当限速标志严重遮挡

19、的情况下难以准确地将其检测出，影响识别的准确性；确性；3.目前算法的实现均是在目前算法的实现均是在Matlab平台下完成的平台下完成的，下一步计划将算法移植到，下一步计划将算法移植到OpenCV环境下进一步验证算法的有效性。环境下进一步验证算法的有效性。总结：总结：1.本文在原有暗通道去雾算法的基础上改进其全局光照强度以及本文在原有暗通道去雾算法的基础上改进其全局光照强度以及透射率的求透射率的求 解解步骤，提升了算法的去雾效果和处理速度；步骤，提升了算法的去雾效果和处理速度；2.本文本文利用限速标志的颜色和几何特征对标志进行粗定位，利用利用限速标志的颜色和几何特征对标志进行粗定位，利用HOG+

20、SVM 实现实现对标志的精确定位；对标志的精确定位；3.本文本文利用改进的卷积神经网络实现对限速标志利用改进的卷积神经网络实现对限速标志的识别分类。的识别分类。小论文题目：小论文题目：The recognition of traffic speed limit signs in hazy weather拟投期刊：拟投期刊：Visual Computer所获奖项：所获奖项：1、“校园生活管理软件校园生活管理软件V1.0”软件著作权软件著作权2、“外事自动办公平台外事自动办公平台V1.0”软件著作权软件著作权参与科研项目：参与科研项目：1、“e路相伴路相伴”智能养老服务平台智能养老服务平台2、河北工业大学国际交流与合作处网站河北工业大学国际交流与合作处网站3、天津市永定河管理处信息管理系统天津市永定河管理处信息管理系统(四期四期)4、航空安保审计系统航空安保审计系统5、航空事件分析管理系统航空事件分析管理系统