摘要： 自动驾驶技术是当前人工智能的研究热点， 其中交通标志的正确识别是机器的重要判断依据， 但是在自然场景中交通标志 图像具有颜色偏差、形状变形、遮挡等一系列问题， 导致识别不准确。对于这个问题， 提出了亮度均衡化和仿射变化的方法， 首 先采用 HSV 颜色空间，提取对应的颜色， 再针对亮度信息进行直方图均衡化方法， 解决颜色偏差问题， 随后使用仿射变换， 分别 对三角形和圆形的图像进行形状的矫正， 并实现背景的去除。实验部分采用占用机器资源较低的 HOG+SVM 检测方法进行检测， 结果表明， 和传统的方法相比， 该方法在识别率上有 20% 左右的提升。由此证明， 对交通标志图像进行有针对性的修复， 对于识 别率的提高有着比较大的意义， 因为其占用机器资源较低， 也给当前深度学习等占用机器资源较多的交通标志识别方法提供了新 的思路。
关键词：HSV 颜色空间; 直方图均衡化;仿射变换
Research on Traffic Sign Image Restoration Based on Luminance Equalization and Affine Transformation
Liao Ganzhou ，Zeng Xia
(Guangzhou Colleage of Applied Science and Technology, Guangzhou 511300. China)
Abstract: Autonomous driving technology is the current research hotspot of artificial intelligence, in which the correct recognition of traffic signs is an important judgment basis for machines, but traffic sign images in natural scenes have a series of problems such as color deviation, shape deformation and occlusion, resulting in inaccurate recognition. For this problem, a method of brightness equalization and affine change is proposed, first using HSV color space, extracting the corresponding color, and then histogram equalization method for luminance information to solve the problem of color deviation. Subsequently, affine transformation is used to correct the shape of the triangle and circle images respectively, and to remove the background. The experimental part uses HOG+SVM detection method with low machine resource consumption for detection, and the results show that compared with traditional methods, this method has an improvement of about 20% in recognition rate. This proves that targeted restoration of traffic sign images has significant implications for improving recognition rates, as it consumes less machine resources and provides new ideas for current traffic sign recognition methods such as deep learning that consume more machine resources.
Key words: HSV color space; histogram equalization; affine transformation
引言
随着人工智能技术不断地渗透生产生活的各个方面， 自动驾驶技术也得到了长足的进步。在自动驾驶的众多 技术中， 交通标志识别是其中的重要组成部分， 自动驾 驶系统必须首先能够提取交通标志的含义， 才可以做出 决策， 如限速标志、转弯指示标志等。交通标志图像颜 色特定、鲜艳， 一般由蓝色、红色、黄色等组成， 分别 代表指示、禁止、警告等信息， 因此在模型选择上， 侧 重颜色通道的选择是一个比较好的方向。第二个特点是， 交通标志的形状比较特殊， 一般是圆形和三角形， 少数 标志也会有其他形状。然而， 交通标志的识别也存在不 少挑战， 比如由于光照太强或太弱造成的色差; 大雾天气造成的交通标志模糊; 由于建筑物、植物等造成的图 像遮挡; 另外还有一些类似于交通标志的图像， 也会对 识别造成影响。因此交通标志图像的修复以及矫正， 对 于图像的识别具有非常重要的意义。
针对交通标志在自然场景中遇到的各种问题， 也 有不少有针对性的方法。李文龙等[1] 针对雾天对于交 通图像的影响， 使用自适应阈值实现天空区域和非天 空区域的分割， 分别处理， 取得了不错的结果。吕禾 丰等[2] 则利用 HSV 空间和 SVM 结合的方法， 提高了夜 间交通标志的识别率。胡锦城等[3] 利用 SURF 向量集和 模板匹配的方法， 提高了交通标志被遮挡时的识别率。 以上研究， 基本是针对于其中一种到两种特殊情况做出的解决方法， 也有针对一般性的复杂场景的识别研 究[4-5] ，但是没有针对交通标志的颜色、结构等特点做 出针对性的研究。
本文采用了德国交通标志识别数据集 GTSRB( Ger‐ man Traffic Sign Recognition Benchmark)， 作为模型的测 试数据集。使用图像预处理， 包括亮度均衡化、取色、 填充等方法、图像矫正以及图像识别 3 个部分。可以应 用于复杂场景中的各种交通标志的识别[6-16]。
1 主要工作
自然场景中的交通图像有很多因素导致图像退化， 影响图像的进一步识别， 有的是因为相对运动导致的交 通标志图像运动模糊失真， 有的是由于光线不足导致图 像亮度信息不足， 相反， 也会有因光照太强导致的图像 曝光过度， 甚至还有因树叶、阴影、粘贴物等导致的图 像不完整。图像的退化， 不考虑退化机理， 在结果上可 以基本可以分为颜色信息的退化与形状的退化， 因此本 文主要在颜色和形状上对交通图像进行修正， 提高其在 识别算法中的准确率， 为自动驾驶提供参考。
1.1 颜色退化修复
交通标志是用文字或符号传递引导、限制、警告 或指示信息的道路设施。由于其在交通系统的重要性， 必须让观察者可以一目了然地识别标志， 因此交通标 志的设计要求设置醒目、清晰明亮的， 颜色上一般以 蓝色、黄色、红色等饱和度高的颜色为主， 形状主要 有圆形、三角形、方形等， 以起到指示、警告、禁止 等一系列作用。正是由于交通标志图像的特殊性， 因 为在颜色的退化修复上， 可以采取特定的颜色进行识 别， 但是一般图像是 RGB 颜色空间， 即由红、绿、蓝 3 种颜色分量相互叠加构成多种颜色， 但由于光照强 度的多样性， 导致颜色容易偏移， 传统 RGB 图像很难 准确地描述不同光照强度下的颜色 ， 因此本文采用 HSV 颜色空间。
HSV( Hue ， Saturation ， Value) 颜色空间中， 每一 种 颜 色 都 是 由 色 相 (Hue， 简 称 H)， 饱 和 度 (Satura ‐ tion， 简称 S) 和色明度(Value， 简称 V)所表示的。色 相 H 参数表示色彩信息， 即所处的光谱颜色的位置。该 参数用一角度量来表示， 取值范围为 0° ~ 360°。饱和度 S 取值范围为 0.0～ 1.0 ; 亮度 V 取值范围为 0.0(黑色) ~ 1.0(白色)。
计算方法为：
令 R ' 、G' 、B '分别为红、绿、蓝的归一化数据：
再针对不同的颜色， 选择不同的色相， 一般红色为 {-30° ≤ h ≤ 30°}， 黄色为{30° ≤ h ≤ 90°}， 蓝色为{210° ≤ h ≤ 270°}， 对于自然场景中的交通图像， 基本可以满足 要求。除了色相问题以外， 交通标志存在粘贴物问题， 由于粘贴物一般在交通标志中， 因此可以采用色相提 取， 颜色填充的方法先取出图像的颜色外框， 再进行内 部填充。
1.2 形状畸变修复
自然场景中采集的图像基本都会存在各种各样的畸 变， 有很多原因， 如由于摄像头未与物体垂直， 导致的 透视畸变; 由于摄像头所使用的镜头特性与其光心处的 特性一致， 导致的径向畸变; 由于摄像头本身的问题导 致的、切向畸变、非线性畸变等。其中影响最大的是透 视畸变， 解决透视畸变可以最大可能地提高图像识别的 效率。
本文的矫正方法采用仿射变换 (Affine Transforma ‐ tion)， 仿射变换是指在几何中， 一个向量空间进行一次 线性变换并接上一个平移， 变换为另一个向量空间。例 如对于三角形图像， 查找就图像的 3个顶点， 映射到正 三角形的 3个顶点， 利用仿射变换可以还原正三角形图 形，如图 1 所示。
由此可知，仿射变换主要任务是获取一个变换矩阵， 变换前的每个点 ( x ，y) 乘以该变换矩阵 T，则可以得 到变换后的点 ( x ’，y’)。仿射变换包括平移、旋转、 缩放、剪切等各种变换， 要求变换后直线仍然是直线， 且直线之间的比例保持不变。几个变换的公式分别如下 所示：
从式(3)可看出， 变换矩阵A、B分别有 4 个和 2 个 未知数， 因此需要 6点参数， 如需求解， 即在平面中需 要 3个点。根据图像的特点， 三角形图像可以去 3 个顶点 的坐标， 映射后的坐标点则为正三角形的 3 个顶点; 对 于正方形图像，则只需要取 4个顶点中对应的 3 个点即可 完成映射。
2 工作流程
2.1 图像预处理
为了图像识别的有效进行， 图像预处理是必要的一 部分， 目的是提高图像在各种环境的显示效果， 图像预 处理过程过程如图 2 所示。首先需要对图像进行亮度的 均衡化， 首先需要 RGB 图像转化为 HSV 模式， 转化的目 的是为了获取亮度信息 V(Value)， 对亮度信息进行直 方图均衡化处理如式(4)， 结果如图 2(b) 所示。可以 看到亮度均衡化后的图像中， 原来较暗的图像， 亮度明 显提升， 而且基本没有影响到图像原来颜色。
式中：sk 为映射后的亮度级;nk 为映射前的亮度级。
接下来需要提取交通标志的颜色， HSV 颜色模型中 的色相 H( Hue)， 对于提取颜色有着非常好的效果， 以 红色为例， 红色是对应的角度为 0°, 考虑到自然环境色 差严重， {-30°~30° }都是属于红色的范围， 因此映射到 {0~ 180° } 的数据则为{165°~ 180° } ⋂ {0°~ 15° }。再对图像 进行开运算， 去除图像中的小点， 就可以一个较为完整 的交通图像外框图像， 如图 2(c) 所示。
接 着 采 用 泛 洪 算 法 (FloodFill) 方 法 ， 填 充 图 2 (c) 中外框的内部， 形成交通标志的区域， 得到图 2 (d) 中的填充图像， 填充图像的目的是得到完整的交通 标志图像， 降低自然场景中的物体对交通图像的影响; 最后采用填充图与亮度均衡化图像逻辑与的方法， 获得 最终的分割图像， 如图 2(e) 所示，该图像可以为下一 步图像矫正做准备。
2.2 形状矫正
实际环境中获取的交通图像往往有一定的倾斜、旋 转等， 如能对进行旋转矫正， 则有利于图像的识别， 本 次数据集图像有三角形、圆形等图像， 需要自动识别形 状类型，针对不同类型的标志，应用不同的方法。
2.2.1 两种形状的区分
使用交通标志图像的最小外切三角形来对图像进行 处理。如果是三角形标志， 则图像与外切三角形应该是 比较接近的， 理论上是完全一致的， 考虑到误差因素， 三角形标志占外切三角形面积的 90% 以上， 即可认定为 该图像是三角形标志图像; 如果是圆形标志， 则外接三角形与标志图像差别较大，基本可以判断其不是三角形， 而是圆形标志。如图 3所示， 圆形标志的面积占外接三角形面积的 60.4%。
因此约定交通标志图像面积占外接三角形面积的75% 以 上 判 断 为 三 角 形 标志，否则为圆形标志。
2.2.2 图像的矫正
从前文可知， 仿射变换只需要 3对变换前后的点做映射， 得到变换矩阵， 因此对于三角形标志， 可以采取以下的 3个点(width 和 height 为别为图像的宽与高)： 变换前是拟合三角形框的 3个顶点; 变换后是[width/2 ，0]、[0 ，height] 、[width ，height]。
对于圆形交通图像，生成外接椭圆，原理上也可以利用仿射变换可以完成图像的矫正，对于，也需要 6个点来完成仿射矩阵的推导运算，可从下列4组点中，取对应的 3组点即可： 变换前是拟合椭圆的外接矩形的 4 个顶点;变换后是[0 ，0]、[width ，0]、[width ，height]、[0 ，height]。两种图像的判断结果及矫正结果如图 4 所示。
2.3 图像数据集增量
得到矫正后的图像，即可对图像进行识别，对于三角形图像，由于只有 3个顶点，可以有效地还原成正三角形，矫正后图像基本与标准图像一致。但对于圆形图像，由于圆形图像没有明确的方向性，因此矫正后的图像有可能是不为“止”，一般都会略微倾斜，且倾斜角度不统一。因此可以在标准图像数据做图像增量，对园形图像进行旋转运算，以增加训练图像的有效性。此外由于三角形的三角对称性，在矫正过程中，可能因为顶点的不对应，造成三角形的旋转，因此，需要对三角形图像进行 120°和-120”的旋转，以增强其适应性。
3 实验
3.1 训练数据集
训练数据集采用“GTSRB”中的“Meta”数据，即高清标准图像，不包含自然场景中的其他影响检测的因素此外还需要对园形图像进行的图像的增量，每个图像进行[-10°~10”]的旋转操作，把每个园形标志图像，扩充到20张。
3.2 测试数据集
实验在Pycharm2022.3.3环境下，基于Python语言与OpenCv库进行编写，待测图像为“GTSRB”数据中的部分“Test”图像，即自然场景中的交通标志图像。将待测的图像进行图像预处理，包括图像颜色空间转换图像亮度均衡化、图像分割、利用仿射变换对图像进行矫正等一系列操作，结果如图5所示。可见圆形图像进行了轻微的旋转，有的三角形图像有角点的偏移，由此可见对标准数据集的增量操作有助于图像识别。
3.3 检测方法
实验选择 HOG+SVM 检测方法””，分别采用倾斜色彩有偏移的红色国形和三角形交通标志，检测结果如表1所示。从表中数据可以看出，新方法比较与传统方法， 在识别率上有着 20% 左右的提升， 主要是去除背景和仿射变换矫正的方法，使图像更加接近于标准图像。
4 结束语
交通标志在自然场景中具有颜色偏移、图形变形等系列问题，大大影响了检测的准确性，本文采用 HSV空间转换、亮度均衡化和仿射变换等一系列方法，对交通标志的形状进行修复、矫正，并且理论分析了仿射变换对于三角形和圆形图像矫正的可行性，最后在实验结果部分采用实景图中的交通标志对提出的算法进行了测试。结果表明，采用此方法可以有效修复图像变形问题从而进一步提高交通标志检测的准确率。此方法是在较为传统的识别方法下进行的，优势在于占用资源较低对于日渐复杂的识别系统来讲，可以有效地提高识别效率，为自动驾驶中的识别技术提供了另一个思路。
在另一方面，该方法主要应用在色彩、形状偏移较大的图像，对于遮挡严重，运动模糊程度较大的图像效果不明显。如何解决以上问题，使得该方法更加具有普适性，是日后的一个努力方向。
参考文献:
[1]李文龙李兴通，志图基于天空分割的单幅1活像去露算法护科算机工程与应图 21570m 22228
[2]吕禾丰,陆华才,高文根,夜间环境下交通标志的识别技术研究山.黑龙江工业学院学报(综合版),2021.21(7):96-100.
[3]胡锦城,李实英,李仁发.基于高稳定 SURF特征的交通标志识别山计算机应用研究,2012.29(8):3179-3181.
[4]陈飞,刘云鹏,李思远,复杂环境下的交通标志检测与识别方法综述山.计算机工程与应用,2021.57(16):65-73.
[5]屈治华,邵毅明,邓天民,等.复杂光照条件下的交通标志检测与识别山.激光与光电子学进展,2019.56(23):140-147.
[6] Ping D,Galatsanos M P. Athne transtormation resstant water.marking based on image normalizationlC]// Internatonal Confer.enceon Image Processing.IEEE,2002.
