关键词：人工智能;深度卷积神经网络;自动检测系统;

作者简介：庞静（1981—），女，高等工程师，研究方向为交通工程。
;

0 弁言

公路巡查能够及时全面地创造问题，是避免问题发生的方法之一。
传统的人工巡查紧张依赖人眼识别道路病害，然后停车拍照进行病害数据的采集与上报。
人工巡查过程常存在病害采集不全面、方法不规范，采集不及时，导致效率低下，影响道路状态的及时监控与养护。
并且存在很大的安全隐患，每年都有路政养护职员在巡查过程中涌现危险事件，而且上报流程不通畅、不易追踪事宜办理过程、路况隐患缺少外界有效沟通。

我国大量早期建筑的公路陆续进入改扩建及大中教化护阶段，养护任务逐年增加。
利用最新的技能将自动化信息采集技能与人工智能技能紧密结合，实现道路常见病害例的全过程准确采集、人工智能筛选、传输、剖析，可以全面及时地创造问题，大幅度提高巡查效率和安全性，同时为聪慧养护供应有效的数据支撑。

近年来，深度卷积神经网络（Deep Neural Networks，以下简称DNNs）技能发展迅速，在许多极具寻衅性的打算机视觉领域展现出卓越的性能。
如：图像分类、语义分割、目标识别等[1,2,3]。
本文利用人工智能技能，通过采集大量高清高速公路病害图像，演习目标检测及分类神经网络，实现病害目标的自动识别，并通过上传云端管理系统，实现高速公路病害的自动检测、管理及统计、方案一体化系统。

1 研究现状及存在问题1.1 国内外研究现状

基于传统图像处理算法的道路检测模型自90年代起即得到国内外的广泛研究。
文献[4]利用传统图像处理的方法实现了道路裂痕病害的检测。
但是道路病害种类多，同一种病害每每呈现不同形态特色，尤其是在不同的光照、景象情形下识别效果鲁棒性不强。

近年来人工智能技能发展迅速，在视觉识别及语音某些领域已经超越人类。
国内外学者也从基于传统图像处理算法的半自动化检测研究转到基于深度学习的全自动化病害检测研究[5]。

田杨等[6]基于Fast-RCNN神经网络构建道路病害检测模型，通过建立8 000余张道路病害图片样本库，可以演习模型自动识别坑槽及裂痕病害，并结合GPS定位信息，天生韶光、地点、属性完全的病害识别报告，提高道路掩护病害检测的效率和准确率。

Zhang Ce等[7]基于Wasserstein对抗神经网络，设计了专门针对道路病害检测的Conn Crack，并设计了配套的摄像头硬件系统。
其设计紧张针对路面缝隙长宽比跨度大、检测难的问题，对传统的检测神经网络进行了改进。

1.2 存在的紧张问题

利用深度卷积神经网络进行自动化的公路病害检测是目前的主流方向，并取得了精良的效果，在其检测鲁棒性方面优于传统视觉处理算法。
但目前事情依然存在可识别的路面病害种类较单一、稳定性差等问题。
此外，针对已经修复的病害，并没有进行单独处理，随意马虎引起较多的误报。
本文先容了基于Google EfficientDet的多目标检测系统，可以同时检测4类路面病害，并通过级联神经网络设计，对检测出的病害进行进一步风雅分类，减少对已修复病害的误报率，极大程度地提升了检测效率。

2 基于人工智能的高速公路病害自动检测系统设计2.1 巡检摄像头硬件设计

巡检摄像头基于华为Hi3519边缘打算模块开拓，集成存储、通信、高速以太网及电源管理等模块，如图1所示。

图1 基于华为Hi3519平台的巡检摄像头硬件设计 ***原图

个中紧张组成模块如下：

(1) Hi3519集成了性能强大的可编程神经网络推理引擎和一个向量DSP，支持多种智能算法运用。

(2）高速相机支持在车载主体高速移动下、成像质量较好采集的高清图像由Hi3519图像处理引擎进行缩放、压缩等预处理，预处理后的图像由神经网络依据算法推理。

(3）神经网络推理结果在硬件端进行大略筛查，去除不相关图像后，采集的原始图像、推理结果、定位信息打包经4G网络上传至云端平台。

2.2 级联式道路病害检测神经网络架构2.2.1 病害数据网络

通过车载高清摄像头在山东省内约2 000km的高速路段上采集了约10万幅以上高清图像，分辨率为（1920×1080) dpi。
数据由两位具有5年以上高速公路病害检测履历的职员进行筛查，共选出有效图像917张，利用labelImg工具（https://github.com/tzutalin/labelImg）标记每张图的病害位置、尺寸及种类。
总体标注病害6类共1 192个。
个中，裂痕种别包括纵向裂痕、横向裂痕及网状缝隙存在病害影响面积跨度较大、种别间界线不明显（如：某些非范例纵向列横与横向缝隙难以界定），种别不平衡（网状缝隙较少）等问题，在相对少的演习样本下，较难解确区分。
以是在本次实验中将其总体归为一类检测，人工智能检测结果可进一步由人工进行分类。
表1统计了终极用于人工智能模型演习的数据统计结果。

为扩充有效演习数据集，利用了传统的数据处理方法。
如：图像旋转、亮度调节、饱和度调节、比拟度调节、高斯噪声，对原始演习数据进行了15倍增广，共得到13 755幅图像，17 880个标签。
通过随机采样，总数据的90%(12380）用于模型演习，总数据的10%(1375）用于模型测试。

表1 病害数据网络及标注统计 ***原图

2.2.2 人工智能检测模型设计

人工智能检测网络采取Google2020年提出的Efficientdet神经网络架构[8]，如图2所示。
该网络提出了双向特色金字塔构造，许可大略快速的多尺度特色领悟；同时提出了符合尺度扩展方法，可以统一对经典目标检测神经网络的骨干网、特色网络和预测网络在分辨率、深度和宽度上进行缩放，在目标检测性能与打算存储资源花费上取得了很好的平衡。
比较其他目标检测网络，在同等打算存贮资源花费的情形下，能达到更好的检测效果；在同样检测效果目标下，占用更少的打算机存储资源。

图2 Efficientdet目标检测神经网络架构 ***原图

根据不同的网络性能/规模扩展尺度选择，供应了D0-D7不同的网络选择，个中D0网络规模最小，性能指标最低。
根据数据规模，目标病害尺寸特色选择了EfficentDet-D1。
基于PASCAL VOC2012数据集预演习的模型，采取finetune办法冻结骨干网及特色提取网络，利用网络数据集对检测分类网络进行连续演习。
演习过程丢失函数演化过程如图3所示。

图3 演习数据丢失统计 ***原图

实验表明，一大部分假阳性结果是由于已经修复的病害，尤其是缝隙与周围路面有明显的形态及颜色差别，随意马虎引起误判，增加后期人工复核的事情量。
针对这一情形，设计了二级筛选网络，针对第一级检测网络筛选出的病害，进行进一步分类，鉴别已经修复的病害。

病害检测任务通过在固定分辨率（1920×1080) dpi的高清图像进行尺寸缩放后进行目标检测，可有效均衡神经网络预测性能及时间、内存花费，缩小后的分辨率为（300×300) dpi。
由于统一的尺寸缩小，及长宽比例的失落调，对小病害目标及狭长的病害目标的细节丢失较大，影响其分类的准确性。
本项目设计的二级神经网络架构，根据第一步检测出的病害的包围框位置及尺寸，及EfficentDet对原图的缩放比例，规复检测框，以原始尺寸进行精确分类，最大限度地保留图像的特色，进一步提升分类的准确度。
分类神经网络采取EfficientNet-B1网络架构，进一步提升了检测准确率。

为进一步提升数据的多样性，本项目对第二级病害样本进行了数据增强操作。
第一级目标检测神经网络涉及整体公路（车道方向、隔离带等）、周边自然环境（天空、旁边边坡等）、远景图像等认知，以是按照摄像头正位拍摄的图像原始位置检测神经网络预测及演习，缺少对局部病害检测的旋转不变性。
通过对检测出的疑似路面缝隙的病害框进行旋转、镜像、亮度等参数进行随机变换，实现分类数据的增强，如图4所示。
有效地增强了分类神经网络的泛化能力，提升了对已修复及未修复缝隙病害的区分。

图4 路面缝隙样本数据增强 ***原图

2.3 云管理平台设计

人工智能道路病害检测平台紧张分为病害检测诊断做事和运用做事两个运用。
考虑系统特性及打算资源哀求，支持独立化支配，可根据资源占用情形进行动态扩充，系统架构如图5所示。

道路病害管理平台分三层进行设计。
根本做事层供应根本的数据存储能力和基于TFServing容器的模型支配推理能力。
个中，根据底层数据的存储特点，对业务数据和时序大批量数据进行分类存储，知足系统对性能的哀求。
运用支持层供应平台业务逻辑处理，支持整体道路病害管理功能的实现。
对外做事层供应与外界通信的接口，紧张支持车载设备的连接以及管理，数据运用的业务做事及展示。

图5 高速道路病害管理云平台设计架构 ***原图

(1）病害检测诊断做事紧张与车载设备进行通信，识别车载设备并处理设备上传的GPS坐标及病害图片信息。
紧张功能包括供终端设备的接入及认证、运行轨迹记录、病害识别及存储、运维做事及展示等。
为知足车载设备高并发、大数据量的上传哀求，整体采取弹性设计，可根据须要对整体运用进行动态扩展，同时运用数据吸收与处理进行解耦，供应数据的延迟处理能力，最大化地供应做事相应能力。

(2）运用做事紧张供应给运维及管理职员利用，通过此平台，干系职员可以管理车载设备，掩护车载设备信息，查看车辆运行轨迹及道路病害等。
通过运用做事还可以集成外部系统。
例如第三方的养护信息化系统，打通数据采集与养护信息管理结合，完善养护流程业务方向的集成。

3 人工智能高速公路病害自动检测系统运用

本平台已经在山东高速云平台支配并试运营。
图6为云平台管理界面，个中对每一辆巡检车辆、检出病害韶光、类型及置信度都进行了统一展示。
图7展示了检出病害类型部分案例。

图6 云平台病害管理界面 ***原图

图7 检出病害类型实例 ***原图

4 结语

综上所述，基于人工智能深度学习的道路病害自动检测系统，以及基于云平台的统一病害管理、设备掩护、运维调度系统，可有效提高高速道路运维职员的事情效率，减少漏检率，在提升道路安全的同时降落掩护本钱。

本项目通过支配与运营，将网络更多高清道路病害信息，连续演习模型，提升模型病害检测的准确率与灵敏度。
随着云平台的培植及运营完善，将引入更多的业务类型，如基于人工智能自动检测的道路资产管理及边坡损毁识别等。
随着数据的增加，将进一步细化病害分类，如详细区分横向、纵向及网状缝隙，帮助掩护职员更准确地判断病害成因及修复方案。

参考文献

[1] K He, X Zhang, S Ren, J Sun.(2016)Deep Residual Learning for Image Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, NV, 2016.

[2] Milletari F, Navab N, Ahmadi S.(2016)V-Net:Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation[C]//2016 Fourth International Conference on 3D Vision(3DV), Stanford, CA, 2016.

[3] K Duan,S Bai, L Xie, H Qi.(2019)CenterNet:Keypoint Triplets for Object Detection[C]//IEEE/CVF International Conference on Computer Vision(ICCV), 2019.

[4] 高建贞.基于图像剖析的道路病害自动检测研究[D].江苏：南京理工大学，2003.

[5] 刘宪明，辛公锋.海内基于深度学习的道路路面病害检测研究综述[J].电子天下，2021(8):96-98.

[6] 田杨，邱玲.一种基于Fast-RCNN的道路病害检测算法[J].市政技能，2020,38(Z1):123-127.

[7] Ce Zhang, Nateghinia Ehsan, Miranda-Moreno, Luis Sun, jun Li. Pavement Distress Detection Using Convolutional Neural Network(CNN):A Case Study in Montreal, Canada[J]. International Journal of Transportation Science and Technology,2021(4):8.

[8] M Tan, R Pang, Q. V Le.(2020)EfficientDet:Scalable and Efficient Object Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 2020.

声明：我们尊重原创，也看重分享。
有部分内容来自互联网，版权归原作者所有，仅供学习参考之用，禁止用于商业用场，如无意中陵犯了哪个媒体、公司、企业或个人等的知识产权，请联系删除（邮箱：glyhzx@126.com），另本号推送内容仅代表作者不雅观点，与号运营方无关，内容真伪请读者自行鉴别，本号不承担当何任务。