1、人工智能图像识别助力输电线路智能运检2019年10月 0203传 统 巡 检 图 像 缺 陷 检 测 技 术基 于 R-F C N 的 航 拍 巡 检 图 像目 标 检 测 方 法04最 新 成 果01人 工 智 能 技 术 简 介人工智能（Artificial Intelligence,简称AI）作为一门前沿交叉学科，不同角度出发有不同的定义：人工智能-一种现代的方法 像人一样思考的系统 像人一样行动的系统 理性地思考的系统 理性地行动的系统维基百科 人工智能就是机器展现出的智能 只要是某种机器，具有某种或某些“智能”的特征或表现，都应该算作”人工智能“大英百科全书 人工智能是数字计算机或者
2、数字计算机控制的机器人在执行智能生物体才有的一些任务上的能力百度百科 研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学3人工智能定义2006年是以深度学习为代表的新一代人工智能的开端，2012年开始在各领域大放异彩，2016-2017年，AlphaGo战胜围棋世界冠军彻底引爆AI应用热潮。2017年7月8日，国务院发布新一代人工智能发展规划：服务经济社会发展和支撑国家安全，带动国家竞争力整体跃升和跨越式发展。l达特茅斯会达特茅斯会议议l创立人工智创立人工智能概念能概念l人工智能发展人工智能发展低谷低谷l资助拨款减少资助拨款减少l运算能力受限运算能力受限lIB
3、MIBM的深蓝在国的深蓝在国际象棋比赛中际象棋比赛中击败卡斯帕罗击败卡斯帕罗夫夫lHintonHinton在在ScienceScience上发表的论文标志上发表的论文标志着以深度学习为代着以深度学习为代表的新一代人工智表的新一代人工智能的开端能的开端lHinton Hinton 凭凭借深度学习借深度学习系统在系统在ImageNetImageNet 比赛中获胜比赛中获胜 l麻省理工学院麻省理工学院(MIT)人工智人工智能中心成立能中心成立l深度学习深度学习被被MIT Technology MIT Technology ReviewReview评为评为20132013年世界十大技年世界十大技术之首
4、术之首l谷歌发布基于深度学习的视谷歌发布基于深度学习的视觉搜索引擎觉搜索引擎l谷歌以谷歌以6.606.60亿亿美元收购美元收购Deep Deep MindMindlDeep MindDeep Mind开开发的发的 Alpha Alpha Go Go 在围棋比在围棋比赛中战胜人类赛中战胜人类199719561970200620122013201420162017深度学习使得人工智能技术大幅成熟1980年代年代19901990年代年代20002000年代年代20102010年代年代SUFT,SURF,LBP,HOG支持向量机,Boosting,Bagging深度学习，迁移学习，强化学习BP,RBF
5、,Hopfield神经网络 4背景2017年，AlphaGo Zero：不借助人类棋谱从0训练8个小时击败AlphaGo，用4个小时的训练击败了顶级的国际象棋引擎Stockfish，用2个小时的训练击败日本传统棋类项目将棋的Elmo引擎。2018、2019年，波士顿动力Atlas：高台跑酷如履平地。5典型事件机器学习知识图谱自然语言处理人机交互计算机视觉生物特征识别虚拟现实/增强现实人工智能关键技术6关键技术q 一门涉及诸多领域的交叉学科，研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。即从观测数据出发寻找规律，对未来数据或无法观测的
6、数据进行预测。q 通过经验数据获取知识，改进算法性能。学习模式有监督学习无监督学习半监督学习迁移学习强化学习演化学习学习方法传统机器学习深度学习典型机器学习算法K均值聚类（Kmeans）决策树逻辑回归支持向量机SVMXgboost深度学习7关键技术机器学习机器学习-有监督学习学习样本人工标注手风琴船锚吊扇分类算法训练得到分类模型分类预测算法手风琴：概率 0.02船锚：概率0.03吊扇：概率0.958有监督学习是利用已标记的有限训练数据集，通过某种学习策略/方法建立一 个模型，实现对新数据/实例的标记（分类）/映射，最典型的监督学习算法包括回归和分类。关键技术机器学习9机器学习-无监督学习无监督
7、学习是利用无标记的有限数据描述隐藏在未标记数据中的结构/规律，最典型的非监督学习算法包括单类密度估计、单类数据降维、聚类等。k均值聚类执行过程：初始n个聚类中心随机选取，按照距离中心远近将点集分成n类，每类取均值更新聚类中心，如此下去最终收敛，如下图所示：关键技术机器学习10机器学习-半监督学习半监督学习是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。关键技术机器学习11关键技术机器学习机器学习-迁移学习迁移学习就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。在深度学习中预训练的模型在开发的时
8、候已经消耗了巨大的时间资源和计算资源，迁移学习可以将已习得的强大技能迁移到相关的的问题上。其他动作赏肉吃惩罚反复强化训练12关键技术机器学习机器学习-强化学习强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。问题编码初始化种群评估种群中个体适应度选择交叉变异演化遗传算法过程13关键技术机器学习机器学习-演化学习演化学习基于演化算法提供的优化工具设计机器学习算法，通常具有公共的算法结构：1.产生初始解集合，并计算解的目标函数值；2.使用启发式算子从解集合产生一批新解，并计算目标函数值，并加入解集合；3.根据启发式评价准则，
9、将解集合中较差的一部分解删除；4.重复第二步，直到设定的停止准则满足；5.输出解集合中最优的解。典型的演化算法包括遗传算法、蚁群算法、粒子群算法等等。超分辨率 增加图片清晰度智慧安防图像分割14关键技术计算机视觉计算机视觉使用计算机模仿人类视觉系统的科学：计算成像学、图像理解、三维视觉、动态视觉、视频编解码通过个体生理特征或行为特征对个体身份进行识别认证的技术：包括：指纹识别、人脸识别、虹膜识别、指静脉识别、声纹识别、步态识别指纹识别虹膜识别指静脉识别人脸识别声纹识别15关键技术生物特征识别生物特征识别0203传 统 巡 检 图 像 缺 陷 检 测 技 术基 于 R-F C N 的 航 拍 巡
10、 检 图 像目 标 检 测 方 法04最 新 成 果01人 工 智 能 技 术 简 介传统技术 HOG特征 Haar特征 颜色通道特征 特征提取 特征信息直接求取 边缘形状拟合 目标定位 传统统计方法 SVM AdaBoost 故障分类传统图像处理技术在完成输电线路航拍巡检图像识别过程中，大致将任务分为三个子任务：特征提取、目标定位、故障分类，其中特征提取是重点。缺点：只能针对单一种类目标复杂场景中识别精度低无法实现GPU等硬件的端到端加速，耗时较长典型工作1l 基于NSCT的灰熵模型及BF-PSO的绝缘子定位基于NSCT特征提取形态学滤波基于绝缘子形态的特征筛选典型工作2l 基于OTSU及椭
11、圆拟合的绝缘子故障判别方法基于OTSU的图像二值化边缘提取椭圆短轴长度统计0203传 统 巡 检 图 像 缺 陷 检 测 技 术基 于 R-F C N 的 航 拍 巡 检 图 像目 标 检 测 方 法04最 新 成 果01人 工 智 能 技 术 简 介深度神经网络是机器学习研究中提出的一系列新的模型实现对图像和视频的理解与抽象对复杂背景和目标随机性适应良好模型复杂、可训练权重数量多，提升模型性能和适应性。允许多个处理层组成计算模型，从而自动获取数据的表示与多个抽象级别。在多领域取得了接近甚至超越人类水平的效果：-AlphaGo(2016,2017)-图像识别(2015)-人脸识别(2016)-
12、机器翻译(?)-当前AI范式：AI=ABC-A:算法(Algorithm)-B:大数据(Big Data)-C:计算能力(Computation)基于R-FCN的航拍巡检图像目标检测方法图像分类卷积神经网络（CNN）：特征提取、分类“是什么”底层特征中层特征高层特征训练分类器深度神经网络基于R-FCN的航拍巡检图像目标检测方法目标检测特征提取、区域建议、分类和定位“是什么+在哪里”Faster R-CNNl 使用CNN从原始图片提取特征l 区域建议网络：生成所有位置、形状区域内存在目标的概率l 区域池化：将不同形状区域内的特征映射为相同维度l 对每个区域的特征进行变换，得到位置和分类l 使用F
13、aster R-CNN（用ResNet101提取特征）识别鸟巢、均压环、防震锤和故障防震锤l mAP达到93.7%l 汤踊、韩军、魏文力等（2018）典型工作3基于R-FCN的航拍巡检图像目标检测方法YOLO v3l YOLO为典型的单阶段目标检测神经网络，基于网格直接回归目标框的位置及类别，检测速度快YOLO目标检测原理基于R-FCN的航拍巡检图像目标检测方法方法流程l 方法共分为数据集制作、模型训练两个步骤，并通过测试集对模型进行验证基于R-FCN的航拍巡检图像目标检测方法方法流程l 数据集包含4000张图片，包含12类目标及缺陷，训练集与测试集比例约为4：1目标框面积占全图比例的分布基于
14、R-FCN的航拍巡检图像目标检测方法R-FCN算法，对Faster R-CNN的改进R-FCN与Faster R-CNNl 区域池化之前通过卷积神经网络生成目标类别和位置的分值，池化后无全连接层冗余计算更少l 使用“位置敏感”的区域池化层（PSROIPooling）替换区域池化层特征中的信息更精确基于R-FCN的航拍巡检图像目标检测方法前景背景OHEMOHEM算法：训练过程中，只使用模型预测结果较差的区域进行学习（ROIPooling层后增加OHEM层）数据集前景与背景区域数量之比1：59不同区域检测难度不同基于R-FCN的航拍巡检图像目标检测方法样本优化算法：l 将图片缩放为不同尺寸进行训练
15、l 加倍稀少目标所在图片的学习频次绝缘子串、防震锤数量占比共计46%放电间隙松动、防震锤损坏、地线金具倾斜三类占比合计8.1%绝缘子串、悬垂串导线端金具、均压环目标面积大小差距13到18倍样本优化基于R-FCN的航拍巡检图像目标检测方法软性非极大值抑制基于R-FCN的航拍巡检图像目标检测方法算法算法mAP0.5速度速度（秒（秒/张）张）Faster RCNN84.15%0.1207R-FCN84.29%0.1212YOLOv376.56%0.0314改进改进OHEM样本优化样本优化Soft-NMS结果结果mAP0.584.29%86.30%88.69%89.15%目标类别目标类别AP0.5绝缘
16、子串绝缘子串96.43%绝缘子破损绝缘子破损92.54%地线绝缘子地线绝缘子88.80%放电间隙松动放电间隙松动87.47%悬垂串导线端金具悬垂串导线端金具87.61%地线金具地线金具87.93%地线金具倾斜地线金具倾斜89.17%均压屏蔽环均压屏蔽环96.94%防振锤防振锤92.62%防振锤损坏防振锤损坏77.09%均压环均压环80.80%鸟巢鸟巢92.41%实验结果基于R-FCN的航拍巡检图像目标检测方法指标l AP：不同召回率条件（0到1之间）下的平均精确度l APX：预测框与标注框重叠比例超过X时视为预测正确基于R-FCN的航拍巡检图像目标检测方法模型预测示例基于R-FCN的航拍巡检图
17、像目标检测方法模型预测示例基于R-FCN的航拍巡检图像目标检测方法l R-FCN算法目标框更加准确。l OHEM、样本优化、Soft-NMS可以有效提高算法精确度(mAP0.5提升达4.86%)l 适应多种类型及尺度的输电线路航拍巡检目标及故障l 具有较高的工程应用价值总结基于R-FCN的航拍巡检图像目标检测方法0203传 统 巡 检 图 像 缺 陷 检 测 技 术基 于 R-F C N 的 航 拍 巡 检 图 像目 标 检 测 方 法04最 新 成 果01人 工 智 能 技 术 简 介难点l 目标占比过小l 部分螺栓无需销钉/螺母最新成果-细粒度缺陷可变形卷积最新成果-可变形卷积难点l 异物
18、种类、形态多变l 背景干扰严重最新成果-异物类缺陷识别自注意力机制lFaster R-CNN：使用各区域的特征预测各区域的位置和类别l自注意力机制：在预测前融合其它区域的特征最新成果-自注意力机制难点l 需学习物体之间的关系最新成果-防震锤滑移缺陷类别主要支持类别一般缺陷识别模型放电间隙松动或损坏、防振锤损坏或滑移、鸟巢、导线或杆塔异物、线夹倾斜或损坏、基础沉降或水淹、标志牌损坏或脱落、鸟刺损坏或脱落、驱鸟器损坏或脱落、均压坏倾斜或损坏、绝缘子自爆或破损、导地线散股或断股、线下施工机械。细小金具识别模型缺销钉、缺螺母、缺螺栓、销子脱出、销子安装缺陷、螺母松动或欠扣、小握手损坏、碗头销故障。联研
19、院提供能力全面，模型识别准确率高、泛化能力强的模型服务。为用户提供本地化部署，实现和已有系统集成。最新成果-模型识别类型齐全 联研院人工智能团队在国网运检部安排的“直升机巡检影像人工智能处理验证工作”中，取得总成绩第一；其中：4项第一、2项第二、1项第三、1项第四。行业内外共21支队伍参赛。最新成果-模型验证优秀联研院联研院其他单位其他单位1其他单位其他单位2模型应用覆盖14省40余个地市级单位，测试样本包含电压等级800、500、220、110KV，实施模型评估。结果如下：最新成果-模型验证优秀模型预测示例R-FCN模型最新的模型最新成果-模型效果最新成果-输电线路巡视图像智能分析云服务平台
20、设备部统一组织，科技部、互联网部支持下，联研院开展AI图像识别技术在输电线路巡视图像智能分析技术攻关基于联研院人工智能实验和服务平台，实现云上部署，面向公司无人机一线班组开放服务。公司内网联研院智能分析云浏览器便携终端升级更新在线访问高性能GPU服务集群基于AI图像识别的线路本体巡视实现自动、准确、快速识别无人机拍摄图像的导地线、绝缘子、异物、线夹及均压环、防振锤、细小金具、基础、附属设施缺陷隐患。最新成果-工程应用用户：安徽、湖南、山东、福建、四川、浙江6省19个地市级公司。被一线班组广泛关注和好评。w或pgup键切换上一张s或pgdn键切换下一张x或Delete键删除缺陷框工作模式下，缺工
21、作模式下，缺陷信息确认后，陷信息确认后，图标变绿色图标变绿色针对特定图片，选择模型，执行单张检测点击此处可多选缺陷，多个误报缺陷被一键删除自动实现杆塔和图片匹配多模型并行检测最新成果-工程应用 集成公司系统外研发单位优秀模型，具备支持多用户、多权限、多任务、多模型、多图像同时处理；支持万张图像批量识别；一次图片上传，批量检测后，单张图片精细检测；缺陷与线路、杆塔自动匹配；人性化缺陷校核支持；报表、报告、缺陷图片下载；自动缺陷统计；自动模型评估。最新成果-平台亮点模型精度运行效率资源配置不损失不降低不浪费每个模型服务保持原有精度每个模型服务保持原有速度多个模型服务同时运行每个模型服务的计算资源可灵活配置最新成果-平台亮点最新成果-平台业务成效实用实效、基层减负l 无人机图像缺陷发现效率可提高3-5倍。l 平均每周处理无人机巡检图片5000张，确认缺陷数量1000个。l 主要缺陷识别能力已达到或接近实用化水平。创新业务生态l 直接服务班组。逾越科研创新与一线班组的鸿沟。l 集成系统内外优秀模型，开放共享、协同创新。
