1、融入新一代人工智能的智能运维导读1新一代人工智能概述2深度神经网络3迁移学习4深度迁移学习及其特征挖掘5讲义提纲本章导读学习要求：了解新一代人工智能技术的特点；掌握典型的深度学习模型，迁移学习方法，结合实例加深对深度学习与迁移学习的理解与认识；了解结合深度学习和迁移学习的深度迁移学习模型。基本内容及要点：人工智能的定义；新一代人工智能的特点；卷积神经网络的基本结构；深度置信网络的基本结构；堆栈自编码器的基本结构；循环神经网络的基本结构；迁移学习的特点；基于半监督的迁移策略；基于特征选择的迁移策略；基于特征映射的迁移；基于权重的迁移策略；深度迁移学习模型的种类。PART 01新一代人工智能概述1
2、 新一代人工智能概述人工智能定义5人工智能(Artificial intelligence,AI)在1956年就已经提出。关于知识的学科，即如何表示知识、获得并使用知识的科学。研究对象是人类智能活动规律；依赖工具是计算机等具有类人智能的人工系统；目的利用计算机软硬件模拟人类某些智能行为的基本原理、方法和技术。美国斯坦福大学人工智能研究中心尼尔逊教授人工智能创始人之一认知科学家马文明斯基教授人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。“What magical trick makes us intelligent?The trick is that there is no tri
3、ck.The power of intelligence stems from our vast diversity,not from any single,perfect principle.”The Society of Mind（1987），P308到底有什么神奇的诀窍使我们如此智能？诀窍就是根本没有诀窍。智能的力量来源于我们自身巨大的多样性，而非来源于某一单个、完美准则。1 新一代人工智能概述新一代人工智能6我国著名人工智能专家潘云鹤院士当前大数据、感知融合和深度强化学习等技术的发展，促使人工智能迈向人工智能2.0，即新一代人工智能。人工智能2.0定义：基于重大变化信息新环境和发展新目
4、标新一代人工智能。030201新一代人工智能互联网与移动终端普及、传感网渗透、大数据涌现和网上社区兴起等信息新环境大数据智能、跨媒体智能、自主智能、人机混合增强智能和群体智能等新技术智能城市、智能经济、智能制造、智能医疗、智能家居、智能驾驶等从宏观到微观的智能化新需求新目标2016年3月2017年7月2017年10月2017年DeepMind团队发布了AlphaGo，可以击败人类围棋职业选手AlphaGo指出大数据驱动的知识学习、跨媒体系统处理、人机协同增强、群体集成智能、自助智能系统等成为人工智能的发展重点国务院发布新一代人工智能发展规划DeepMind公布了最强版的Alpha Zero，掀
5、起了新一代人工智能浪潮Alpha Zero新一代人工智能在制造业的应用中，智能诊断运维被列为重点突破方向之一中国工程院发布中国智能制造发展战略研究报告1 新一代人工智能概述7新一代人工智能发展1 新一代人工智能概述新一代人工智能发展意义重大重大装备故障诊断方法普遍存在受到结构复杂、信号微弱等因装备故障诊断方法普遍存在受到结构复杂、信号微弱等因素影响导致其精度与准确性不高的问题素影响导致其精度与准确性不高的问题。新一代新一代人工智能技术在人工智能技术在特征挖掘、知识学习与智能程度所表现特征挖掘、知识学习与智能程度所表现出显著优势出显著优势，为智能诊断运维提供了新途径，为智能诊断运维提供了新途径。
6、新一代人工智能运维技术是提高装备安全性、可用性和可靠性新一代人工智能运维技术是提高装备安全性、可用性和可靠性的重要技术手段，有利于制造企业智能化升级并提高企业效益，的重要技术手段，有利于制造企业智能化升级并提高企业效益，得到国际学术界与商业组织的重点投入与密切关注得到国际学术界与商业组织的重点投入与密切关注。8长期致力于基于人工智能技术的状态监测与预测研究,组织开展数控机床刀具全寿命周期振动、温度等多元异构数据实时监测实验，并邀请国际学者进行剩余寿命预测竞赛，以促进数控机床智能化的发展。美国PHM协会超过15年的持续专项研究，2017年建立“先进诊断与发动机管理”系统，实现发动机设计制造数据、
7、运行监测数据与维修保障数据三位一体深度分析，具备发动机在线诊断预测、地面维护保障关键功能美国普惠公司提出智能发动机概念，并架构智能发动机技术体系，基于先进机器人技术的智能检测与预知、自愈维护是智能发动机的核心技术内涵。英国罗罗公司密切关注机械基础部件（轴承、复合材料结构等）的服役安全性，组织开展全寿命周期多源数据监测实验，开发航空发动机等重大装备的智能诊断与预测技术。美国航空航天局（NASA）提出“智能航空发动机”项目，期望通过专项研究实现发动机整寿命周期内大数据的有效监测与深度分析，提升发动机运行安全性与维护保障性。英国罗罗公司1 新一代人工智能概述9新一代人工智能应用1 新一代人工智能概述
8、新一代人工智能发展面临的挑战与方向10 重大新一代人工智能技术是国际制造业的重要重大新一代人工智能技术是国际制造业的重要历史机遇，但是历史机遇，但是如何融入新一代人工智能技术如何融入新一代人工智能技术实现重大装备的运行安全保障，是挑战难题。实现重大装备的运行安全保障，是挑战难题。新一代人工智能发展重要方向智能诊断模型构造根据机械装备检测数据特点实现有针对性的智能诊断模型构造新一代人工智能技术针对装备制造业监测数据高维度、多源异构与流数据等大数据特性，探索多源数据融合、深度特征提取与流数据处理等新一代人工智能技术智能处理框架与技术体系研发基于大数据分析的智能处理框架与技术体系PART 02深度神
9、经网络卷积神经网络卷积神经网络堆栈自编码网络堆栈自编码网络循环神经网络循环神经网络深度置信网络深度置信网络01020304深度神经网络12卷积神经网络13全连接前馈网络识别结果可以有很可以有很多卷积层多卷积层和池化层和池化层卷积层1池化层1卷积层2池化层2化为一列卷积神经网络卷积神经网络卷积神经网络14卷积层的计算卷积层的计算池化层的运算池化层的运算化成一列化成一列3.253.52.753.5-1全连接层全连接层3.253.53.52.754343.253.5243,12.753.5234aa卷积神经网络15LeNet-5限制波尔兹曼机16限制波尔兹曼机限制波尔兹曼机(RBM)深度置信网络17
10、深度置信网络深度置信网络深度置信网络18深度置信网络深度置信网络自编码网络19自编码器自编码器(AE)编码器解码器 自编码器通过无监督学习无监督学习更新其参数取值，使重构误差最小重构误差最小。AfXWXb YgAW Ab编码：编码：解码：解码：重构误差：重构误差：222,L X ZLX ZCXZ堆栈自编码网络20堆栈自编码网络堆栈自编码网络循环神经网络循环网络结构循环网络结构时间连接的隐层反馈权值时间连接的隐层反馈权值)(ttXFunY 前馈神经网络)(NtttXXFunY循环神经网络循环神经网络权值共享权值共享：不同时刻的网络权值占用共一个存储空间，在计算时同时更新。时间连接时间连接：t时刻
11、的网络输出和t时刻以前的输入都有关系。21RNN计算原理)*(1ttttSWXWfS)*(touttSWgY 前向计算：前向计算：反向传播：反向传播：2Y|21YY)*(*)(*WoutYtouttoutoutnewSWgSYYlrWlrWWouttYWlrWWtnewtWYlrWWnew10110tY000000000*)*(*)*(*)(WtTTtTtTtTtTTToutoutSSWXWfSWgWYY1010Y000000000*)*(*)*(*)(WtTTtTtTtTtTTToutoutXSWXWfSWgWYY输出层输出层隐藏层隐藏层输入层输入层22LSTM结构前向计算前向计算：1)*(
12、100000TtTtTtTTSWXWf常数误差流常数误差流：网络的循环结构不通过激活函数。长短时记忆单元的结构门控制单元门控制单元：对网络输入、输出进行限制。截断回传误差截断回传误差：限制网络误差回传的时间跨度。区别不同输入的影响控制计算量23RNN的应用24RNN的典型应用，如机器翻译机器翻译、图像描述等。Thesunwestering夕阳夕阳西下西下编码：编码：解码：解码：RNN的应用25图像描述：图像描述：1.输入图像输入图像特征映射特征映射2.卷积特征提取卷积特征提取3.RNN图片注意力模型图片注意力模型4.逐词描述逐词描述基于深度学习的刀具退化评估实验数据来源于美国国家宇航局美国国家
13、宇航局Ames研究中心研究中心，共包含16组刀具磨损退化的监测数据33。每组数据包含不同数量的信号样本，均采集了刀具磨损过程中的振动信号振动信号、声发射信号声发射信号和电信号电信号，采样频率为250Hz。各组数据采集时的工况和铣刀最终磨损情况见表5-1。刀具退化案例26原始信号刀具有进入阶进入阶段段、稳定切割阶稳定切割阶段段和退出阶段退出阶段，选取稳定切割阶段的信号进行分析。27基于深度学习的刀具退化评估样本构造样本构造：从6个传感器监测数据中提取其有效值、绝对均值、方差和峰峰值4个时域特征形成训练数据特征集作为深度自编码网络的训练样本。特征提取和降维特征提取和降维：将24维高维特征样本经由深
14、度自编码特征提取器进行特征降维和提取。结构参数优化结构参数优化：降维编码后的重构误差作为粒子群算法参数更新的适应度，由此确定网络结构参数。28基于深度学习的刀具退化评估由降维编码的回归输出可以看出，降维编码保留的信息和磨损量高度相关。经过有标签数据的训练和微调，降维编码在变化趋势上与磨损量保持一致，但降维编码在变化趋势上与磨损量保持一致，但是在幅值上有所偏差是在幅值上有所偏差，这表明深度自编码网络对多维传感器特征集的特征提取和降维是有效的。降维编码的回归模型输出(a)CASE1(b)CASE229基于深度学习的刀具退化评估DAE-LSTM模型退化程度识别结果(a)CASE1(b)CASE2深度
15、网络作为特征提取器深度网络作为特征提取器在进行参数优选的训练之后可以获得在训练数据上拟合效果足够好的深层网络。去除其回归层之后的低层网络在差异不大的同类测试数据中仍然有较好的特征提取效果，这表明深层网络可以在浅层学习到一般而概括的特深层网络可以在浅层学习到一般而概括的特征，并将浅层特征进一步抽象提取和深度挖掘征，并将浅层特征进一步抽象提取和深度挖掘。在将低层特征编码作为输出结合其他深度网络模型进行后处理即可得到适用于装备退化评估的深度学习模型。30基于深度学习的刀具退化评估PART 03迁移学习从机器学习到迁移学习32机器学习已成为一种日渐重要的方法，并已经得到广泛的研究与发展。然而传统的机器
16、学习需要做如下的两个基本假设以保证训练得到的分类模型的准确性和可靠性：但是，在实际的工程应用中往往无法同时满足这两个条件：学习数据时效性强，如基础部件随时间退化而产生的数据。有标签的分类样本数据匮乏，如大规模风电场的设备数据。机器学习基本假设机器学习基本假设 用于学习的训练样本与新的测试样本是独立同分布的；有足够多的训练样本用来学习获得一个好的分类模型。机器学习的机器学习的局限性局限性从机器学习到迁移学习33迁移学习是指一种学习或学习的经验对另一种学习的影响，迁移学习能力代表不同领域或任务之间进行知识转化的能力。骑自行车骑摩托车打羽毛球（压腕）打网球（不压腕）正迁移正迁移：一种学习经验对另一种
17、学习起促进作用。负迁移负迁移：一种学习经验对另一种学习起阻碍作用。迁移学习概念迁移学习概念从机器学习到迁移学习34 传统机器学习的任务之间是相互独立的，不同的学习系统是针对不同的数据分布而专门训练的。迁移学习中不同任务间不再相互独立，虽然两者不同，但可以从不同源源任务任务中挖掘出与目标任务目标任务相关的知识，去帮助后者的学习。传统机器学习和迁移学习过程的差异迁移学习特性迁移学习特性从机器学习到迁移学习35迁移学习定义迁移学习定义迁移学习策略36学习过程无需人工干预，对无标签数据加以利用，并取得最佳泛化能力：基于半监督的迁移方法基于半监督的迁移方法 跨领域主动迁移跨领域主动迁移：通过似然偏置的高
18、低选择领域外有标签的样本实现迁移学习，能够正确预测领域内数据且似然偏置高的有标签样本被直接利用，而似然偏置低的样本则通过主动学习进行选择；不匹配程度迁移：不匹配程度迁移：通过估计源领域中的每个样本与目标领域中少量标签数据之间的不匹配程度实现迁移学习；正则化优化迁移：正则化优化迁移：通过源领域数据训练得到一个分类器，然后综合利用半监督学习的正则化技术优化目标领域数据实现迁移学习；自学习迁移：自学习迁移：利用现代信号处理技术如稀疏编码对无标签的样本数据构造高层特征，然后少量有标签的数据以及目标领域无标签的样本数据可通过这些高层特征进行表示，其不要求无标签数据的分布与目标领域中分布相同。迁移学习策略
19、37主要通过寻找源领域与目标领域中的共有特征对知识进行迁移：基于基于特征选择的迁移方法特征选择的迁移方法 两两阶段特征选择阶段特征选择框架：框架：第一阶段利用寻找出的源领域和目标领域的共有特征训练一个通用的分类器，第二阶段则选择并利用目标领域的无标签样本中的特有特征来对通用分类器进行调整从而得到适合于目标领域数据的分类器；联合联合聚类特征选择聚类特征选择框架：框架：通过类别和特征的同步聚类实现知识与类别标签的迁移。联合聚类算法的关键在于识别出目标领域与源领域数据的共有特征，然后类别信息以及知识通过这些共有特征从源领域迁移到目标领域；挖掘挖掘隐性结构隐性结构特征：特征：该方法试图从源领域将共同的
20、隐性结构特征迁移到目标领域。如通过构造源领域和目标领域的类别标签传播矩阵来挖掘这些隐性特征。迁移学习策略38通过把源领域和目标领域的数据从原始的高维特征空间映射到低维特征空间，使得其在低维空间有相同的分布：基于基于特征映射的迁移方法特征映射的迁移方法 降降维时最小化源领域和目标领域的维时最小化源领域和目标领域的偏差：偏差：该方法通过最小化源领域与目标领域数据在隐性低维空间上的最大偏差，从而求解得到降维后的特征空间。在该低维隐性空间上，源领域和目标领域具有相同或者接近的数据分布；将将源领域和目标领域特征映射到共享源领域和目标领域特征映射到共享子空间：子空间：该方法将目标领域数据和源领域数据映射到
21、一个共享的子空间，在该子空间中，源领域数据可以由目标领域数据重新线性表示，因而可利用监督模型进行学习分类。迁移学习策略39通过度量有标签的训练样本与无标签的测试样本之间的相似度来重新分配源领域中样本的采样权重：基于基于权重的迁移方法权重的迁移方法 基于实例的不同分布以及分类函数的不同分布：这是一种实例权重框架来解决领域适应问题。其从分布的角度分析产生领域适应问题的两个原因：实例的不同分布以及分类函数的不同分布，通过构造最小化分布差异性的风险函数来解决领域适应性问题；TrAdaBoost算法：将Boosting学习算法扩展到迁移学习中，通过不断的迭代改变样本被采样的权重。其利用Boosting技
22、术去除源领域数据中与目标领域中的少量有标签样本最不像的样本数据。其中，Boosting技术用来建立一种自动调整权重机制，使得重要的源领域样本数据权重增加，不重要的源领域样本数据权重减小。TrAdaBoost电机故障诊断算例40针对电机故障诊断目标振动数据较少，单纯机器学习无法达到理想效果的情况，该算例采用引入大量辅助振动数据来帮助其故障诊断的迁移学习方法，如下：设利用SVD得到的目标振动数据和辅助振动数据组成的训练数据集T：测试测试集和训练集集和训练集,1,2,3,1,2,3,abaaaiibbbiiTT TTfyinTfyim，,1,2,3,ajSfjkajf设未标识的测试数据集，其的目标振
23、数据，k为样本数量，迁移学习分类器设计目的是使得在S上的分类错误率最小。（nm）选取与训练集不TrAdaBoost电机故障诊断算例41TrAdaBoostTrAdaBoost算法算法，Tb中包含能帮助学习的重要数据和不能帮助学习的次要数据，通过boosting迭代算法建立一种自动调整权重的机制，将前者权重增加，后者权重减小，最后与Ta共同训练以提高分类模型的准确度TrAdaBoost电机故障诊断算例42TrAdaBoostTrAdaBoost算法算法，STEPS 如果辅助数据被误分类，其权重在下一次迭代过程中会被削弱，直至满足分类要求；TrAdaBoost电机故障诊断算例43试验系统与试验条件
24、试验系统与试验条件，电机模拟试验平台目标数据和辅助数据选取示意图故障类型故障类型UBMBRMBRBHEA电机转速电机转速20Hz30Hz40Hz50HzTrAdaBoost电机故障诊断算例44故障诊断试验结果故障诊断试验结果，转速变化时刻诊断正确率转速变化时刻诊断正确率转速恒定时刻诊断正确率转速恒定时刻诊断正确率机器学习机器学习小幅变速大幅变速小幅变速大幅变速m=4076.67%72.33%78.00%79.67%m=12081.33%77.00%94.33%96.67%迁移学习迁移学习小幅变速大幅变速小幅变速大幅变速m:n=40:20091.00%91.00%96.33%100.00%m:n
25、=120:12092.33%89.67%96.00%100.00%机器学习和迁移学习诊断正确率比较图TrAdaBoost电机故障诊断算例45故障诊断性能分析故障诊断性能分析，当目标数据不足时，不论是转速恒定点还是变化点，迁移学习对机器学习的诊断性能提升均较为明显（约25%）；目标数据充足时，转速变化点的提升性能（16.45%）优于转速恒定点（3.44%），即转速变化点振动特性不一致时，即使增加目标数据量，机器学习性能也无法显著提升；大幅变速和小幅变速实质是针对不同测试时刻而言，7.7s时虚线为大幅变速，而在14.3s时则为小幅变速，并且可以看出，电机转速幅值变化对机器学习诊断性能影响较大（m=
26、40时诊断正确率相差4.34%），而对迁移学习算法影响较小（m=40时两者均为91.00%）；在变转速数据中迁移学习比机器学习更具优势，后者若将振动特征不同的辅助数据并入目标数据，其不但没有帮助，反而误导诊断结果，而迁移学习则对诊断性能产生正向效应。PART 04深度迁移学习及其特征挖掘0201深度学习注重模型的深度和自动特征提取，逐层地由高到低进行特征学习，具有较高的特征提取和选择能力，而迁移学习注重不同领域的知识转化能力，两者描述的是不同的概念，就学习能力而言，它们也有自身的局限性。迁移学习作为一种进化的机器学习，本质上还是单层分类器，它所描述世界的变量数是有限的；深度学习的深度虽然也有限
27、，但其多层的复杂度极大地加大了对客观事物的描述能力。迁移学习对事物的表达能力不如深度学习深度学习本质上属于传统机器学习，因此必须满足传统机器学习执行的两个基本的假设，模型与事物是一对一的，深度学习的模型难以像迁移学习模型那样适应不同的环境，难以满足不同的对象。深度学习对事物的转化能力不如迁移学习深度迁移学习模型47基于深度样本的迁移学习基于深度样本的迁移学习在源领域中找到与目标领域相似的数据，把这个数据的权值进行调整，使得新的数据与目标领域的数据进行匹配，然后通过加重该样本的权值，拓展至深度样本的迁移学习。基于深度模型的迁移学习基于深度模型的迁移学习利用深度学习在大数据量下训练一个识别系统，得
28、到训练模型函数A，当遇到一个新训练任务B时，无需B领域的大数据量样本，仅利用训练模型函数A和少量B领域样本即可完成训练。基于深度关系的迁移学习基于深度关系的迁移学习通过深度学习获取不同样本对象之间关系，其次可利用迁移学习直接对关系而非样本对象实施迁移。基于深度特征的迁移学习基于深度特征的迁移学习通过深度学习，获取中间层的源领域数据与目标领域之间的共同特征，然后利用其所获得的共同特征在源领域和目标领域之间实施迁移。与传统基于特征迁移学习不同，深度学习的中间层特征一般是无意义的，仅作为共性特征实施相互迁移的手段。01020304建立深度学习和迁移学习相补的模型，用于特征挖掘，同时提升模型对事物的表
29、达能力和转化能力，可分为四种模型：基于深度样本的迁移学习、基于深度特征的迁移学习、基于深度模型的迁移学习和基于深度关系的迁移学习。深度迁移学习模型480201一般的，设计一个新的深度神经网络，人们通常使用从零开始训练的方法来训练和优化网络模型，即对其采取网络参数随机初始化，在通过大量数据对网络参数进行训练优化。深度网络的训练困难对于含有多个隐含层的深度神经网络而言，其包含的网络参数也是海量的，为了达到一定的模型精度，训练这些网络参数需要大量的有标签数据进行监督学习。数据要求在对深度神经网络进行训练过程中，除了优化网络参数将耗费大量时间外，超参数（网络的深度、学习率、参数更新规则等）的选择也将大
30、大影响模型的最终表现，选择合适的超参数也是一项耗时的工作。算法复杂度特征挖掘策略490201l深度迁移学习是解决深度神经网络训练难题的方法之一。l其在具有充足数据集的源域中训练深度神经网络，保存网络参数，利用迁移学习思想，将学习到的网络参数或是网络学习到的特征信息应用到新的目标域任务中，实现深度模型间的特征迁移。在数据量充足的源域数据上进行深度神经网络的训练学习，得到最优化模型，将最优化模型看作一个特征提取器，应用到新的目标域数据中，此时，网络将计算出目标域数据的一种特征表达。深度学习用作特征提取器将已经训练完全的源域模型参数或源域模型学到的知识，通过一定的方式传递给目标域模型从而帮助新模型优
31、化。当深度神经网络模型在源域上训练完全后，再根据目标域数据集进行参数微调深度学习配合参数微调特征挖掘策略50深度学习用作特征提取器5101对于一个深度网络结构而言，其每一层隐含层对应一种特征表示，根据需要提取深度网络结构中任一隐含层的特征，不同的隐含层提取到的特征信息具有不同的特性。02深度学习具有特征的分层学习能力，处于网络低层的隐含层学习到的是较为一般而概括的特征信息，而处于网络高层的隐含层通过组合低层特征从而学习到更为抽象的特征，因此，基于深度神经网络的迁移学习模型可以提取目标域中多层次的特征信息。03这一类深度迁移学习方法只需要在源域上进行训练学习，当应用到目标域数据中时不需要再进行参
32、数更新，直接使用源域模型进行特征提取。深度学习配合参数微调5201微调网络参数时，可以选择微调全部的网络参数，也可以选择固定低层网络参数不参与更新，只对高层网络进行参数更新。02对于低层网络特征而言，其具有一般性和概括性，对于不同领域的数据都适用，而高层网络特征更加抽象，更能反映一类数据特有的信息，考虑到源域与目标域的差异性，对高层抽象特征部分进行参数微调，使得新模型可以更好的适应目标域数据。源域与目标域差别小源域与目标域差别小目标域数据少目标域数据少数据具有较高的相似性，不需要重新训练模型，直接使用深度迁移学习模型作为特征提取器。源域与目标域差别大源域与目标域差别大目标目标域数据少域数据少训
33、练数据较少，为了避免产生过学习现象，一般不采取参数微调策略，仍然使用深度迁移学习模型作为特征提取器，通常只提取低层概括性特征信息，针对不同分类任务再设计适当的非线性分类器。源域与目标域差别大源域与目标域差别大目标目标域数据多域数据多为了更好的拟合目标域数据，可以将源域模型参数迁移到目标域中，初始化目标域新模型，再通过目标域数据进行整体网络的训练学习和参数微调。源域与目标域差别小源域与目标域差别小目标目标域数据多域数据多数据具有相似性，可以直接作为特征提取器，由于目标域数据充足，也可进行微调高层提高模型适用性。01020304在实际应用之中，不同的深度迁移学习方法具有不同的适应性。特征挖掘策略5
34、3深度迁移学习是一种有效解决深度网络训练困难的方法与传统的随机初始化网络参数方法不同，基于深度迁移学习的方法是利用在图像领域已完全训练的深度网络模型，将其网络结构与参数迁移到故障诊断模型中考虑到自然图像与机械传感器信号的实际差异，再通过适当的参数微调策略来实现最终的故障状态准确识别。利用预训练模型给予新的故障诊断模型合理初始化，可以提高模型的收敛速度，同时保证了深层结构，可以提取更为抽象且利于分类的特征信息从而提高故障识别准确率。基于深度迁移学习的故障诊断算例54将原始一维信号进行预处理，使用连续小波变换将一维原始信号转换成二维时频分布图像，作为故障诊断模型的输入图像数据集。时频成像将数据化分
35、成训练集与测试集，仅使用训练集对新模型进行训练学习，完成网络参数微调，训练完成后，利用测试集数据对最终模型进行测试，验证模型的有效性。数据集准备利用VGG-16网络参数初始化本文故障诊断模型，改变输出层，使其神经元数与故障状态种类相对应，并随机初始化输出层参数。模型搭建完成后，采取顶层参数更新策略。模型搭建与参数微调用测试数据集对最终模型进行测试验证，参数优化完全的模型可以应用到故障诊断的任务中。故障诊断模型应用选取VGG-16模型为预训练模型，作为迁移学习对象，使用其网络参数初始化故障诊断模型，主要包含四个方面。深度迁移学习故障诊断模型55VGG-16模型结构VGG-16模型是一个16层的深
36、度卷积网络模型，隐含层由五个卷积模块和一个全连接模块组成，在大型自然图像数据集ImageNet上完成训练学习，具有预训练权值，具有强大的图像特征学习能力。深度迁移学习故障诊断模型56原始一维传感器信号通过连续小波变换转变成二维视频分布图像数据时频成像预处理二维视频分布图像数据集至适当大小，并划分成训练集与测试集，训练集仅在模型训练阶段使用，测试集仅在模型验证阶段使用数据集准备将预训练VGG-16模型参数迁移至故障诊断模型中，给予新模型初始化，再通过锁定低层网络权值、更新高层参数的参数微调策略，利用训练集数据对新模型进行训练模型搭建与参数微调通过测试集验证已训练模型的有效性故障诊断模型应用深度迁
37、移学习故障诊断模型57设置故障诊断模型的输出层，使其含有5个神经元，对应5种不同的机械状态，并随机初始化输出层权值。1使用预训练VGG-16模型网络参数初始化故障诊断模型2锁定前三个卷积模块的权值，使其不参与参数更新，设置卷积模块4、5以及全连接模块进行参数微调3使用有标签的训练集数据进行网络训练，计算模型输出标签值与真实标签值的交叉熵作为模型误差，通过Adam算法进行模型优化与权值更新4微调预训练网络训练算法58重复训练过程4直到最终分类正确率不再有明显提升，结束训练，固定网络参数，得到训练完全的故障诊断模型5l为了展示模型的有效性，设置了对比实验。设计了一个具有三层隐含层的卷积神经网络，采
38、用随机初始化权值的方法从头开始训练该网络（CNN-Lfs），与基于深度迁移学习的故障模型（TL-DCNN）进行对比。l基于深度迁移学习的方法在轴承数据集和齿轮数据集上都获得了更高的分类正确率，对故障诊断识别率有了一定的提升。对比实验分类正确率机械故障诊断性能59故障诊故障诊断方法断方法轴承轴承齿轮齿轮20Hz30Hz20Hz30HzCNN-Lfs98.90%98.84%98.70%94.14%l记录训练过程的故障分类正确率随着训练迭代次数的变化曲线。l与CNN-Lfs方法相比，TL-DCNN方法在第2次迭代训练时就已经达到较高的分类准确率，且保持稳定的结果，而CNN-Lfs方法需要在第五次迭代训练后才出现较好的结果，但分类准确率存在一定的波动。图1分类准确率机械故障诊断性能60l记录训练过程中模型误差随着训练迭代次数的变化曲线。l与分类准确率相对应，模型误差越小分类准确率越高。lTL-DCNN方法能够实现快速收敛，缩短训练时间，同时保证了网络结构的深度，可以学习到更为抽象而利于分类的图像特征，从而提升了分类的准确率。图2模型误差机械故障诊断性能61l采用了10-折交叉验证的方法来验证模型的稳定性，记录了10次实验后分类准确率的平均值与标准误差。l相对于CNN-Lfs，TL-DCNN方法拥有更高的分类准确率以及更好的模型稳定性。图310-折交叉验证机械故障诊断性能62THANKS!
