1、1.1.智慧水利业务需智慧水利业务需求求2.2.人工智能发展人工智能发展-深度学深度学习习3.3.大数据时代的人工智大数据时代的人工智能能4 4 .实践研实践研究究5.5.应用展应用展望望2 智慧水利业务智慧水利业务 需求需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研究 应用展望“智慧水利智慧水利”:应用云应用云计计 算、物联网、大数据、算、物联网、大数据、移移 动互联网和人动互联网和人工工智能等智能等新新 一代信息通讯技术,实一代信息通讯技术,实现现 对水利对象及活动的对水利对象及活动的透透彻彻 感知、全面互联、智能感知、全面互联、智能应应 用与泛在服务用与泛在服务,从而促,从
2、而促进进 水治理体系和能力现代水治理体系和能力现代化化。业务管理一体化业务管理一体化水利监控可视化水利监控可视化水利信息规范化水利信息规范化水利资源共享化水利资源共享化水利决策科学化水利决策科学化 智慧水利业务智慧水利业务 需求需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研究 应用展望人工智能系统具有自我学习、推理、判断和自适应能力。主要应 用在优化设计、故障诊断、智能检 测、系统管理等领域。借助于人工智能技术优势,优 化水利工程管理的流程,提升管理 工作效能,统筹提升智慧化管理和 服务水平,对水利行业“补短板、强监管”发挥积极作用。3 智慧水利业务 需求 人工智能发人工智能发展
3、展-深度学深度学习习 大数据时代的 人工智能 实践研究 应用展望4 智慧水利业务 需求 人工智能发人工智能发展展-深度学深度学习习 大数据时代的 人工智能 实践研究 应用展望5 智慧水利业务 需求 人工智能发人工智能发展展-深度学深度学习习 大数据时代的 人工智能 实践研究 应用展望67 智慧水利业务 需求 人工智能发人工智能发展展-深度学深度学习习 大数据时代的 人工智能 实践研究 应用展望深度学习是通过构建包含多个隐含层的神经网络模型,以更少的单层参数 与更深的网络结构,通过海量训练数据,来学习特征的多层抽象表示,从而最 终提升分类或预测的准确性。)强调模型结构的深度;)突出特征学习。智慧
4、水利业务 需求 人工智能发展-深度学习 大数据时代大数据时代的的 人工智人工智能能 实践研究 应用展望大数据真正价值不在 于大数据本身,而在于数 据内容的分析和价值发现。8大数据:指大小超出了常用 软件工具在运行时间内可以承受 的收集、管理和处理数据能力的 数据集。智慧水利业务 需求 人工智能发展-深度学习 大数据时代大数据时代的的 人工智人工智能能 实践研究 应用展望大数据时代需要人工智能技术同时满足以上两个要大数据时代需要人工智能技术同时满足以上两个要求求1.大数据规模当前数据规模:从数十TB到十几PB级2.处理大数据的可等待的合理时间地震数据预测要求在几分钟内才有效气象数据应该在小时级别
5、数据挖掘一般要求在12小时内9 智慧水利业务 需求10 人工智能发展-深度学习 大数据时代大数据时代的的 人工智人工智能能 实践研究 应用展望大数据时代需要什么样的人工智能大数据时代需要什么样的人工智能?1.能适应反映大数据分布的抽样方法2.基于大数据分布的算法3.追求高效并行的人工智能算法4.反映全量特征的人工智能算法大数据完全颠覆了传统的思维方式:1.全样而非抽样2.效率而非精确3.相关而非因果 智慧水利业务 需求 人工智能发展-深度学习 大数据时代大数据时代的的 人工智人工智能能 实践研究 应用展望11三大平三大平台台 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能
6、实践研实践研究究12 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统通过对水库水文气象、调度实施、安全监测、水质 监测、生态监测等信息的快 速采集、传输、分析处理,构建能够快速查询和分析的 信息平台,利用物联网、大 数据分析、云计算等技术实 现水库调度水库调度和健康管理健康管理的实 施决策,为水库管理人员提 供信息管理服务 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望13 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数
7、据管理系统 管理系统主要由管理系统主要由数据信息管理数据信息管理、水库健康综合诊断和预测水库健康综合诊断和预测、水水库库 优化调度优化调度和和系统信息管理系统信息管理组成组成。144.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望 平台界平台界面面154.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望泵站运行实时控制界泵站运行实时控制界面面164.1 平原水库智慧化大数据管理系
8、统平原水库智慧化大数据管理系统 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望 水库日蒸发量实时与预水库日蒸发量实时与预测测174.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望水库健康诊断和预水库健康诊断和预测测184.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望 水库优化调水库优化调度度19 智慧水利业务 需求 人工智能发展
9、-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统1.1.数据采集:数据采集:将各项监测数据采集到数据库,物联网智能监测数据将各项监测数据采集到数据库,物联网智能监测数据无无 线传输到应用平台,人工输入人工监测数据线传输到应用平台,人工输入人工监测数据。20 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统2.2.数据预处理:数据预处理:对采集来的数据进行预处理分析,剔除非法数据,对采集来的数据进行预处理分析,
10、剔除非法数据,输输 入包含多类型数据的水库综合数据仓库入包含多类型数据的水库综合数据仓库。21 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统3.3.健康综合诊断:健康综合诊断:利用水库运行期智能综合健康诊断模型,通过利用水库运行期智能综合健康诊断模型,通过大大 数据分析技术诊断水库的健康状况数据分析技术诊断水库的健康状况。22 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系
11、统4.4.健康预测:健康预测:利用水库运行期智能健康预测模型,通过大数据分析利用水库运行期智能健康预测模型,通过大数据分析技技 术对水库的健康状况进行预测预警术对水库的健康状况进行预测预警。23 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统5.5.数据查询:数据查询:根据用户选择的查询内容,以图或表格的形式,实根据用户选择的查询内容,以图或表格的形式,实现现 用户的查询、修改、导出、导入和打印功能用户的查询、修改、导出、导入和打印功能。24 智慧水利业务 需求 人工智能发展-深度学
12、习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统6.6.图形显示:图形显示:系统提供水库的三维示意图以及浸润线等图形化显示系统提供水库的三维示意图以及浸润线等图形化显示。25 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统7.7.调度决策:调度决策:利用基于大数据分析技术的调度优化模型,实现水库利用基于大数据分析技术的调度优化模型,实现水库最最优调度优调度。26 智慧水利业务 需求 人工智能发展-深度学习 大数据时
13、代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统8.8.系统管理功能:系统管理功能:包括用户管理、角色管理、权限管理、日志管理包括用户管理、角色管理、权限管理、日志管理、参数设置和测点设置,实现系统的维护功能参数设置和测点设置,实现系统的维护功能。27 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.1 平原水库智慧化大数据管理系统平原水库智慧化大数据管理系统用户管理:用户管理:按业务角色方式对用户进行分类管理:系统管理员、普按业务角色方式对用户进行分类管理:系统管理员、普通通 用用户户
14、系统容量:系统容量:农业大数据应用云平台目前分配的存储空间可同时对农业大数据应用云平台目前分配的存储空间可同时对100100个个 水库进行智慧化管理,平台满足系统扩容的需求水库进行智慧化管理,平台满足系统扩容的需求。284.2 水库健康监测大数据清洗水库健康监测大数据清洗 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望水库智慧化大数据管理系统记录的数据量大,系统维护周期长;数据水库智慧化大数据管理系统记录的数据量大,系统维护周期长;数据缺缺 失、冗余等情况时有发生。如果不对数据进行清洗,将严重影响数据挖掘失、冗余等情况时有发生。如果不对数据进行清
15、洗,将严重影响数据挖掘的的 质量,影响后期决策,危害水库健康运营。因此在挖掘前对质量,影响后期决策,危害水库健康运营。因此在挖掘前对数据进行清洗数据进行清洗至至 关重要关重要,尤其是尤其是异常值检测和缺失值填补。异常值检测和缺失值填补。29 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望30 智慧水利业务 需求31 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望根据监测数据的结构特征将水库健康监测数据分为三类:第一类是水库健康监测数据变化微小的数据,如工程地质及水文地质、坝基质量评价、坝体质量评价等;第二类是数据评分跨
16、度较小,离散程度较小的监测指标数据,如坝基抗液化安全、最小生态需水量指标等;第三类数据是评分跨度较大,离散程度较大的数据。如地下水动态指标、水资源利用指标、可用水量指标等。智慧水利业务 需求32 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望缺失值填缺失值填补补一.基于多种距离的K均值算法在处理大数据集时聚类效果好,可以最大程度上保证填补缺失数据的真实 性;收敛速度快,可以快速的处理海量、杂乱无章的水库健康监测数据;具有伸 缩性,充分挖掘数据内在的信息。二.基于多种距离的K最近邻算法运用最近邻算法复杂函数的预测功能,最终采用的是最大类或者均值对缺 失值进行填补,并且
17、该方法具有合理的数据缩放量,这样就避免了水库大数据指 标多样、结构复杂带来的不便,有效提高了填补精度,该方法的在线技术能弥补 水库健康大数据监测周期长这一弊端,新的监测数据可以实时添加进来,而不用 重新进行训练。智慧水利业务 需求33 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望在以上的两种聚类算法中依次引入的度量距离在以上的两种聚类算法中依次引入的度量距离:欧式距离(Euclidean Distance)曼哈顿距离(City Block Distance)余弦距离(Cosine Similarity)切比雪夫距离(Chebyshev Distance)相关距离(
18、Correlation Distance)斯皮尔曼相关系数(Spearmans Rank Correlation Coefficient)杰卡德距离(Jaccard Distance)闵氏距离(Minkowski Distance)汉明距离(Hamming Distance)马氏距离(Mahalanobis Distance)智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望3435 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望异常值检异常值检测测基于距离的异常值检测方法:偏离大部分样本的对象即可判定
19、为异常值。该 方法普遍性和具体操作性效果好,并且可用于多维属性数据的检测。因为该类算 法将异常值形式化定义,因此在不知道数据分布的情况下检测精度依然很好。假设数据对象集为D,给定一个距离阈值r来定义对象的适当距离。对于每个 对象,可以考察o的邻域r-中其他对象的个数。如果D中大多数对象都远离o,即 都不在o的r-邻域中,则o可以被视为一个离群点。令是距离阈值,是分数阈值。D dist(,)r36基于深度降噪自编码网络的物联网监测数据修基于深度降噪自编码网络的物联网监测数据修复复针对大规模物联网监测系统中经 常出现的监测点失效、数据异常等 问题。采用深度降噪自编码网络对监 测数据进行修复,通过构
20、造深度降 噪自编码网络来提取监测点之间隐 含的深层关联关系,进而训练一种 支持向量回归模型以预测待修复的 监测数据。相比传统数据修复方法,具有 更好的精度。智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.3 数据数据-模型融合的水库虚拟健康运行模型模型融合的水库虚拟健康运行模型考虑水库健康多源数据的时空特点,运用有限元方法建立水库多耦合数值模拟模型。在数 值模型的动态运行过程中融合物联网实时监测数据。生成具有时间、空间和物理一致性的数 据集。对水库运
21、行方式进行虚拟仿真,完善补充实际运行中罕见的病变或危情状态数据,构 成并动态更新大数据驱动分析的完整数据集。374.4 水库运行期健康综合诊断方法与预测水库运行期健康综合诊断方法与预测 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望384.4 水库运行期健康综合诊断方法与预测水库运行期健康综合诊断方法与预测 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望39 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.5 基于深度学习方法提取水库健康特征因子基于
22、深度学习方法提取水库健康特征因子对水库虚拟健康模型中海量数据进行预处理,采用深度学习的降噪自动编解码过程,利用贪婪逐层训练算法,通过无监督训练挖掘各健康因子对水库健康状态的深层影响,选 择出更有利于评估的数据特征。40 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.6 基于深度学习方法建立水库健康状态的自动识别和预测模型基于深度学习方法建立水库健康状态的自动识别和预测模型针对水库健康诊断多变量、非线性、强耦合、大时滞的复杂时序特点,难以建立精 确模型的问题。采用逐层预训练和参数优化相结合的训练算法,构建基于深度学习深 度置信网络的水库健康自动
23、识别模型。41 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望4.6 基于深度学习方法建立水库健康状态的自动识别和预测模型基于深度学习方法建立水库健康状态的自动识别和预测模型采用具有记忆功能的适合处理时间序列数据的深度学习模型长短期记忆网络(LSTM),构建水库健康评价指标体系预测模型。仿真对比结果表明,有效的减小误差,预测时间范围 长,自适应高。42 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研实践研究究 应用展望43 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研究 应用展应用展望望4
24、4 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研究 应用展应用展望望人工智能是人工智能是 发掘大数据金发掘大数据金 矿的钥匙,数矿的钥匙,数 据资源和智慧据资源和智慧 管理任务的不管理任务的不 断快速增长为断快速增长为 人工智能提供人工智能提供 了动力和方向。了动力和方向。45 智慧水利业务 需求 人工智能发展-深度学习 大数据时代的 人工智能 实践研究 应用展应用展望望深度深度 学 习 技 术学 习 技 术 的 不 断 发的 不 断 发 展 为 人 工展 为 人 工 智 能 提 供智 能 提 供 了 引 擎 和了 引 擎 和 动力。动力。46 智慧水利业务 需求
25、 人工智能发展-深度学习 大数据时代的 人工智能 实践研究 应用展应用展望望学 科学 科 交叉与渗交叉与渗 透为人工透为人工 智能在智智能在智 慧水利领慧水利领 域的应用域的应用 提供了无提供了无 限可能限可能。常识性推理常识性推理演演 绎、问题求绎、问题求解解逻逻辑辑心理心理学学知识的模型知识的模型化化 和表和表示示认认识识论论心理心理学学AIAI系系统统 和语和语言言系统程序设系统程序设计计计算机语计算机语言言启发启发式式 搜搜索索现代控制理现代控制理论论图图论论运筹运筹学学基本方法基本方法和和技技术术近期主要应近期主要应用用领领域域近期主要应近期主要应用用领领域域信息处理心理信息处理心理学学逻逻辑辑控控 制制 理理 论论心心理理学学语言语言学学自然自然语语言系言系统统机器视机器视觉觉光光学学模式识模式识别别声声学学语音语音学学心理心理学学 图示图示学学机器机器人人工业自动工业自动化化控制理控制理论论 空间研空间研究究自动程序自动程序设设计计系统程序设系统程序设计计算法分算法分析析计算原计算原理理自自动动定理证定理证明明逻逻辑辑 数数学学逻辑逻辑学学教学、科学教学、科学和和 工程辅工程辅助助博博弈弈有关学有关学科科符号操符号操作作管理科管理科学学47图示图示学学