1、农业大数据技术前沿与应用农业大数据技术前沿与应用许世卫许世卫 研究员研究员农 业 部 农 业 信 息 服 务 技 术 重 点 实 验 室 主 任 2014 年 10 月 南京内内 容容一、农业进入大数据时代二、前沿技术三、主要应用四、未来展望一、农业进入大数据时代 “大数据”,主要是来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。互联网行业是大数据应用的领跑者，目前，大数据正在加速向农业领域拓展。基础架构基础架构关键分析关键分析主要应用主要应用开源的项目开源的项目 随着传感器、智能移动设备、互联网等的发展，数据呈现爆炸式增长。农业的新变化数据无处不在数据无处不在数据无时
2、不有数据无时不有数据无物不生数据无物不生数据无人不感数据无人不感地域性地域性季节性季节性多样性多样性周期性周期性农农 业业u农业大数据（农业大数据（Big data）是）是指指在在现代农业生产、经营、管理现代农业生产、经营、管理等各种活动等各种活动中中形成的形成的，具有潜在价值的具有潜在价值的、海量海量的、活的的、活的数据数据。u是现代农业建设、发展、管理的是现代农业建设、发展、管理的“基准线基准线”。u目前，中国每年产生并被存储的数据总量超过800EB（1018字节），相当于全人类讲过的话160倍。KB KB （10103 3字节）字节） MB (MB (兆，兆，10106 6字节字节) )
3、 GB GB ( (吉，吉，10109 9KBKB ） TB TB ( (太，太，10101212字节字节) ) PB PB ( (拍，拍，10101515字节字节) ) EB EB ( (艾，艾，10101818字节字节) ) ZB ZB ( (泽，泽，10102121字节字节) ) u农业每年产生的数据量约为8000PB （1015字节）u农业数据每年将以50%-80%的速度增长p农业生产数据2500PBp农业管理数据1200PBp农业自然资源数据3500PBp农业市场数据800PB（数据来源：ZDNET数据中心2013：硬件重构与软件定义年度技术报告）农业进入大数据时代气象数据气象数据生
4、物信息数据生物信息数据资源环境数据资源环境数据 生长监测数据生长监测数据农业统计数据农业统计数据全球气候观测系统（Global Climate Observing System）2012年每天新增年每天新增超过超过250GB，政府间，政府间气候变化专门委员会气候变化专门委员会（IPCC）第四次评估）第四次评估报告中采用了超过了报告中采用了超过了29,000个观测资料序个观测资料序列，第五次报告中使列，第五次报告中使用 的 数 据 量 达 到 了用 的 数 据 量 达 到 了2.3PB。（1）气象数据）气象数据1.农业大数据的类型1984年，由NIH创办的基因数据库（GenBank）；截止201
5、1年4月，在传统数据存储区，共有1.35亿条序列记录，包含1265亿个碱基对；在WGS（Whole Genome Shotgun）分区内包含1914亿个碱基对，6272万个基因组序列。全部数据若是装订成册，将载满700多辆卡车。（2）生物信息数据）生物信息数据对地观测（遥感）技术农业资源研究提供空间数据，而且，遥感监测一直向高时空分辨率、高光谱、多频段方向发展，数据生产能力越来越强；美国NASA和USGS研究生产的包括GLS1975、1990、2000、2005和2005（EO-1）五个子集的一套Landsat卫星影像，总数据量超过5TB；（3）资源环境数据）资源环境数据视频监测气象监测-24
6、个指标土壤养分监测-15个指标土壤水分监测-5个指标生长监测-16个指标实时监测仪器、设备全天候监测，随着设备种类的增长、价格的降低，监测点将成指数级增长，所产生的数据，将快速增长。仪器监测每10分钟采集1次数据（60多个指标*5万次/年）+市场监测数据+统计监测数据+视频监测数据 15G/年(, .)nww ijjjjiyyTRLS（4 4）作物生长监测数据）作物生长监测数据（5 5）农业统计数据）农业统计数据农业部农业部统计报表统计报表 农业综合调查制度农村经营管理情况统计报表制度全国乡镇企业统计报表制度 农业资源环境信息统计报表制度全国土壤肥料专业统计报表全国植保专业统计报表农业机械化管
7、理统计报表制度种子管理机构报表种子企业报表953个品种，全国1000家市场，每日价格等11个指标的信息，每天超过1000万个数据大数据最大的作用在于给人们带来了思维上的转变大数据最大的作用在于给人们带来了思维上的转变农业大数据思维u 数据文化：尊重事实、强调精准推崇理性 u 万物皆比特，一切皆数据! u 数据制度：数据立法、用数机制尚数环境 u 数据治理：事前管理、科学决策数据创新 u 资源配置：精准化、智能化、高效化二、前沿技术 农业大数据的发展对传统的数据处理技术体系提出了巨大的挑战，需要我们在数据采集、数据标准、数据处理、数据分析、数据展现等方面做全新的技术升级。1.数据精准获取技术数据
8、精准获取技术u可穿戴式的信息获取技术u可植入、可嵌入式数据获取技术u微型移动信息获取技术u生物传感、微纳米传感器、便携式传感器等新型设备。2.数据标准化技术数据标准化技术 农业领域数据标准化变得极为迫切，信息采集、传输、存储、汇交的标准规范亟需大量出台。农业基准数据库亟需建立。大数据数据标准化标准体系框架大数据数据标准化标准体系框架传输速率编码标准传输方式传输冗余汇交方法汇交内容汇交分类汇交范围采集规范采集规范传输标准传输标准存储标准存储标准汇交标准汇交标准采集内容采集方式采集时间采集地点存储格式存储方式存储安全数据结构农 业 基 准 数 据 库 数据增值的关键在于整合，但整合的前提是数据标准
9、的统一。建模技术：建模技术：n农作物生长与产量形成机理建模；n农产品消费行为与消费量变化动态建模；n基于多代理系统进行农业智能仿真模拟；关联分析：关联分析：n专家会商系统结合；n专家智慧动态引入；n仿真模拟智能化和自适应；3.农业大数据分析处理技术农业大数据分析处理技术nnXaXaXaaY22110n仿真过程介入；n仿真结果反馈；n生产与市场决策流程优化。4.4.数据分析模拟技术数据分析模拟技术模拟育种模拟育种 = = 大数据大数据+ +超级计算超级计算u种子基因数据+环境因子数据+遗传模型+超级计算u通过计算机动态模拟种子的生产过程、产量形成过程5.5.农业大数据交互式可视化技术农业大数据交
10、互式可视化技术农信采监测数据可视化 大数据背景下，在交互式数据可视化技术的支撑下，通过对高频变农产品市场数据的处理，实现多品种、多地域、多类型农产品市场变动的内在机理、波动周期、市场走势的可视化呈现。农信采监测数据可视化 大数据应用在于从流程优化、知识发现、辅助决策的过程中发现大价值。 大数据技术与农业领域的深入耦合，将对我国的农业市场监测预警、智慧农业生产管理、和农业国家宏观管理决策带来前所未有的变化！农业监测预警是现代农业稳定发展的最重要基础之一农业监测预警是现代农业稳定发展的最重要基础之一信息流揭示过 程 模 拟预警与调控物物联联网网现代现代农业农业大大数数据据1.1.农产品市场监测预警
11、农产品市场监测预警-发现市场风险发现市场风险u 移动采集技术移动采集技术 “农信采”（便携式农产品全息市场信息采集器），是一款新型的农产品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、零售市场的农产品全息信息采集。Windows mobile版本安卓版本农信采在全国广泛应用农信采在全国广泛应用在北京、天津、河北、福建、湖南、广东、海南等省市几百个田头、批发、零售市场进行推广应用，共采集数据59万余条。从2014年9月1日将由发改委、农业部在新疆、黑龙江、吉林、内蒙古4省区用于大豆和棉花的目标价格采集。该设备的定
12、位功能、数据纠错、信息分析功能，可用于审定品种、种业专利数、种子企业、种子价格、种植面积、供需状况等种业信息的采集。u数据标准化技术数据标准化技术制定了农业部行业标准制定了农业部行业标准2项项l积极推进农业信息标准化科研工作，在建立农产品全息市场信息框架体系l起草、制定了农产品全息市场信息采集规范（NY/T 2138-2012）与农产品市场信息分类和计算机编码（NY/T 2137-2012）2项行业标准l农业部于2012年2月21日颁布，并于2012年5月1日起正式实施。u模型分析处理技术模型分析处理技术n 美国农业部：u 多国商品联接模型（Baseline模型)u 食物与农业政策模拟模型（F
13、apsim模型）n FAO-OECD：u Aglink-Cosim模型u FAO全球粮食信息预警系统n 平衡表技术：u 美农部平衡表u FAO-OECD平衡表类别2014201520162017201820192020202120222023生产量14214 14113 14016 13988 13955 14050 14146 14193 14240 14290 进口量223 225 226 227 228 229 230 231 233 234 期初库存6236 7112 7777 8273 8660 8926 9193 9461 9730 9999 总供给2067321450220192
14、2488228432320523569238852420324523总需求20673214502201922488228432320523569238852420324523消费量13523 13633 13706 13787 13874 13969 14064 14111 14158 14208 口粮消费10886 10966 11011 11060 11116 11173 11235 11254 11277 11303 饲料消费1658 1697 1733 1768 1803 1837 1866 1891 1913 1933 工业消费194 203 211 220 228 237 245
15、253 260 267 其他消费785 767 751 739 727 722 718 713 709 705 出口量39 39 40 41 42 43 44 44 45 46 期末库存7112 7777 8273 8660 8926 9193 9461 9730 9999 10268 库存变化876665496387266267268269269269平衡表 中国农产品监测预警模型（CAMES）整体模型框架已经形成。总体上来讲，CAMES要等同于甚至优于ERS/USDA的大型系统。其特点是，监测预警的农产品种类多、品种全，涵盖11大类953个农产品品种；监测预警的空间分布广、区域性强；监测预
16、警时期包含短期、中期和长期；监测预警模型涵盖气象、投入和管理等影响因子。u中国农产品监测预警模型中国农产品监测预警模型u搭建农业监测预警研究空间搭建农业监测预警研究空间 是中国农科院信息所农业信息学科建设和发展的集中体现。是在线协商的良好平台，也是农业信息分析等学科研究的重要载体。农业监测预警空间建有中国农产品监测预警系统、中国农业监测预警数据库系统、在线会商系统等多套应用系统及先进硬件支撑环境。具有具有4 4大功能大功能：实时监测大数据处理智能仿真模拟信息发布u农业展望会议农业展望会议-现代农业的高端管理工具现代农业的高端管理工具u美国的农业展望大会 第 90 届u澳大利亚的农业展望大会 第
17、 44 届u墨西哥的农业展望大会 第 1 届uFAO-OECD的农业展望大会 第 8 届至至2014年：年：NASS发布了461篇报告FAS发布了119篇报告。ERS发布了229篇报告美国靠什么引领世界农业？美国靠什么引领世界农业？-数数据支撑据支撑释放市场信号释放市场信号发布产品报告发布产品报告显示权威预期显示权威预期实时、全面、准确的数据u首届中国农业展望大会首届中国农业展望大会 2014年4月20-21日，首届中国农业展望大会在京召开。标志着中国特色农业信息监测预警体系建设取得成效，开启了提前发布市场信号、有效引导市场、主动应对国际变化的新篇章。u会议发布了中国农业展望报告（2014-2
18、023）u分品种展望报告（粮食、棉花、油料、糖料、肉类、禽蛋、奶类、蔬菜、水果等）u农产品围绕农业资源环境、农业支持政策、农业科技创新等热点专题进行了研讨。发布了中国农业展望报告（2014-2023）首届中国农业展望大会受到了国内外社会各界的广泛关注！据不完全统计，截至2014年4月22日会议结束后第二天，1300多家国内外网站对2014中国农业展望大会进行了报道。2.2.智慧农业智慧农业精准生产、智慧管理精准生产、智慧管理u对大田生产的农作物长势长相监测对大田生产的农作物长势长相监测 农情监测系统：农作物苗情、墒情、病虫情、灾情 实现信息采集、监测、预警、决策、调度的闭环应用 对农作物生产、
19、管理和抗灾救灾进行快捷高效的调度指挥，实现精细化农业生产与宏观监管u对畜牧养殖的智能应用对畜牧养殖的智能应用n合理优化养殖环境：实时监测空气温湿度以及二氧化碳、氨气等数据，智能分析、判断、调控养殖环境。O2CO2O2 CO2 NH3 CO2n精确确定猪的日粮比：通过大数据技术获取符合营养目标的日粮搭配比例。就是以果园系统为研究对象，以现代信息技术和通讯技术为工具，优化果园系统中的信息流程，实现果园优质、高产、高效、安全的生产和管理。主要用途：l果树长势监测。l果园病虫害的监测和实时识别。l实时提供病虫害防治方案。l实现果树生产的专业化指导。l实现果品溯源 。为果农管理田园提供了新的方式3.3.
20、国家农业宏观管理国家农业宏观管理科学决策科学决策n优化统计数据、实现产销精准匹配。针对农产品时常出现的区域性、季节性、结构性“卖难”和“买贵”问题，加强农产品产销信息平台建设，通过农产品产销数据的收集、分析实现产销的精准匹配，促进了农产品供需平衡。n利用互联网大数据，辅助决策。国家统计局与BAT(百度、阿里巴巴和腾讯)签署了大数据战略合作框架协议。进一步发挥大数据对于常规渠道统计决策的参考、补充作用。对内部优化决策对外跟踪国际贸易，合理引导国际市场预期n当前，国际农产品价格联动性增强，为了适应世界农业格局的变化，利用大数据技术，跟踪、监测、分析、应对国际市场变化已成为现代农业发展迫切要求。数据
21、开发已经成为全球发展的重要趋势n加快农业信息开放步伐，改善中国数据质量，提升数据国际公信力，正确引导国际市场对中国农产品市场变化的预期，增加我国在国际市场上的影响力和话语权。四、未来展望一切围绕一切围绕“数据数据”这一核心运行这一核心运行 未来农业监测预警将围绕“数据”核心，开展采集、标准化、存储、分析处理、公开发布、展望预测，影响预期，管理未来。使用、利用开发才会产生大价值数据能力将成为现代农业发展的新型力量！数据能力将成为现代农业发展的新型力量！数据资源将成为国家新型战略资源！数据资源将成为国家新型战略资源！数据能力将成为推动国家进步的新型竞争力！数据能力将成为推动国家进步的新型竞争力！u
22、 农产品市场信息流监测技术市场信息获取、传输、处理的标准化技术市场信息移动监测设备市场交易混沌场景下的信息识别技术市场信息流的定量测度技术“信息流信息流”监测、分析、模拟技术将成为重点监测、分析、模拟技术将成为重点u 多品种市场关联预测技术高频变农产品市场数据处理关键技术多品种、多地域、多类型农产品市场预测模型系统u 智能预警基础算法预警算法的可计算建模技术农产品市场预警与市场反馈机理模型大数据密集与大数据驱动条件下的预警基础算法预警算法参数自调整技术预警发布流程调度技术u 农产品市场预警多维模拟技术p 基于大数据的农业行业分析预警将成为热点将领域数据（如农业部、发改委、商务部、海关等政府部门
23、）链接起来，形成关联数据集，用大数据的方法把这些数据作为整体进行研究和分析，发现或预测其中蕴藏的规律。p 基于智能数据处理的农业生产管理系统将会大量出现多学科综合应用，通过计算机建模与实现，用于农业生产管理过程控制，实现农业资源的按需分配与自动调度，最大限度地降低农业生产资料损失，提高农业投入效率。大数据与农业的融合将进一步加深大数据与农业的融合将进一步加深数据开放力度将进一步增强数据开放力度将进一步增强内开放外开放u摸清家底，建立共享目录u整合资源、建立共享平台u部门协作、建立数据会商制度u加强合作，参与国际数据交流u形成对外农业展望制度u明分类、确顺序，制定数据公开路线图p中国农科院农业信
24、息研究所将致力于建成全国农业信息技术创新中心、农业科学数据中心、全国农产品信息分析预警中心。p作为农业信息化工作的主要技术团队之一，信息所将时刻以国家需求为第一要务，在技术支撑和决策咨询方面做好全方位服务，共同为我国现代农业发展做出更大贡献。 在全球大数据蓬勃发展的大背景下，如何抓住农业大数据时代发展的机遇，实现传统农业向现代农业的快速转型，是摆在政府、学术界和产业界面前的紧迫性课题！ 倡议：组建农业监测预警大联盟，共谋发展，创造未来！p 经常不断地学习,你就什么都知道。你知道得越多,你就越有力量p Study Constantly, And You Will Know Everything. The More You Know, The More Powerful You Will Be学习总结结束语当你尽了自己的最大努力时，失败也是伟大的，所以不要放弃，坚持就是正确的。When You Do Your Best, Failure Is Great, So DonT Give Up, Stick To The End演讲人：XXXXXX 时 间：XX年XX月XX日
