1、大数据处理与智能挖掘课程的背景1中国大数据发展调查报告（2018年）2017年中国大数据产业总体规模为4700亿元人民币，同比增长30%；预计2018-2020年增速将保持在30%以上。大部分企业均已意识到数据分析对企业发展的重要性。近四成的企业已经应用了大数据。与2016年相比上升4.5%金融等领域大数据应用增加趋势较为明显。企业应用大数据所带来的主要效果包括实现智能决策、提升运营效率和改善风险管理。2我们身边的大数据3百度地图的定位数据对大数据的初步认识(1)5除夕夜 哈尔滨迁徙地图 三十多年来，我国春运大军从1亿多人次到36亿人次。春运的最热现象是逆向过年，即老人们到孩子工作的地方过年。
2、对大数据的初步认识(2)大数据与交通拥堵大数据与交通拥堵6 一卡通大量使用，乘客出行的海量数据；预埋传感器，收集车流量、客流量信息；卫星地图数据对道路交通情况进行分析；出租车提供实时数据,了解主要道路的路况；智能手机使用地图应用,分析出实时的道路交通拥堵状况、出行流动趋势或特定区域的人员聚集程度。对大数据的初步认识(3)大数据分析电信诈骗大数据分析电信诈骗根据2015年的统计数据，我国公民个人信息泄露数量已经达到40亿条左右。u刚取了通知书就有助学金诈骗电话u刚买了房就有无数装修公司的电话7n淘宝网根据网上成交额比国家统计局公布的CPI数据更早的预测到经济状况。n谷歌公司从搜索记录中筛选出50
3、00万条频繁词，比美国疾控中心更早的预测到流感数据。8对大数据的初步认识(4)大数据的基本特征用4个V来总结：Volume、Variety、Value和Velocity数据体量大：从 TB级别，跃升到 PB；数据多样性：多为非结构型数据，如网络日志、视频、图片、地理位置信息；价值密度低：以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒；速度快：产生了大量的高速动态数据流，对数据流的实时分析与处理要求不断增加，数据处理的越及时，产生的价值越大。910大数据基本特征的第五个V：Veracity 数据的不确定性数据挖掘：Data Mining概念从大大量数据量数据中抽取出（隐含的、有潜在
4、用途的、未知未知的、人们可以理解的）有价值的信息和模式的过程。这些新发现的规律、模式、信息和概念具有潜在使用价值。11数据挖掘背后的大数据思维寻找特效药：科学家们通常需要分析疾病产生的原因，寻找能够消除这些原因的物质，然后合成新药。是一个非常漫长的过程，而且费用非常高。有了大数据，寻找特效药的方法就和过去有所不同了。斯坦福大学医学院发现，原来用于治疗心脏病的某种药物对治疗某种胃病特别有效。这种方法，实际上依靠的并非因果关系，而是一种强关联关系，即A药对B病有效。至于为什么有效，接下来3年的研究工作实际上就是在反过来寻找原因。这种先有结果再反推原因的做法，和过去通过因果关系推导出结果的做法截然相
5、反。无疑，这样的做法会比较快，当然，前提是有足够多的数据支持。12 在大数据时代，我们能够得益于一种新的思维方法从大量的数据中直接找到答案，即使不知道原因。数据挖掘背后的 大数据思维n在数据挖掘的思想中，知识的学习是不需要通过具体问题的专业知识在数据挖掘的思想中，知识的学习是不需要通过具体问题的专业知识建模。建模。n这其实是模拟了人的原始学习过程这其实是模拟了人的原始学习过程-比如你要预测一个人跑比如你要预测一个人跑100米要米要多久时间，可以根据之前了解的他这样体型的人跑多久时间，可以根据之前了解的他这样体型的人跑100米用的多少时间米用的多少时间做一个估计，而不会使用牛顿定律来算。做一个估
6、计，而不会使用牛顿定律来算。13数据挖掘：Data Mining 一般流程14数据挖掘：Data Mining分类与预测15数据挖掘分类与预测金融创新产品设计16数据挖掘：Data Mining 时间序列分析17数据挖掘：Data Mining 时间序列分析n时间序列预测即以时间序列所能反映的社会经济现象的发展过程和规律性，进行引伸外推，预测其发展趋势的方法，简单来说就是从已知事件测定未知事件。n时间序列数据的趋势变动可分为以下四点：趋势趋势性、周期性、性、周期性、随机性、随机性、综合性。综合性。n预测时一般设法过滤除去不规则变动，突出反映趋势性和周期性变动。18数据挖掘：Data Minin
7、g聚类分析19数据挖掘：Data Mining社交网络、舆情分析20社交网络的分析n社交网络中社区圈子的识别；n社交网络中人物影响力的计算；n信息在社交网络上的传播模型；n虚假信息和机器人账号的识别；n基于社交网络信息对股市、大选以及传染病的预测；n社交网络的分析和研究是一个交叉领域的学科：u通常会利用社会学、心理学甚至是医学上的基本结论和原理作为指导u通过人工智能领域中使用的机器学习、图论等算法对社交网络中的群体行为和未来的趋势进行模拟和预测。21大数据带给数据挖掘的22神经网络在几十年前就有了；因为他们需要大量的“训练”；对早期研究者来说，想要获得不错效果的最小量训练都远远超过计算能力和能
8、提供的数据的大小；团队通过在网络围棋对战平台上最强人类对手，百万级的对弈落子去训练。数据挖掘：Data Mining大数据管理与挖掘案例 随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活痕迹，大数据不断增长的商业影响也在如下时刻表现出来：n你搜索飞往哈尔滨的航班，然后便看到网站上出现了当地宾馆的打折信息n你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润n用算法预测人们购票需求，航空公司以不可预知的方式调整价格n智能手机的应用识别到你的位置，因此你收到附近餐厅的服务信息n23数据挖掘：Data Mining大数据管理与挖掘案例24 麻省理工学院创建了一个计算机模型来
9、分析心脏病病患丢弃的心电图数据；他们利用数据挖掘在海量的数据中筛选，发现心电图中出现三类异常者一年内死于第二次心脏病发作的机率比未出现者高一至二倍；这种新方法能够识别出更多的，无法通过现有的风险筛查被探查出的高危病人。数据挖掘：Data Mining大数据管理与挖掘案例大约大约2020个个NBANBA球队使用了球队使用了IBMIBM公司开发的数据挖公司开发的数据挖掘应用软件掘应用软件Advanced ScoutAdvanced Scout系统来优化他们的战系统来优化他们的战术组合术组合系统分析显示两个后卫哈德卫和伯兰系统分析显示两个后卫哈德卫和伯兰.绍在前两绍在前两场中被评为场中被评为1717
10、分分但当哈德卫与替补后卫阿姆斯创组合时，魔术但当哈德卫与替补后卫阿姆斯创组合时，魔术队得分为正队得分为正1414分分魔术队增加了阿姆斯创的上场时间，此着果然魔术队增加了阿姆斯创的上场时间，此着果然见效；见效；Advanced ScoutAdvanced Scout是一个数据分析工具，每一场比是一个数据分析工具，每一场比赛的事件都被统计分类，按得分、助攻、失误赛的事件都被统计分类，按得分、助攻、失误等等。等等。时间标记让教练非常容易地通过搜索时间标记让教练非常容易地通过搜索NBANBA比赛比赛的录像来理解统计发现的含义的录像来理解统计发现的含义。25数据挖掘：Data Mining大数据管理与挖
11、掘案例n头脑里的大数据：人类连接组项目是一项雄心头脑里的大数据：人类连接组项目是一项雄心勃勃地试图绘制出不同脑区之间相互作用的计勃勃地试图绘制出不同脑区之间相互作用的计划；划；n项目使用三种磁共振造影观察脑的结构、功能项目使用三种磁共振造影观察脑的结构、功能和连接。数据收集工作完成之时，连接组获得和连接。数据收集工作完成之时，连接组获得大约大约100100万万G G数据；数据；n如果区域如果区域A A和区域和区域B B自发地以每秒自发地以每秒1818个周期的频个周期的频率产生脑波，说明它们处于同一网络中；率产生脑波，说明它们处于同一网络中；n将利用整个大脑中的这些关联数据创建一个表将利用整个大
12、脑中的这些关联数据创建一个表现出脑中的每一个点如何与其他每一个点关联现出脑中的每一个点如何与其他每一个点关联的矩阵。的矩阵。26大数据挖掘风险个人隐私泄露n通过分析大量用户的搜索记录，比如通过分析大量用户的搜索记录，比如“咳咳嗽嗽”“”“发烧发烧”等特定词条，谷歌公司能准等特定词条，谷歌公司能准确预测美国冬季流感传播趋势；确预测美国冬季流感传播趋势；n和官方机构相比，谷歌能提前一两周预测和官方机构相比，谷歌能提前一两周预测流感暴发，预测结果与官方数据的相关性流感暴发，预测结果与官方数据的相关性高达高达97%97%；n20092009年甲型年甲型H1N1H1N1流感暴发时，流感暴发时，“谷歌流感谷歌流感趋势趋势”系统大显身手。这已经成为大数据系统大显身手。这已经成为大数据应用的一个经典案例；应用的一个经典案例；n也招来了隐私保护组织的严厉声讨！也招来了隐私保护组织的严厉声讨！27The end!28
