1、1.5数据与大数据11.5.1大数据的概念21.5.2大数据的特征目录 Contents31.5.3大数据思维41.5.4大数据对社会的影响第 4 页1.5.1大数据的概念第 5 页1.5.1大数据的概念某地交通密集路口发生了一起严重的交通事故，交警调取了这起事故的视频画面，但有效的视频画面仅仅有十几秒钟。第 6 页1.5.1大数据的概念道路监控摄像头24小时不间断地记录着视频数据，根据第3节中图像数据的计算公式，引入帧频参数进行计算，对于1个720p(1280720像素、24位色)的高清摄像头，按25FPS拍摄，可以计算出每秒的数据量，乘以86400秒就是1天的数据量。若按200:1的压缩比
2、进行存储，大致可以估算出1个720p高清摄像头1天产生的数据量。位图图像（BMP）存储空间的计算机公式：存储容量=总像素X颜色位深度（单位：bit）总像素=水平像素X垂直像素存储容量=每张图片的大小X频率X时间（单位：bit）视频存储空间的计算机公式：第 7 页1.5.2大数据的特征继移动互联网、云计算之后，大数据正在引发信息科技产业新的变革，并已经开始对社会的组织结构、国家治理模式、企业决策架构以及个人生活方式产生深刻影响。早在几十年前，在“信息爆炸”“知识爆炸”的表述中，就已经对数据的大规模增长有所认识。20 世纪90年代末，随着数据处理技术的发展，“大数据”的概念首次由美国硅图公司(SG
3、I)的一位科学家正式提出。2016年，数据科学家将大数据正式定义为：大数据代表着信息量大、速度快、种类繁多的信息资产，需要特定的技术和分析方法将其转化为价值。也就是说，大数据之“大”，不仅指规模、速度和种类的特征，还意味着它超出以往常用的数据采集、组织、管理和加工等软件的处理能力，要求新型集成技术从多元、复杂和巨量规模的数据集里洞察规律。第 8 页1.5.2大数据的特征第 9 页1.5.2大数据的特征一个有意思的比喻：大数据海洋A.海洋中水的量非常大；B.海水是多样的，太平洋的海水和大西洋的海水是有区别的，不同地方海水里面蕴含的物质、生活的物种都有不同；C.海洋为全人类带来的好处太多了，人们利
4、用海洋，开发海洋中无穷的价值；D.速度快，有两个层面的意思，一是海水流动快，二是随着技术的提升，我们对海水的利用也加快了速度（看看快艇、游轮的发展）。PS：第4个V的比喻有点牵强，但不影响发挥哈，他们说脸皮要厚第 10 页1.5.2大数据的特征大数据通常指100 TB（1TB=1024 GB）规模以上的数据量，数据量大是大数据的基本属性。根据国际数据资讯（IDC）公司监测，全球数据量大约每两年就翻一番，预计到2020年，全球将拥有35 ZB 的数据，并且85%以上的数据以非结构化或半结构化的形式存在。一、数据体量大（Volume）K K 1KB=1024 Byte1KB=1024 ByteM
5、M（兆）字节（兆）字节1MB=1024 KB1MB=1024 KBG G（吉）字节（吉）字节1GB=1024 MB 1GB=1024 MB T T（太）字节（太）字节1TB=1024 GB1TB=1024 GBP P（拍）字节（拍）字节1PB=1024 TB1PB=1024 TBE E（艾）字节（艾）字节1EB=1024 PB1EB=1024 PBZ Z（泽）字节（泽）字节1ZB=1024 EB1ZB=1024 EBY Y（尧）字节（尧）字节1YB=1024 ZB1YB=1024 ZB第 11 页1.5.2大数据的特征一、数据体量大（Volume）IDC全球数据使用情况及预测之所以产生如巨大的
6、数据原因有三点：1.由于互联网络的广泛应用，使用网络的用户、企业、机构增多，数据获取、分享变得相对容易。用户可通过网络非常方便的获取数据，通过有意的分享和无意的点击、浏览可快速的提供大量的数据；2.随着各种传感器数据获取能力的大幅度提高，使得人们获取的数据越来越接近原始事物本身，描述同一事物的数据激增；3.由于集成电路的价格降低，使得很多东西都保存了下来。第 12 页1.5.2大数据的特征二、速度快(Velocity)1.数据产生的速度快。新时代人们从信息的被动接受者变成了主动创造者。数据从生成到消耗，时间窗口非常小，可用于生成决策的时间非常短。第 13 页1.5.2大数据的特征二、速度快(V
7、elocity)2.数据处理的速度快。大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的数据处理速度更快，谁就有优势。第 14 页1.5.2大数据的特征三、数据类型多（Variety)数据种类繁多、复杂多变是大数据的重要特性。随着传感器种类的增多及智能设备、社交网络等的流行，数据种类也变得更加复杂，其包括结构化数据、半结构化数据和非结构化数据。其中，10%是结构化数据，存储在数据库中；90%是非结构化数据，与人类信息密切相关。第 15 页1.5.2大数据的特征四、价值密度低(Value)大数据蕴含着巨大的价值，但因其
8、数据量庞大，可能发挥价值的仅是其中非常小的部分，价值密度相对较低。以当前广泛应用的监控视频为例，在连续不，间断的监控过程中，大量的视频数据被存储下来，其中有许多冗余数据。比如某起交通事故的视频画面，有效的部分可能仅仅只需要几秒钟，大量不相关的视频信息会增加获取有效数据的难度。价值密度的高低与数据总量的大小成反比，“提纯”大数据，让其发挥更大的价值，是人们一直在努力的目标。第 16 页1.5.3大数据思维首先，大数据要分析的是全体数据，而不是抽样数据。以往对于某项研究中的数据，限于技术等因素，人们无法进行全样本分析，往往会随机抽取部分样本进行研究，以此推论全体情况。抽样数据分析的方式效率较高，经
9、常被人们采用，但这种方式取决于抽取样本的随机性，在某些情况下，不同的样本可能会得出截然不同的结论。在大数据时代，人们不仅可以获得研究所需的直接数据，而且还能对与之有关联的所有数据进行分析。分析数据已经不再依赖于采样，从而带来更全面的认识，也能更清楚地发现抽样数据无法揭示的详尽信息。第 17 页1.5.3大数据思维其次，对于数据不再追求精确性，而是能够接受数据的混杂性。对于传统的数据库，数据有严谨的结构，人们追求数据的准确性，通过各种技术或人工手段，来保证每个数据准确无误。而在大数据处理过程中，数据的来源多种多样，这些数据可以是结构化的、半结构化的，也可以是非结构化的。当数据量大到一定程度时，个
10、别数据的不准确就显得不那么重要。第 18 页1.5.3大数据思维再次，不一定强调对事物因果关系的探求，而是更加注重它们的相关性。在传统的思维方式中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。这种思维方式有一定的局限性，此外，有限的样本数据也无法反映出事物之间的相关关系。在大数据时代，比如电商的个性化推荐，不必知道人们购买某些商品的原因，只要找到商品之间的关联性，就能为客户提供精确的推荐。第 19 页1.5.4大数据对社会的影响大数据已渗透到各行各业，成为重要的生产因素。作为全球网民数量最多的国家、重要的电子信息产品生产基地和最具成长性的信息消费市场，中国已经成
11、为重要的大数据资源集聚地和大数据应用市场，大数据产业快速发展，产业链加速形成，大数据正在对经济社会发展发挥着越来越重要的作用。第 20 页1.5.4大数据对社会的影响（1）大数据已经渗入到社会的各个层面，不断提高工作效率与生活便利性。第 21 页1.5.4大数据对社会的影响（1）大数据已经渗入到社会的各个层面，不断提高工作效率与生活便利性。第 22 页1.5.4大数据对社会的影响（2）大数据让决策更加精准抗疫期间每日更新的疫情地图第 23 页1.5.4大数据对社会的影响（3）大数据带来新的就业机会互联网的快速发展和大数据的广泛应用，不仅催生各种新型产业形态，也使就业渠道变得更加多元化。2020
12、年10月19日，智联招聘发布的2020雇佣关系趋势报告新格局下的新就业形态显示，雇佣行为正趋向短期、项目制，企业采用“共享员工”“直播平台”等新型方式推动灵活就业，灵活化办公吸引力大，智能化渗入考核机制。第 24 页1.5.4大数据对社会的影响（4）大数据带来新的社会问题第 25 页1.5.4大数据对社会的影响（4）大数据带来新的社会问题大数据“杀熟”近日，文化和旅游部公布在线旅游经营服务管理暂行规定，规定在线旅游经营者不得滥用大数据分析等技术手段，侵犯旅游者合法权益。也就是，明令禁止大数据“杀熟”。同一个酒店房型，新客和老客看到的价格不一；同一张飞机票，浏览几分钟后涨价这些童叟有别、瞬间跳价的案例，公众早就受够了，也迫切希望能够引起重视，进行规范治理。第 26 页1.5.4大数据对社会的影响（4）大数据带来新的社会问题用户画像与应用大数据技术对客户分类密切相关，是单个客户的众多属性标签的累积；另一方面，在运营商涉足的消费金融领域，对手机用户所进行的个人信用评价，是对手机用户画像中的诸多特征实施再组合与分类的应用过程。
