2024新粤教版《高中信息技术》必修第一册+单元PPT课件（全册打包）.rar

信息技术1：数据、信息与知识DATADATA数据的概念0 1 问问题题解解决决：This PPT template for the rice husk designer pencil demo works,focusing on the production广 州顺德交通方式交通方式所需所需时间所需所需费用用动车约15min约10元公交约2h30min约15元打车约1h约100元家人送约50min约0元通过网上查阅相关资料，可以得到如下数据：交通方式交通方式所需所需时间所需所需费用用动车约15min约10元公交约2h30min约15元打车约1h约100元家人送约50min约0元 数数据据的的概概念念：This PPT template for the rice husk designer pencil demo works,focusing on the production生活中，我们每天都在和数据打交道，如：小明同学的身高是1米73。这杯奶茶的价格是17元。今天的气温是25。数据的概念：数据的概念：数据是现实世界客观事物的数据是现实世界客观事物的符号记录，是信息的载体。符号记录，是信息的载体。生活中，我们每天都在和数据打交道，如：小明同学的身高是1米73。这杯奶茶的价格是17元。今天的气温是25。数据只能用数数据只能用数值表示么表示么 数数据据的的概概念念：数据可以表现为数值无法用数值直接表示还可以用图标进行描述如何描述一个地方的景色？声音也可以用来描述事物的属性请思考：数据只能用数值进行表示么？数数据据 数据是现实世界客观事物的符号记录，是信息的载体。在计算机科学中，数据是计算机识别、存储和加工的对象。概 念数数据据特 征数据的基本特征(计算机科学中)二二进制制语义性分散性分散性多多样性与感知性性与感知性This PPT template for the rice husk designer pencil demo works,focusing on the production2205301422053014交通方式交通方式所需时间所需时间飞机飞机约约2h20m2h20m高铁高铁约约5h30m5h30m自驾车自驾车约约14h14h能处理的对象能处理的对象文字文字声音声音图像图像视频视频数值数值 数数据据的的概概念念：在计算机科学中，数据在计算机科学中，数据是对所有输入计算机并是对所有输入计算机并被计算机识别、存储和被计算机识别、存储和处理的符号的总称处理的符号的总称数据的数据的应用：用：记录事物和行事物和行为帮助人帮助人们判断、制定决策判断、制定决策风风 力力查询天气情况查询天气情况决定所穿衣服决定所穿衣服空气质量空气质量温温 度度日日 期期上车时间上车时间上车站点上车站点下车时间下车时间刷卡乘坐公交车刷卡乘坐公交车下车站点下车站点乘车金额乘车金额卡内余额卡内余额个人：判断是否需要充值个人：判断是否需要充值公交公司：合理调度车辆公交公司：合理调度车辆大数据的概念特征0 2 大大数数据据的的概概念念：This PPT template for the rice husk designer pencil demo works,focusing on the production数据的概念：数据的概念：数据是现实世界客观事数据是现实世界客观事物的符号记录，是信息物的符号记录，是信息的载体，是计算机加工的载体，是计算机加工的对象。的对象。在计算机科学中，数据在计算机科学中，数据是对所有输入计算机并是对所有输入计算机并被计算机识别、存储和被计算机识别、存储和处理的符号的总称处理的符号的总称数据还可以让机器帮我们“预测”未来：大大数数据据的的概概念念：This PPT template for the rice husk designer pencil demo works,focusing on the production数据的概念：数据的概念：数据是现实世界客观事数据是现实世界客观事物的符号记录，是信息物的符号记录，是信息的载体，是计算机加工的载体，是计算机加工的对象。的对象。在计算机科学中，数据在计算机科学中，数据是对所有输入计算机并是对所有输入计算机并被计算机识别、存储和被计算机识别、存储和处理的符号的总称处理的符号的总称大数据的概念：大数据是指无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合。（信息技术必修一5.1认识大数据）大数据是具有数量巨大数量巨大、类型多型多样、处理效率高理效率高、数据源可靠性保数据源可靠性保证度低度低等综合属性的海量数据集合。回回顾顾数数据据大数据巨量性巨量性VolumeVolume多样性多样性VarietyVariety迅变性迅变性VelocityVelocity价值性价值性ValueValue 大大数数据据的的特特征征：This PPT template for the rice husk designer pencil demo works,focusing on the production在计算机科学中，数据在计算机科学中，数据是对所有输入计算机并是对所有输入计算机并被计算机识别、存储和被计算机识别、存储和处理的符号的总称处理的符号的总称迅变性、高速、迅变性、高速、VelocityVelocity 数据生成速度快，要求对数据进行快数据生成速度快，要求对数据进行快速处理。速处理。逐小时预报天气 大大数数据据的的特特征征：This PPT template for the rice husk designer pencil demo works,focusing on the production在计算机科学中，数据在计算机科学中，数据是对所有输入计算机并是对所有输入计算机并被计算机识别、存储和被计算机识别、存储和处理的符号的总称处理的符号的总称价值性、低价值密度、价值性、低价值密度、ValueValue 大数据具有价值，大数据具有价值，但价值密度低。但价值密度低。交通视频监控交通视频监控 大大数数据据的的应应用用：This PPT template for the rice husk designer pencil demo works,focusing on the production为人工智能技术发展提供数据支持为人工智能技术发展提供数据支持 人工智能围棋人工智能围棋Alpha Zero能力超群，是因为它背后能力超群，是因为它背后有上百万甚至上千万盘对弈数据作为判断支撑。有上百万甚至上千万盘对弈数据作为判断支撑。图像识别领域，图像识别领域，ImageNet项目中包含有项目中包含有14001400多万张标注图片。多万张标注图片。信息的概念0 3从从数数据据到到信信息息This PPT template for the rice husk designer pencil demo works,focusing on the production文字文字声音声音图像图像视频视频数值数值数数 据据从从数数据据到到信信息息2020082131245125020200821312451250加工、处理加工、处理从从数数据据到到信信息息数数 据据信信 息息加工、处理、赋予含义加工、处理、赋予含义数据是信息的载体。数据是信息的载体。信息是数据的内涵，是数据所表示的意义，是对数据语义的解释。信息是数据的内涵，是数据所表示的意义，是对数据语义的解释。信信息息的的概概念念信息是人们通过感知，对事物状态的描述。信息是人们通过感知，对事物状态的描述。信信息息的的概概念念1.1.信息是用来消除随机不确定性的东西。信息是用来消除随机不确定性的东西。克劳德克劳德艾尔伍德艾尔伍德香农香农 （Claude Elwood Shannon）信信息息的的特特征征信息的特征普遍性依附性和可依附性和可处理性理性传递性共享性共享性时效性真伪性价值相对性知 识 的 概 念 特 征0 4从从信信息息到到知知识识从从信信息息到到知知识识 知识是人们在社会实践中所知识是人们在社会实践中所获得的认识和经验的总和，是获得的认识和经验的总和，是人类在实践中认识世界的成果。人类在实践中认识世界的成果。知识是人们对信息进行系统的知识是人们对信息进行系统的提炼、研究和分析的结果。提炼、研究和分析的结果。数数 据据、信信 息息、知知 识识直角边1长度直角边2长度斜边长度3cm4cm5cm勾股定理：勾股定理：直角三角形的两条直直角三角形的两条直角边的平方和等于斜边的角边的平方和等于斜边的平方。平方。3cm3cm4cm4cm5cm5cm数数 据据、信信 息息、知知 识识智智 慧慧知知 识识信信 息息数数 据据客观事物的符号记录、独立客观事物的符号记录、独立时无含义时无含义经过加工和处理的数据、具经过加工和处理的数据、具有意义的数据有意义的数据对信息提炼、研究、分析的结果对信息提炼、研究、分析的结果运用知识解决问题的能力运用知识解决问题的能力处理处理内化内化转化转化 小小结结：数据、信息与知识数据、信息与知识数数 据据信信 息息知知 识识数据、信息与数据、信息与知知 识的关系识的关系描述事物的符号记录。描述事物的符号记录。经过加工、处理的数据。经过加工、处理的数据。经过提炼、归纳、转化后的信息。经过提炼、归纳、转化后的信息。数据处理为信息，信息转化为知识。数据处理为信息，信息转化为知识。信息技术必修一数据与计算第三章 算法基础人工解决问题的过程算法基础体验计算机解决问题的过程计算机解决问题的过程算法算法的描述数据的输入与输出顺序结构的应用计算机程序与程序设计语言算法及其描述体验计算机解决问题的过程01探究Q:学期结束时，老师打算花50块钱购买一些笔记本奖励表现优秀的同学，请班长小明帮忙，小明决定同时买三种单价分别为6元、5元、4元的笔记本，钱刚好花完，请问可以有多少种方案？人工解决问题1.提取题干信息：总金额：50元笔记本单价：6元、5元、4元要求：钱刚好花完、同时买三种笔记本明确问题给出的条件2.转换为数学方程，并列出可能的解：方程：6x+5y+4z=50方案xyz6x+5y+4z一14650二18150三22750四26250五34350六42450七62150可能的解：根据经验和知识确定解决问题的方法解决问题人工解决问题人工解决问题的过程：明确问题给出的条件-根据经验和知识确定解决问题的方法-解决问题但当花费的钱数需刚好为n时，数据量很大，人工处理效率很低。因此我们需借助计算机工具，通过编制计算机程序来解决问题。计算机解决问题1.提取问题需求情况和已知条件：需求情况：同时购买三种类型且总价为50元的笔记本已知条件：笔记本价格分别为6元、5元、4元分析问题2.给出解决问题的详细方法和步骤：6元的笔记本数量x最少为1，最多为8；5元的笔记本数量y最少为1，最多为10；3元的笔记本数量z最少为1，最多为12。让三类笔记本的数量x,y,z作为变量，在各自值域内变化、组合。笔记本总价每刚好为50，则让方案数t自加1。设计算法计算机解决问题3.选择一种计算机语言工具来编写程序：t=0 for x in range(1,9):for y in range(1.11):for z in range(1,13):if x*6+y*5+z*4=50:t=t+1 print(“方案数为”,t,“个”)编写程序4.运行程序，检验程序执行效果：如果程序出错，可根据计算机提示的出错信息修改程序，重新调试运行调试运行程序练一练1.P27第2题：用计算机编程来求某一方程的解，通常的步骤是（）调试运行程序 分析问题 设计算法 编写程序A.B.C.D.A解析：计算机解决问题的过程：分析问题-设计算法-编写程序-调试运行程序练一练2.P28第7题：一位爱好程序设计的同学想通过程序设计解决“韩信点兵”的问题，他制定的如下工作步骤，更为恰当的是（）调试运行程序 分析问题 设计算法 问题解决 编写程序A.B.C.D.D解析：计算机解决问题的过程：分析问题-设计算法-编写程序-调试运行程序练一练3.P28第8题：交通警察到达交通事故现场，开展工作的一般思路是（）观察分析现场 收集必要的信息 进行判断和推理 给出处理方案A.B.C.D.A算法及其描述02算法特征有穷性：一个算法在执行有穷步之后必须结束，即一个算法所包含的计算步骤是有限的。确定性：算法执行的每一个步骤必须有确切的定义。数据输入：一个算法必须有零个或多个数据输入。数据输出：一个算法必须有一个或多个数据输出。可行性：每个计算步骤都可以在有限时间内完成。指在有限步骤内求解某一问题所使用的一组定义明确的规则。是用计算机求解某一问题的方法，是能被机械执行的动作或指令的有穷集合。练一练4.P27第3题：下面关于算法的特征，描述不正确的是（）A.有穷性：算法必须在有穷步之内结束B.确定性：算法的每一步必须确切地定义C.输入：算法必须至少有一个输入D.输出：算法必须至少有一个输出C解析：一个算法应是必须有0个或多个数据输入算法的描述算法是对解题过程的精确描述，需要使用某种方法将其表示出来l自然语言l流程图l伪代码用自然语言描述算法例：若求方程6x+5y+4z=50的正整数解的个数t，则解决问题的算法步骤用自然语言描述算法，就是用人们日常所用的语言，如汉语、英语等来描述算法。特点：通俗易懂，易于理解，但文字冗长，容易产生歧义性t=0;x=1;y=1;z=1;如果满足式子6x+5y+4z=50，则解的个数加1(t=t+1)，并输出一个解(输出t,x,y,z的值);z=z+1;如果z=12，则转步骤，否则继续；y=y+1;如果y=10，则转步骤，否则继续;x=x+1;k如果x25?输出：体重正常输出：已超重循环结构循环结构表示程序反复执行某个或某些操作，直到判断条件为假（或真）时才可终止循环。循环结构可以减少程序重复书写的工作量，用来描述重复执行某段算法的问题，这是程序设计中最能发挥计算机特长的程序结构。k=50?z=z+1k=6x+5y+4zz=12?YYNN练一练9.以下不是程序的基本控制结构的是（）A.顺序结构 B.选择结构C.循环结构 D.组合结构D10.判断：在选秀活动中，三个评委为每一位选手亮灯打分。如果三个评委都亮绿灯，则选手可进入下一轮比赛；如果两个评委亮绿灯，则选手进入待定席；如果红灯数超过两盏，则选手被淘汰。这种情形最适合用循环结构来描述算法（）B选择结构练一练11.下列对算法描述中的三种基本控制结构的叙述，不正确的是（）A.顺序结构表示程序按语句出现的先后顺序从上到下顺序执行，每条语句可能执行多次 B.选择结构表示程序根据判断条件选择其中的一条分支执行，程序执行过程中有可能有的语句一次都不会被执行C.循环结构 表示程序反复执行某个或某些操作，循环结构一定要终止循环的条件 D.在一个算法描述中，三种基本控制结构可以混合使用A执行一次计算机程序与程序设计语言031.计算机程序的定义 计算机程序是指为了得到某种结果而可以由计算机等具有信息处理能力的装置执行的代码化指令序列，或者可被自动转换成代码化指令序列的符号化指令序列或者符号化语句序列。简而言之，计算机程序就是指计算机可以识别运行的指令集合。2.计算机的基本组成计算机的五大组成部分：运算器、控制器、存储器、输入设备、输出设备。运算器（内）存储器控制器输入设备输出设备数据流控制流程序数据请求信号响应信号反馈信号操作指令响应信号请求信号取数存数地址指令3.计算表示和存储指令或数据所采用的形式什么？计算机只认识 0 0 0 0 和 1 1 1 1？计算内部采用二进制形式表示和存储指令或数据。计算机的工作过程实际上是周而复始地获取指令、执行指令的过程。计算机程序设计语言的定义计算机程序设计语言：是指一组用来定义计算机程序的语法规则，通常简称为“编程语言”。计算机程序设计语言的发展经历了：机器语言汇编语言高级语言计算机程序设计语言的发展1011000000001001000001000000100011110100机器语言MOV AL，9ADD AL，8HLT汇编语言Print(9+8)高级语言例如：命令计算机完成“9+8”的加法运算，对应的计算机程序设计语言为：计算机程序设计语言任务2：自主阅读教材P55-P57，总结3种程序设计语言的特点语言类型是否需要翻译(编译)优势不足1机器语言2汇编语言3高级语言3种计算机程序设计语言的特点语言类型是否需要翻译(编译)优势不足1机器语言否能被计算机接受和执行，运算效率最高程序难以理解，移植性差2汇编语言是针对计算机特定硬件而编制的汇编语言程序，比机器语言容易理解，效率仍十分高不能被计算机直接运行，移植性不好3高级语言是接近于数学语言或人的自然语言，易于理解，移植性好不能被计算机直接运行课堂练习12.高级语言更接近自然语言，并不特指某种语言，也不依赖于特定的计算机系统，因而更容易掌握和使用，通用性也更好。以下不属于高级语言的是（）A.Java语言 B.Python语言 C.汇编语言 D.C语言C13.计算机能直接识别、理解执行的语言是（）A.汇编语言 B.Python语言 C.Basic语言 D.机器语言D课堂练习04课堂练习14.下面关于算法的描述，正确是（）A.算法不可以用自然语言描述B.有些复杂算法用流程图可能无法描述C.一个算法必须保证它的执行步骤是有限的D.算法的流程图表示法可以有零个或多个输入，但只能有一个输出C解析：算法可以用自然语言、流程图描述；算法至少有一个或多个输出。课堂练习15.P27第1题：算法的重要特征不包括（）A.有穷性 B.确定性 C.数据输出 D.唯一性D16.P27第4题：关于算法，下列叙述不正确的是（）A.解决任何一个具体问题可以有多种算法B.流程图是算法的一种表示形式C.为了解决问题，设计算法时可以不用考虑时间成本和空间成本D.判断一个算法的优劣要看算法解决问题的执行效率C课堂练习17.P29第14题：以下流程图描述的算法，其执行结果是：（）A.7，18 B.4，18C.7，2 D.3，11A课堂练习18.设计程序计算矩形的面积和周长：输入矩形的长和宽（单位：cm），输出矩形的面积和周长。其中定义整型变量a,b分别表示矩形的长和宽，变量s,c分别表示矩形的面积和周长，请把流程图中编号为的两处补充完整。a*b (a+b)*2开始s=输入变量a,bc=输出变量a,b结束课堂练习19.P32第38题：利用辗转相除法求最大公约数 r=0开始求m除以n的余数r输入m,nm=n输出m结束n=r 否是 r=m%n例如：输入m=16,n=12当第一次循环时：r=m%n=16%12=4m=n=12n=r=4r=0不成立，继续循环当第二次循环时：r=m%n=12%4=0m=n=4n=r=0r=0成立，循环结束最后输出m的值就是最大公约数知识与数字化学习数据、信息、知识、智慧现实世界客观事物的符号记录，是信息的载体，是计算机加工的对象，现实世界客观事物的符号记录，是信息的载体，是计算机加工的对象，是形是形成信息、知识和智慧的源泉成信息、知识和智慧的源泉。数据数据经过加工处理的、具有意义的数据。经过加工处理的、具有意义的数据。信息信息人们运用大脑对获取或积累的信息进行系统化地提炼、研究和分析的结果，人们运用大脑对获取或积累的信息进行系统化地提炼、研究和分析的结果，能精确地反应事物的本质。能精确地反应事物的本质。知识知识为了达到预定目标而运用知识解决问题的创新思维能力。是人类区别于其他为了达到预定目标而运用知识解决问题的创新思维能力。是人类区别于其他生物的重要特征。生物的重要特征。智慧智慧数据、信息、知识、智慧数 据信 息知 识智 慧数据（D）：原始素材，客观事物的符号记录。信息（I）：经过加工后有意义的数据。知识（K）：对获取或积累的信息进行系统地提炼、研究和分析的结果。智慧（W）：达到预定目标而运用知识解决问题的创新思维能力。主观意识客观存在练一练练一练下列关于数据、信息、知识与智慧的理解，不正确的是（）A.信息是经过加工处理的、具有意义的数据B.知识是固有不变的，需要我们不断的学习C.信息是知识的前提和基础，智慧是知识的抽象与升华D.智慧是为了达到预定目标而运用知识解决问题的创新思维能力B数字化工具与资源采集、获取、检索、表示、传输、存储和加工多媒体数字化资源的设备装置。数字化工具数字化工具经过数字化工具处理，可以在计算机或网络环境下运行的且可以实现共享的多媒体材料。例如图形、图像、视频、音频、文本、多媒体应用软件、网站、系统、数据库等。数字化资源数字化资源课件电子教案花瓣网电子银行系统华为数据库阿里云数字化工具数据采集工具数据采集工具声卡、视频卡、照相机、摄像机、手写板、扫描仪等。声卡、视频卡、照相机、摄像机、手写板、扫描仪等。声卡声卡视频采集卡视频采集卡数字化工具信息获取工具信息获取工具台式电脑、笔记本电脑、平板电脑、手机等。台式电脑、笔记本电脑、平板电脑、手机等。数字化工具信息检索工具信息检索工具搜索引擎、电子词典等。搜索引擎、电子词典等。数字化工具数字化可视化表达工具数字化可视化表达工具思维导图、演示文稿等。数字化工具信息通信交流与传输工具信息通信交流与传输工具电子邮件、博客、社交软件和视频会议系统等。电子邮件、博客、社交软件和视频会议系统等。QQ新浪博客新浪博客腾讯会议腾讯会议钉钉钉钉微信微信数字化工具信息存储工具信息存储工具光盘、U盘、硬盘和服务器等。机械硬盘固态硬盘移动硬盘服务器数字化工具信息加工工具信息加工工具编程软件、多媒体制作软件、网站制作工具、信息系统编程软件、多媒体制作软件、网站制作工具、信息系统制作工具等。制作工具等。数字化工具三维设计工具3D制作软件、3D打印机、虚拟现实等。在3D Max中设计座椅练一练练一练1、下列选项不属于数字化学习工具的是（）A.数字图书馆 B.Mindmanager C.电子词典 D.多媒体课件D2、声卡、视频卡、数码照相机、数码录像机、手写板、扫描仪等设备属于信息获取工具（）X练一练练一练3、数字化工具与资源以电子数据的形式表现信息内容，其主要的媒体呈现形式包括（）文本图像声音动画视频A.B.C.D.D4、学校组织同学们到植物园学习花卉栽培知识，可以选择扫描仪作为信息采集工具。（）X数字化工具与资源的优势n获取的便捷性获取的便捷性n形式的多样性形式的多样性n资源的共享性资源的共享性n平台的互动性平台的互动性n内容的扩展性内容的扩展性数字化学习的优点n问题化问题化n合作性合作性n个性化个性化n创造性和再生性创造性和再生性n开放性开放性练一练练一练学校利用网络学习平台开展在线协作学习，同学们可以根据自己的特点及需求自行组队，与小组成员利用协作工具及网络资源，共同完成分组任务，这体现了数字化学习的（）A.创造性特点 B.合作性特点 C.问题化特点 D.个性化特点B体验数字化创新学习过程思维导图可以手绘，也可以使用软件绘制。对于软件，目前比较有名的有：XMind、Mindmanager、FreeMind等课后习题课后习题1、下列选项中关于数据、信息、知识和智慧之问关系的叙述正确的是（）A.数据、信息、知识和智慧是逐渐递进的概念B.数据是信息的抽象与升华C.智慧是知识的基础和前提，人有了智慧才能总结出知识D.智慧是信息经过加工提炼后形成的抽象产物 A2、“人体正常体温平均在3637C之间”，此处的“37”是知识（）3、思维导图既可以手绘，也可以使用软件绘制,XMind就是常用的思维导图软件（）第五章数据处理和可视化表达多样化的数据都是什么呢？地理位置信息网络日志你从哪个网页跳转来？你点击了哪些商品？商品页面上停留的时间？评价关注程度颜色偏好品牌偏好数据的概念数据的概念 数据数据是现实世界客观事物的是现实世界客观事物的符号记录符号记录，是，是信息的载体，信息的载体，是计算机加工的对是计算机加工的对象，如图像、视频、音频、文本（文字、数值、字符）等。象，如图像、视频、音频、文本（文字、数值、字符）等。计算机科学中的数据算机科学中的数据 数据数据是对所有输入计算机并被计算机识别、存储和处理的符号的总称，是是对所有输入计算机并被计算机识别、存储和处理的符号的总称，是联系现实世界和计算机世界的途径。联系现实世界和计算机世界的途径。数据的概念数据的概念 数据是现实世界客观事物的数据是现实世界客观事物的符号记录符号记录，是，是信息的载体，信息的载体，是计算机加工的对是计算机加工的对象，如图像、视频、音频、文本（文字、数值、字符）等。象，如图像、视频、音频、文本（文字、数值、字符）等。数据的基本特征数据的基本特征（1 1）二进制二进制。在计算机中，数据以在计算机中，数据以二进制二进制的形式存储、加工。的形式存储、加工。（2 2）语义性。）语义性。语义是将数据符号解释为客观世界的事物。语义是将数据符号解释为客观世界的事物。（3 3）分散性。）分散性。数据是分散的记录，分别记录不同客观事物的运动状态。数据是分散的记录，分别记录不同客观事物的运动状态。120120某个小朋友的身高是120cm衣服的价格是120元（4 4）多样性和感知性。）多样性和感知性。数据记录的形式是多样的、可看的、可听的、可感知的，如图形、数据记录的形式是多样的、可看的、可听的、可感知的，如图形、图像、视频、音频、文字等。图像、视频、音频、文字等。汽车在高速路上的行驶速度为120km/h二进制：由二进制：由0,10,1两个数码来表示数据。两个数码来表示数据。练一一练（P8 1）：）：（单选题）1、下列、下列选项中不属于数据的是中不属于数据的是（）A、进入商入商场时用用额温温枪测量的体温量的体温 B、教室里、教室里电子子时钟显示的示的时间 C、春游、春游时手机里拍手机里拍摄的的风景照片景照片D、记录旅行日旅行日记的笔的笔记本本D大数据大数据是指无法在可承受的时间范围内用常规软件工具进行高效捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。一、认识大数据从互联网产生大数据看大量（Volume)多样（Variety)低价值密度（Value)高速（Velocity)二、大数据的特征多样化：即数据类型繁多都是什么呢？地理位置信息网络日志你从哪个网页跳转来？你点击了哪些商品？商品页面上停留的时间？评价关注程度颜色偏好品牌偏好价值密度低比如视频，在连续不间断存储的监控视频中，有用的数据可能只有一两秒。变化速度快大数据交换和传播速度快大数据增长速度快大数据处理速度、响应速度快：如导航、自动驾驶从互联网思维看样本渐趋于总体精确让位于模糊相关性重于因果二、大数据的特征从大数据存储与计算看特征分布式存储分布式并行计算二、大数据的特征大数据使日常生活更为便捷方便支付方便出行方便购物与产品推介方便看病与诊病三、大数据对日常生活的影响方便支付方便出行方便购物与产品推介大数据对日常生活的负面影响个人信息泄露信息伤害与诈骗三、大数据对日常生活的影响P64 P64 例例1 1、例、例2 2、例、例3 3、例、例4 4P67 1P67 1、2 2P69 16-21P69 16-21【二、数据的采集二、数据的采集】（一）数据采集的方法与工具（一）数据采集的方法与工具1.系统日志采集法在信息系统中，系统日志是记录系统硬件、软件和系统问题的信息文件。系统日志包括操作系统日志、应用日志和安全日志。系统日志采集数据的方法通常是在目标主机上安装一个小程序，将目标主机的文本、应用程序、数据库等日志信息有选择地定向推送到日志服务器进行存储、监控和管理。【二、数据的采集二、数据的采集】（一）数据采集的方法与工具（一）数据采集的方法与工具2.网网络数据采集法：数据采集法：网络数据采集：指通过网络爬虫或网站公开API（ApplicationProgrammingInterface，应用程序接口）等方式从网站上获取数据信息。网络爬虫的过程工作过程：（1）从一个或若干初始网页的URL（UniformResourceLocator，统一资源定位符）开始，获得初始网页上的URL。（2）在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。采集类型：支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。【二、数据的采集二、数据的采集】（一）数据采集的方法与工具（一）数据采集的方法与工具3.其他数据采集法。其他数据采集法。应用领域：企业生产经营或科学研究等保密性要求较高的数据。使用方法：与企业或研究机构合作，使用特定系统接口等相关方式收集数据例如：科学研究的数据是通过科学实验的各种传感器采集，并传输到数据库管理系统中的。【二、数据的采集二、数据的采集】（一）数据采集的方法（一）数据采集的方法对比比采集方法数据来源采集工具应用范围（举例）系统日志采集法1.信息系统日志数据2.信息系统系统数据系统导出1.导出上网行为管理系统日志2.导出上网行为管理系统客户数据网络数据采集法1.网站存储的数据2.网站公开API(应用程序接口)传输的数据1.爬虫程序2.系统导出3.接口程序1.爬取淘宝网站数据2.从淘宝网店铺后台导出数据3.获取微信企业号公开接口数据其它数据采集法传感器系统接口传感器采集数据传输到数据库管理系统【二、数据的采集二、数据的采集】拓展：Python网络数据采集程序使用的扩展库1.NumPy（NumericalPython）是构建科学计算最基础的软件库；2.SciPy是一个工程和科学软件库，包含线性代数、优化、集成和统计的模块；3.Pandas是一个Python包，旨在通过标记（labeled）和关系（relational）数据进行工作；4.Matplotlib是Python的一个2D绘图库。Python网网络数据采集程序使用数据采集程序使用扩展展库时导入模入模块的方法：的方法：limport modulelfrom module import name【二、数据的采集二、数据的采集】（二）数据的存（二）数据的存储1.本地存本地存储：把数据存在把数据存在本地内部本地内部。（硬（硬盘、磁、磁带、服、服务器器）2.云存云存储：把数据放在第三方公共或者私有的把数据放在第三方公共或者私有的“云端云端”存存储。（百度网（百度网盘、腾讯微微盘）【二、数据的采集二、数据的采集】（三）数据的保（三）数据的保护1.数据安全保数据安全保护技技术：杀毒软件、防火墙、拷拷贝、备份、复制、份、复制、镜像、持像、持续备份，加份，加密密。2.数据的数据的隐私保私保护（1）隐私泄露的途径（2）技）技术手段：手段：（3）提高自身意）提高自身意识（4）进行道德和法律行道德和法律约束束l数据收集数据收集时：精度：精度处理理l数据共享数据共享时：访问控制控制l数据数据发布布时：人工干：人工干扰l数据分析数据分析时：匿名：匿名处理理【二、数据的采集二、数据的采集】（四）数据安全保（四）数据安全保护技技术的使用特点的使用特点数据安全保护技术适用场合备份介质备份距离管理拷贝/FTP简单小数据量备份，个人不定期的文件保护等。磁盘。近。手动执行，占用人力资源。备份有归档需求的用户等。磁带机、磁带库、磁盘。近，以本地备份为主。备份软件对使用者要求较高，需要掌握数据库、文件系统等综合知识。复制技术企业等。磁盘。远近皆可。设定策略后无须人工干预，复制与恢复的过程都很简单。镜像技术企业等。磁盘。近，带宽和距离影响延迟时间和性能，因此多以本地为主简单。持续备份企业等。磁盘。远近皆可。连续备份，可以实现过去任意一个时间点的数据恢复。P68 15P68 15P69 23P69 23、3333如何如何对数据数据DATA数据分析处理的对象处理的对象运用的工具运用的工具分析的方法分析的方法分析的目的分析的目的初级工具：Excel高级工具：SPSS、SAS编程工具R语言、Python、Java语言等一大批杂乱无章的数据运用数字化工具和技术探索数据内在的结构和规律构建数学模型进行可视化表达,通过验证将模型转化为知识为诊断过去、预测未来发挥作用DATA ANALYSIS关联分析特征探索 聚类分析数据分类数据分析的常用方法数据分析的常用方法 特征探索的主要任务是对数据进行预处理，发现和处理缺失值、异常数据，绘制直方图，观察分析数据的分布特征，求最大值、最小值、极差等描述性统计量。（如果价格为0的，修改为64）x=0 dataprice(dataprice=0)=None for i in data.columns:for j in range(len(data):if(datai.isnull()j:dataij=64 x+=1 print(x)商品标题链接价格 评论数观察并运行程序察并运行程序1数据清洗,发现缺失值总结特征分析的作用特征分析的作用【程序演示程序演示】（横轴：价格，纵轴：评论数）data2=data.T price=data2.values2 comt=data2.values3 plt.xlabel(price)#显示X坐标标签 plt.ylabel(comt)#显示Y坐标标签 pyl.plot(price,comt,o)pyl.show()数据分布不均匀数据分布不均匀观察并运行程序察并运行程序2异常值处理:找到异常值、画散点图【程序演示程序演示】x=0foriinrange(0,line):forjinrange(0,col):if(dai365):#评论数大于65continueelif(dai2100):#价格大于100continueelse:if(x=0):newda=daielse:newda=npy.row_stack(newda,dai)x+=1da2=newda.Tprice=da22comt=da23plt.xlabel(price)#显示X坐标标签plt.ylabel(comt)#显示Y坐标标签pyl.plot(price,comt,o)pyl.show()数据均匀分布数据均匀分布缺失数据和异常数据缺失数据和异常数据处理完理完毕3处理异常数据，理异常数据，评论数大于数大于65，价格大于，价格大于100100都都处理掉，再重新理掉，再重新绘制散点制散点图观察并运行程序察并运行程序【程序演示程序演示】关联分析是分析并发现存在于大量数据之间的关联性或相关性，从而描述一个事物中某些属性同时出现的规律和模式。流水号流水号交易的商品交易的商品001可乐，鸡蛋，汉堡002可乐，尿布，啤酒003可乐，尿布，啤酒，汉堡004尿布，啤酒以下是某超市的交易以下是某超市的交易以下是某超市的交易以下是某超市的交易记录记录，请请分分分分组讨论组讨论如何提高超市商品的如何提高超市商品的如何提高超市商品的如何提高超市商品的销销量？量？量？量？典型例子：典型例子：购物物篮分析分析频率次数率次数统计：可可乐、尿布、啤酒、尿布、啤酒支持度支持度（两个商品同时被购买发生的概率）：最大最大频繁繁项集：集：尿布，啤酒尿布，啤酒可乐：3/12鸡蛋：1/12汉堡：2/12尿布：3/12啤酒：3/12可乐，尿布：2/4 可乐，啤酒：2/4 尿布，啤酒：3/4 聚聚类分析分析是一种探索性的分析，在分是一种探索性的分析，在分类的的过程中，不必事先程中，不必事先给出出一个分一个分类的的标准，从准，从样本数据出本数据出发，自，自动进行分行分类K-平均算法是一种经典的自下而上的聚类分析方法u试把下把下图分成几分成几组u观看看K-平均聚平均聚类分析微分析微课，试总结其步其步骤观看微看微课总结总结分分类类步步骤骤聚聚类分析分析 是一种探索性的分析，在分是一种探索性的分析，在分类的的过程中，不必事先程中，不必事先给出一个出一个分分类的的标准，从准，从样本数据出本数据出发，自，自动进行分行分类。K-平均算法：是一种经典的自下而上的聚类分析方法。K-平均算法的基本思想：在空间N个点中，初始选择K个点作为中心聚点，然后将N个点分别与K个点计算距离，选择自己最近的点作为自己的中心点，再不断更新中心聚焦点，以达到”物以类聚,人以群分”的效果。数据分类是数据分析处理中最