第十三课、大数据处理 ppt课件（10张ppt）+教案+视频-2023新浙教版（2020）七年级上册《信息技术》.rar

第十三课、大数据处理信息技术 七年级上新课导入在数量较小的情况下，单台计算机的数据处理速度可以很快，但是处理速度会随着数据量的增加而变得越来越缓慢。因此在大数据时代，需要优化的思路方式来应对大数据的处理。大数据处理的基本思想大数据处理的基本思想01 大数据处理的基本思想大数据处理的基本思想新课导入“分治法”又称分治策略，顾名思义，就是分而治之的意思。它的基本思想是将难以解决的、规模较大的问题，分解成若干个能直接解决的、相互独立的子问题，这些子问题与原问题性质相同。求出子问题的解，就可以得到原问题的解，即一种分目标完成的程序算法。分治法分治法01 大数据处理的基本思想大数据处理的基本思想新知讲解01 大数据处理的基本思想大数据处理的基本思想分治所能解决的问题一般具有以下几个特征：该问题的规模缩小到一定的程度就可以容易地解决；该问题可以分解为若干个规模较小的相同问题，即该问题具有最优子结构性质利用该问题分解出的子问题的解可以合并为该问题的解；该问题所分解出的各个子问题是相互独立的，即子问题之间不包含公共的子问题。总体思想：将要求解的较大规模的问题分割成k个更小规模的子问题。对这k个子问题分别求解。如果子问题的规模仍然不够小，则再划分为k个子问题，如此递归的进行下去，直到问题规模足够小，很容易求出其解为止。将求出的小规模的问题的解合并为一个更大规模的问题的解，自底向上逐步求出原来问题的解。02 大数据处理的类型大数据处理的类型大数据处理按照类型一般可以分为三种：1、静态数据的批处理2、对数据的实时计算3、对图数据的图计算不同的处理类型都有相应的分布式处理框架或平台。大数据处理静态处理流数据图数据批处理技算流计算图计算新知讲解02 大数据处理的类型大数据处理的类型Hadoop是对静态数据批处理计算时比较常用的一种框架：1、可以实现卡计算机节点的数据并行处理。2、通过不断增加节点方式处理不断增加的数据，从而保持高效、稳定的处理水平，获得及时、准确的处理结果。3、核心组件：一是Hadoop分布式文件系统HDFS，它是一种可靠的、搞宽带、低成本的数据存储集群，主要是将大规模数据以文件形式用于多个副本保存在不同的存储节点中，并用分布式系统进行管理。二是MapReduce,这是一种分布式进行编辑模型，能够处理大数据集的并行运算，它的计算由Map（映射）和 Reduce（归纳）两个函数来实现处理。新知讲解拓展延伸04 大数据处理流程大数据处理流程数据分析：数据分析：大数据处理最重要的环节就是数据分析，数据分析通常分为两种：批处理和流处理。批处理批处理：对一段时间内海量的离线数据进行统一的处理，对应的处理框架有Hadoop MapReduce、Spark、Flink 等；流处理流处理：对运动中的数据进行处理，即在接收数据的同时就对其进行处理，对应的处理框架有Storm、Spark Streaming、Flink Streaming 等。课堂练习描述一个生活中可以通过“分治法”来解决实际问题。01第十三课 大数据处理 教学设计第十三课 大数据处理 教学设计1 教学目标教学目标 1、通过案例分析学习与探讨、理解分治法和并行处理。2、通过了解大数据处理的类型，认识常用的大数据分布式处理框架 Hadoop。3、通过对分治法和并行处理的理解，训练计算思维，提高解决生活中实际问题的能力。2 重点难点重点难点 教学重点：大数据处理的基本思想，大数据处理类型。教学难点：分治法、并行处理的理解，大数据处理类型的区分，电信处理类型的归类。3 教学过程教学过程 一、新课讲授一、新课讲授大数据处理的基本思想：大数据处理的基本思想：在数量较小的情况下，单台计算机的数据处理速度可以很快，但是处理速度会随着数据量的增加而变得越来越缓慢。因此在大数据时代，需要优化的思路方式来应对大数据的处理。1、分治法“分治法”又称分治策略，顾名思义，就是分而治之的意思。它的基本思想是将难以解决的、规模较大的问题，分解成若干个能直接解决的、相互独立的子问题，这些子问题与原问题性质相同。求出子问题的解，就可以得到原问题的解，即一种分目标完成的程序算法。总体思想：将要求解的较大规模的问题分割成 k 个更小规模的子问题。对这 k 个子问题分别求解。如果子问题的规模仍然不够小，则再划分为 k 个子问题，如此递归的进行下去，直到问题规模足够小，很容易求出其解为止。将求出的小规模的问题的解合并为一个更大规模的问题的解，自底向上逐步求出原来问题的解。分治所能解决的问题一般具有以下几个特征：该问题的规模缩小到一定的程度就可以容易地解决；该问题可以分解为若干个规模较小的相同问题，即该问题具有最优子结构性质利用该问题分解出的子问题的解可以合并为该问题的解；该问题所分解出的各个子问题是相互独立的，即子问题之间不包含公共的子问题。任务：学生自己百度搜索有关“数据分析报告的样版”，了解数据分析报告的写作样例，如何写出一份完整的数据分析报告。大数据的处理类型：大数据的处理类型：大数据处理按照类型一般可以分为三种：1、静态数据的批处理2、对数据的实时计算3、对图数据的图计算不同的处理类型都有相应的分布式处理框架或平台。Hadoop 是对静态数据批处理计算时比较常用的一种框架：1、可以实现卡计算机节点的数据并行处理。2、通过不断增加节点方式处理不断增加的数据，从而保持高效、稳定的处理水平，获得及时、准确的处理结果。3、核心组件：一是 Hadoop 分布式文件系统 HDFS，它是一种可靠的、搞宽带、低成本的数据存储集群，主要是将大规模数据以文件形式用于多个副本保存在不同的存储节点中，并用分布式系统进行管理。二是 MapReduce,这是一种分布式进行编辑模型，能够处理大数据集的并行运算，它的计算由 Map（映射）和 Reduce（归纳）两个函数来实现处理。大数据处理静态处理流数据图数据批处理技算流计算图计算二、拓展延伸二、拓展延伸大数据处理流程：数据分析：数据分析：大数据处理最重要的环节就是数据分析，数据分析通常分为两种：批处理和流处理。批处理批处理：对一段时间内海量的离线数据进行统一的处理，对应的处理框架有 Hadoop MapReduce、Spark、Flink 等；流处理流处理：对运动中的数据进行处理，即在接收数据的同时就对其进行处理，对应的处理框架有 Storm、Spark Streaming、Flink Streaming 等。三、课后作业三、课后作业1、描述一个生活中可以通过“分治法”来解决实际问题。、描述一个生活中可以通过“分治法”来解决实际问题。