1、12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org 人民邮电出版社王鹏 黄焱 安俊秀 张逸琴 编著 目 录CONTENTSCONTENTS第第6 6章章 HadoopHadoop分布式大数据系统分布式大数据系统12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org第第6 6章章 HadoopHadoop分布式大数据系统分布式大数据系统6.5.16.5.1相关准备工作相关准备工作6.5.2 6.5.2 JDKJDK的安装配置的安装配置6.5.3
2、6.5.3下载、解压下载、解压HadoopHadoop，配置配置HadoopHadoop环境变量环境变量6.5.46.5.4修改修改HadoopHadoop配置文件配置文件6.5.56.5.5将配置好的将配置好的HadoopHadoop文件文件复制到其他节点复制到其他节点6.5.66.5.6启动、停止启动、停止HadoopHadoop6.5.76.5.7在在HadoopHadoop系统上运行测系统上运行测试程序试程序WordCountWordCount12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org12/20/2022并行计算实验室并行计算实验室 http
3、:/www.qhoa.org12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.16.1HadoopHadoop概述概述图6.1Hadoop本版发展路线12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.16.1HadoopHadoop概述概述图6.2Hadoop与MPI在数据处理上的差异12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.16.1HadoopHadoop概述概述12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.16.1Had
4、oopHadoop概述概述12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.26.2HDFSHDFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS图6.3GFS的体系结构12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDF
5、SHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/w
6、ww.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.16.2.1HDFSHDFS文件系统的原型文件系统的原型GFSGFS12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.26.2.2HDFSHDFS文件的基本结构文件的基本结构图6.4 HDFS的架构12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.26.2.2HDFSHDFS文件的基本结构文件的基本结构12/20/20
7、22并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.26.2.2HDFSHDFS文件的基本结构文件的基本结构12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.26.2.2HDFSHDFS文件的基本结构文件的基本结构12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.36.2.3HDFSHDFS的存储过程的存储过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.36.2.3HDFSHDFS的存储过程的存储过程12/20/2022并行计算实验
8、室并行计算实验室 http:/www.qhoa.org6.2.36.2.3HDFSHDFS的存储过程的存储过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.2.36.2.3HDFSHDFS的存储过程的存储过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.36.3MapReduceMapReduce编程框架编程框架 12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.16.3.1MapReduceMapReduce的发展历史的发展历史12/20/2022并行计算实验室
9、并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduce
10、MapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程MapReduceMapReduce包含包含
11、MapMap、ShuffleShuffle和和ReduceReduce三个步骤，其中三个步骤，其中ShuffleShuffle由由HadoopHadoop自动完成，自动完成，HadoopHadoop的使用者可以无需了解并的使用者可以无需了解并行程序的底层实现，只需关注行程序的底层实现，只需关注MapMap和和ReduceReduce的实现。的实现。12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.
12、org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapReduce的基本工作过程的基本工作过程表表6.86.8中的内容将作为中的内容将作为ReduceReduce任务的输入数据，即从任务的输入数据，即从ShuffleShuffle任务任务中获得的（中获得的（Key,ListKey,List）。）。12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.26.3.2MapReduceMapRed
13、uce的基本工作过程的基本工作过程12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.36.3.3LISPLISP中的中的MapReduceMapReduce12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.36.3.3LISPLISP中的中的MapReduceMapReduce12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.
14、org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/w
15、ww.qhoa.org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.3.46.3.4MapReduceMapReduce的特点的特点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.46.4实现实现Map/ReduceMap/Reduce的的C C语言实例语言实例12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.46.4实现实现Map/ReduceMap/Reduce的的C C语言实例语言实例12/20/
16、2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.46.4实现实现Map/ReduceMap/Reduce的的C C语言实例语言实例p此运行实例中我们从控制台输入字符此运行实例中我们从控制台输入字符串串“this is map reduce hello map this is map reduce hello map hello reduce”hello reduce”，程序通过，程序通过MapMap和和ReduceReduce过程对字符串的的单词出现的频过程对字符串的的单词出现的频率进行统计，并输出了结果，这是一个率进行统计，并输出了结果，这是一个典型的典型的Ma
17、p/ReduceMap/Reduce过程。过程。12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.56.5建立建立HadoopHadoop开发环境开发环境图6.5 Hadoop集群配置12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.16.5.1相关准备工作相关准备工作12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.16.5.1相关准备工作相关准备工作12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.16.5.1相关准备工
18、作相关准备工作12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.16.5.1相关准备工作相关准备工作12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.2 6.5.2 JDKJDK的安装配置的安装配置12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.2 6.5.2 JDKJDK的安装配置的安装配置12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.2 6.5.2 JDKJDK的安装配置的安装配置12/20/2022并行计算实
19、验室并行计算实验室 http:/www.qhoa.org6.5.2 6.5.2 JDKJDK的安装配置的安装配置12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.2 6.5.2 JDKJDK的安装配置的安装配置12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.36.5.3下载、解压下载、解压HadoopHadoop，配置，配置HadoopHadoop环境变量环境变量12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.36.5.3下载、解压下载、解压HadoopHad
20、oop，配置，配置HadoopHadoop环境变量环境变量12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.46.5.4修改修改HadoopHadoop配置文件配置文件12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.46.5.4修改修改HadoopHadoop配置文件配置文件12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.46.5.4修改修改HadoopHadoop配置文件配置文件12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.
21、org6.5.46.5.4修改修改HadoopHadoop配置文件配置文件12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.46.5.4修改修改HadoopHadoop配置文件配置文件12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.56.5.5将配置好的将配置好的HadoopHadoop文件复制到其他节点文件复制到其他节点12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.66.5.6启动、停止启动、停止HadoopHadoop12/20/2022并行计算实验室并
22、行计算实验室 http:/www.qhoa.org6.5.66.5.6启动、停止启动、停止HadoopHadoop12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.66.5.6启动、停止启动、停止HadoopHadoop12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.76.5.7在在HadoopHadoop系统上运行测试程序系统上运行测试程序WordCountWordCount12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.76.5.7在在HadoopHado
23、op系统上运行测试程序系统上运行测试程序WordCountWordCount12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.76.5.7在在HadoopHadoop系统上运行测试程序系统上运行测试程序WordCountWordCount12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org6.5.76.5.7在在HadoopHadoop系统上运行测试程序系统上运行测试程序WordCountWordCount12/20/2022并行计算实验室并行计算实验室 http:/www.qhoa.org练习题练习题本PPT为可编
24、辑版本，您看到以下内容请删除后使用，谢谢您的理解【解析】【解答】（1）氯化钠是由钠离子和氯离子构成的；金刚石是由碳原子构成的；干冰是由二氧化碳分子构成的；（2）质子数为11的是钠元素，钠元素原子的最外层电子数1，在化学反应中容易失去一个电子形成阳离子；（3）化学变化是生成新分子的变化，其实质是分子分解成原子，原子重新组合形成新的分子，故该反应中没有变的是碳原子和氧原子。故答案为：氯化钠；失去；D。【分析】物质有微粒构成，构成物质的微粒有原子、分子、离子是那种，金属、稀有气体由原子构成；常见气体由分子构成；碱和盐由离子构成。在化学变化中，原子种类、质量、数目保持不变。26.用微粒的观点解释下列现
25、象：（1）今年我国要求“公共场所全面禁烟”非吸烟者往往因别人吸烟而造成被动吸烟。（2）夏天钢轨间的缝隙变小。【答案】（1）分子是在不断的运动的.（2）夏天温度高，铁原子间的间隔变小.【考点】物质的微粒性 【解析】【解答】（1）吸烟生成烟雾，烟雾分子因为运动，扩散到空气中，使非吸烟者被动吸入烟雾分子，造成被动吸烟；（2）钢轨由铁原子构成.每两根钢轨间都有一定的间隙，夏天由于气温高，使得钢轨中铁原子的间隔变大，表现为钢轨的体积膨胀，则钢轨间的间隙变小.故答案为：（1）分子是在不断运动的；（2）夏天高温，铁原子间的间隔变小.【分析】微粒观点的主要内容：物质是由分子（或原子构成），分子间有间隔，分子处
26、于永停息的运动状态中.（1）烟雾分子属气体分子，在空气中扩散较快，使非吸烟者被动吸烟；（2）铁原子间有一定的间隔，温度升高，则铁原子间间隔变大，反之则变小，夏天高温状态下，铁原子间间隔变大，使得钢轨体积膨胀，则钢轨间的缝隙变小.【考点】物质的微粒性 【解析】【解答】（1）铁属于金属单质，是由铁原子直接构成；氯化钠是由钠离子和氯离子构成的；二氧化碳是由二氧化碳分子构成的（2）当质子数=核外电子数，为原子，a=2+8=10，该粒子是原子原子序数=质子数=10当a=8时，质子数=8，核外电子数=10，质子数核外电子数，为阴离子。故答案为：原子；离子；分子；10；10；阴离子。【分析】物质有微粒构成，
27、构成物质的微粒有原子、分子、离子是那种，金属、稀有气体由原子构成；常见气体由分子构成；碱和盐由离子构成。当核电荷数等于核外电子数，表示原子，小于时表示阴离子，大于时表示阳离子。25.初中化学学习中，我们初步认识了物质的微观结构。（3）升高温度分子运动速度就加快，只要能说明温度高了运动速度快了的例子都可以，例如阳光下或者温度高衣服干得快，温度高水蒸发的快，糖在热水里比在冷水里溶解的快等；（4）由于注射器装入的药品少，现象明显，又是封闭状态，所以可以控制体积节省药品、可以减少气体挥发造成的污染等故答案为：（1）固体；（2）分子的质量大小或者相对分子质量大小（合理即给分）；（3）阳光下或者温度高衣服
28、干得快，温度高水蒸发的快，糖在热水里比在冷水里溶解的快等；（4）可以控制体积节省药品、可以减少气体挥发造成的污染等【分析】（1）根据实验现象判断氯化铵的状态；（2）根据它们的相对分子质量的区别考虑；（3）根据温度与运动速度的关系考虑；（4）根据注射器的特点考虑【解析】【解答】A、向一定质量的盐酸和氯化钙的混合溶液中逐滴加入碳酸钠溶液至过量的过程中，生成氯化钠的质量不断增大，当碳酸钠与盐酸和氯化钙完全反应时，氯化钠的质量不再增大，A符合题意；B、向稀硫酸中加水，溶液的pH逐渐增大至接近于7，B不符合题意；C、向一定质量的稀硫酸中逐滴加入氢氧化钡溶液至过量的过程中，氢氧化钡不断和硫酸反应生成硫酸钡
29、沉淀和水，溶质的质量减小，质量分数也减小，当氢氧化钡和稀硫酸完全反应时，继续滴加氢氧化钡溶液时，质量分数应该由小变大，C不符合题意；D、加热高锰酸钾时，当温度达到一定程度时，高锰酸钾开始分解生成锰酸钾、二氧化锰和氧气，随着反应的进行，剩余固体的质量不断减少，当高锰酸钾完全反应时，剩余固体的质量不再变化，D符合题意。【解析】【解答】A、可燃物的在着火点是一定的，不会降低，故说法错误，可选；B、爆炸是物质在有限的空间内，发生急剧燃烧，短时间内聚集大量的热，使周围的气体的体积膨胀造成的可见爆炸需要氧气的参与，可使燃烧处于暂时缺氧状态，达到灭火的目的故说法正确，不可选；【解析】【解答】燃烧需要同时满足
30、三个条件：一是要有可燃物，二是可燃物要与氧气接触，三是温度要达到可燃物的着火点；以上三个条件都能满足时，可燃物才能发生燃烧。灭火的原理就是破坏燃烧的条件。根据描述，自动灭火陶瓷砖会喷出氦气和二氧化碳，故灭火的原理是隔绝氧气。【解析】【解答】解：A、从题目中表格知，H2体积分数为10%70%的H2和空气混合气体，点燃时会发生爆炸，故A正确；B、收集的H2能安静燃烧，说明H2的纯度大于等于80%，故B项错误；C、用向下排空气法收集H2 ，保持试管倒置移近火焰，如果没有听到任何声音，表示收集的H2纯度大于等于80%，故C项错误；D、氢气和空气的混合气体点燃不一定发生爆炸，只有在爆炸极限范围内才会发生
31、爆炸，故D项错误故选A【分析】可燃物质（可燃气体、蒸气和粉尘）与空气（或氧气）在一定的浓度范围内均匀混合，遇着火源可能会发生爆炸，这个浓度范围称为爆炸极限可燃性混合物能够发生爆炸的最低浓度和最高浓度，分别称为爆炸下限和爆炸上限，在低于爆炸下限时不爆炸也不着火，在高于爆炸上限同样不燃不爆因此可燃性气体在点燃前需要先检验气体的纯度，以防发生爆炸【解析】【解答】A、通过实验可以知道烧杯中的白磷没有燃烧，说明烧杯中的白磷虽然温度达到着火点，但没有与氧气接触，所以不能燃烧，从而可以判断烧杯中的热水不仅仅是只起到加热的作用，故A说法正确；B、铜片上白磷燃烧是温度达到了着火点且与氧气接触，满足燃烧的条件，故
32、B说法正确；C、铜片上的红磷没有燃烧是温度过低没有达到其着火点，没有满足燃烧的条件，故C说法正确；D、烧杯中的白磷通入空气（氧气）就会燃烧，出现“水火相容”的奇观，故D说法错误故选D24.能源、环境、安全已成为人们日益关注的问题 （1）三大化石燃料包括煤、_、天然气等；它们都是_（填“可再生”或“不可再生”）能源 （2）控制反应的条件可使燃料充分燃烧燃煤发电时，将煤块粉碎成煤粉的目的是_ （3）天然气主要成分为甲烷，写出甲烷充分燃烧的化学方程式_ 下列有关天然气（或甲烷）的说法正确的是_（填字母）A沼气中的主要成分是甲烷B甲烷气体不会产生温室效应C用天然气代替煤作燃料，有利于减少酸雨形成 Yo
33、u and your friends are leaving a concert on a Friday night.When you get outside,your ears are ringing.You have to shout to be heard.36 So no harm doneright?Not quite.Temporary buzzing may be easy to ignore,but repeated exposure to loud noise will eventually cause serious-and irreversible(无法治愈的)-hear
34、ing loss.A new study conducted by researchers at Brigham and Womens Hospital in Boston shows that one in five people between the ages of 12 and 19 are experiencing slight hearing loss,and one in 20 have mild hearing loss.37 But the good news is that there plenty of ways you can protect your ears fro
35、m further damage and still listen to the music you love:Ask around.Ask around.Put your earbuds in or your headphones on,and then ask a friend next to you whether or not he or she can hear what youre listening to.38 Turn it down.Buy noise-canceling headphones.Buy noise-canceling headphones.A pair of earbuds or headphones that fits comfortably will limit outside noise so that you can hear your music better at lower volumes.
