1、“1+X”大数据平台运维职业技能等级证书（中级）-实操练习题库目录Hadoop平台及组件的部署管理 -1 -一、 Hadoop HA 部署 -1-二、 Spark组件部署 -3-三、 Kafka组件部署 -4-四、 Storm组件安装部署 -5-I“1+X”大数据平台运维职业技能等级证书（中级）-实操练习题库Hadoop平台及组件的部署管理注意：任务安装包统一在“/h3cu/”中。编号主机名类型用户密码1master1-1主节点rootpasswd2slave1-1从节点rootpasswd3slave1-2从节点rootpasswd一、 Hadoop HA 部署本环节需要使用root用户完成
2、相关配置，安装Hadoop需要配置前置环境，具体部署要求如下：1、 解压JDK安装包到“/usr/local/src”路径，并配置环境变量；截取环境变量配置文件截图；2、 在指定目录下安装ssh服务，查看ssh进程并截图（安装包统一在“/h3cu/”）；3、 创建ssh密钥，实现主节点与从节点的无密码登录；截取主节点登录其中一 个从节点的结果；4、 根据要求修改每台主机host文件，截取“/etc/hosts”文件截图；5、 修改每台主机 hostname 文件配置 IP 与主机名映射关系；截取 “/etc/hostname”文件截图；6、 在主节点和从节点修改Hadoop环境变量，并截取修改
3、内容；7、 需安装Zookeeper组件具体要求同Zookeeper任务要求，并与Hadoop HA环境适配；8、 修改 namenode、datanode、journalnode 等存放数据的公共目录为 /usr/local/hadoop/tm；p9、 根据要求修改Hadoop相关文件，并初始化Hadoop，截图初始化结果；10、 启动Hadoop，使用相关命令查看所有节点Hadoop进程并截图；11、 本题要求配置完成后在Hadoop平台上运行查看进程命令，要求运行结 果的截屏保存；12、 格式化主从节点；13、 启动两个namenode和resourcemanager；14、 使用查看进
4、程命令查看进程,并截图（要求截取主机名称）,访问两个 namenode和resourcemanager web界面.并截图保存（要求截到url状态）15、 终止active的namenode进程,并使用Jps查看各个节点进程,（截上主-3 -“1+X”大数据平台运维职业技能等级证书（中级）-实操练习题库 机名称）,访问两个namenode和resourcemanager web界面.并截图保存 （要求截到url和状态）；16、 重启刚才终止的namenode,并查看jps进程,截图访问两个namenode 的web界面,并截图保存。二、 Spark组件部署1、 需前置Hadoop环境，并检查H
5、adoop环境是否可用，截图并保存结果；2、 解压scala安装包到“etc/local/src”路径下，并更名为scala，截图并保存 结果；3、 设置 scala 环境变量，并使环境变量只对当前用户生效，截图并保存结果；4、 进入scala并截图，截图并保存结果；5、 解压Spark安装包到“etc/local/src”路径下，并更名为spark，截图并保 存结果；6、 设置Spark环境变量，并使环境变量只对当前用户生效，截图并保存结果；7、 修改Spark参数配置，指定Spark slave节点，截图并保存结果；8、 启动Spark，并使用命令查看webUI 结果，截图并保存结果；显示
6、图如以下示例：-5 -“1+X”大数据平台运维职业技能等级证书（中级）-实操练习题库主节点wondAddr*ttSU tworker-2O161t2411M4M92 I8 38 13O44BB4192 1 田 3 13O44S4AUVEWrW-2O11245U92 *5S3 131-479311921381314731WOrter-2016112411MU192 168 3 129-37800192 163 3 129 378AUVESpark Master at SPark:maste匚7077VMV sptjm6er 707?tl$T URL: spark Atnwjer 6066 Z*
7、eo1iA*r VrofKg 3Com m u“： 3 Total, D usedMMnOrY m us: 3.D Ge TCai, OOB UsedApp*cjtos: O %mng, D CrrietEdDrivers: 口 Running OgretelIStatus: AUVEWorkers-8 -从节点2Q.1Spark Master at SPark:SlaVel :7077URL： spark7slave7077REST URL： spark Slave 1 6066 (fer mode)Alive Workers: OCores in use; O Total. O UsedM
8、emory in us: 0.0 B Total. 0.0 B UsedApplications: Running, O completedEi婚，口 rHi件咿j- Status: STANDBY.WorkersWorkerldAddressRunning ApplicationsApplication IDNam。CoresMemory per NodeCompleted ApplicationsApplication idNameCoresMemory per Node三、 Kafka组件部署1、 需安装Zookeeper组件具体要求同Zookeeper任务要求，并与Kafka环境适配，
9、启动Zookeeper并截图保存结果；2、 解压 Kafka安装包到“/usr/local/src”路径，并修改解压后文件夹名为 kafka，截图并保存结果；3、 设置Kafka环境变量，并使环境变量只对当前root用户生效，截图并保存 结果；4、 修改Kafka相应文件，截图并保存结果；5、 启动Kafka并保存命令输出结果，截图并保存结果；6、 创建指定topic，并截图并保存结果；7、 查看所有的topic信息，并截图并保存结果；8、 启动指定生产者（producer），并截图并保存结果；9、 启动消费者（consumer），并截图并保存结果；10、 测试生产者（producer），并截
10、图并保存结果；11、 测试消费者（consumer），并截图并保存结果。四、 Storm组件安装部署1、 前置安装Zookeeper集群，截图并保存结果；2、 解压 Storm 安装包到“/usr/local/src”路径，并修改解压后文件夹名为storm，截图并保存结果；3、 配置“conf/storm.yaml”文件，截图并保存结果；4、 传送配置好的“conf/storm.yaml”文件，截图并保存结果；5、 配置nimbus.seeds文件，截图并保存结果；说明手册注明文件storm/Config.java6、 配置supervisor.slots.ports，截图并保存结果；7、 拷贝主节点Storm包到从节点，截图并保存结果；8、 设置Storm环境变量，并使环境变量只对当前root用户生效，截图并保存 结果；9、 在主节点和从节点启动，并截图保存（要求截到url和状态）。
