大数据实训平台课件.pptx

1、2015年大数据产业市场1100亿，2020 年市场规模将增长至 8000亿元2018 Lenovo Internal.All rights reserved.我们面临的时代机遇2018 Lenovo Internal.All rights reserved.大数据人才培养加速2016年2月，教育部公布新增“数据科学与大数据技术”专业，北京大学、对外经济贸易大学、中南大学成为首家获批高校。2017年3月，上海工程技术大学、北京信息科技大学、中北大学等32所高校获批，2018年3月，中国农业大学、中国石油大学、齐鲁工业大学等248所高校获批。2018 Lenovo Internal.All ri

2、ghts reserved.国民经济各行各业无不由数据驱动2018 Lenovo Internal.All rights reserved.人才的匮乏，阻碍了大数据应用落地痛点一：痛点一：大数据学习的门槛高，开发、操作环境安装困难，这成了很多人迈不过去的坎痛点二：痛点二：大数据的学习以及项目的应用，面临一个很现实的问题：想要的数据找不到，有了数据而不会用现状：现状：当前中国大数据人才缺口为1000万，技术岗位缺口超过150万现状与痛点2018 Lenovo Internal.All rights reserved.新工科的要求“新工科”建设复旦共识 8新工科建设需要社会力量积极参与。打造共商、

3、共建、共享的工程教育责任共同体，深入推进产学合作、产教融合、科教协同，通过校企联合制定培养目标和培养方案、共同建设课程与开发教程、共建实验室和实训实习基地、合作培养培训师资、合作开展研究等，鼓励行业企业参与到教育教学各个环节中，促进人才培养与产业需求紧密结合。教育部高等教育司关于开展新工科研究与实践的通知 一、主要内容3.人才培养的新模式：在总结卓越工程师教育培养计划、CDIO等工程教育人才培养模式改革经验的基础上，开展深化产教融合、校企合作的体制机制和人才培养模式改革研究和实践。2018 Lenovo Internal.All rights reserved.作为中国大数据人才培养的主战场，

4、高校需要一套全新的实践教学解决方案结论 2018 Lenovo Internal.All rights reserved.网络攻防大数据人工智能 整体架构 实训平台统一登录门户硬件 超融合 私有云云计算2018 Lenovo Internal.All rights reserved.2015 Lenovo Internal.All rights reserved.超融合大数据管理VM媒体VM试验机VM（Docker）数据处理数据采集数据存储大数据教学实训平台（含课程和试验）大数据科研实战平台（Leap HD大数据）大数据教学实训平台+科研实战平台登录门户-3节点HX1320(xeon 4116

5、*2,256G,480G*2,4T*2)-1台万兆交换机NE1032-实训管理及试验license-60并发用户-60台实训终端（PC或云桌面）-6节点SR650(xeon 4116*2,128G,240G*2,2T*3)-1台万兆交换机NE1032-Leap大数据平台license大数据实训+科研平台2018 Lenovo Internal.All rights reserved.两种部署形式 部署于校园网中 一次性付费 后续持续升级服务 部署于公有云中 按用户数及使用时间收费联想大数据2018 Lenovo Internal.All rights reserved.大数据实训教室服务器教室

6、学生终端2018 Lenovo Internal.All rights reserved.领会 项目式教学平台基于智能引擎的项目式学习平台，以任务的完成结果检验和总结学习过程等，改变学生的学习状态，使学生主动建构探究、实践、思考、运用、解决问题的学习体系。打造中国的EPITECH(European Institute of Information Technology)/欧洲理工学院。2018 Lenovo Internal.All rights reserved.以实践为核心项目教学+任务驱动能力提升 评测系统，用户画像，定制个性化学习计划 智能学习引擎，学习过程中可配置、自主调整路径 能力

7、评估引擎，针对学习记录分析，推荐就业职位2018 Lenovo Internal.All rights reserved.架构解决“无开发、操作环境”的痛点解决“无数据、怎么用数据”的痛点2018 Lenovo Internal.All rights reserved.项目教学核心-任务体系 视频任务，包括：300小时的认知、通识课程，150小时的大数据专业课程，450小时的实验、实践操作视频。习题与测验任务，以判断题、选择题为主的客观题，目前各类习题共有500多道。在线编程任务，以Java与Python为主的语法、算法编程练习，收录了语言基础、金典算法，以及BATJ等知名公司面试题。实验操作

8、任务，覆盖Java、Linux、Python基础，以及大数据相关生态系统所有框架组件，乃致数据分析、可视化技术等，共260+个实验，实验时长累计超过1000小时。视频习题与测验在线编程实验操作2018 Lenovo Internal.All rights reserved.任务类型（一）-视频 视频任务，包括认知、通识的理论课程，以及以实验、实践操作为主的视频课程。2018 Lenovo Internal.All rights reserved.四种类型的视频课程认识大数据(10讲)大数据与政府治理（10讲）医疗健康大数据(10讲）房产建筑大数据(6讲）现代金融大数据（5讲）城市规划大数据（1

9、0讲）城市交通大数据（4讲）社会关系网络大数据（9讲）SPSS统计分析R语言基础SAS数据统计分析案例分析及业务应用建模分析师数据分析概述产品需求的挖掘与分析大数据产品有计划的不断迭代与优化Python编程Java编程基础Hadoop基础Hive数据仓库MapReduce编程进阶数据库Hbase数据迁移工具SqoopFlume日志框架Kafka流式数据采集Storm实时数据处理Zookeeper开发Spark基础Scala编程语言Spark实时计算Spark SQL编程Spark MLlib机器学习数据处理实用案例海量网站日志分析搜索引擎搜索数据统计分析电商商品统计分析及可视化展现Spark

10、MLlib推荐算法应用企业大数据处理综合平台北京市二手房及租房价格分析案例汽车品牌口碑情感分析医疗咨询与疾病预测2018 Lenovo Internal.All rights reserved.面向培养目标的课程根据职位需求灵活组合 认识大数据(10讲)Linux基础Java编程基础Hadoop基础Hive数据仓库MapReduce编程进阶数据库Hbase数据处理实用案例企业大数据处理综合平台 认识大数据(10讲)SPSS统计分析R语言基础案例分析及业务应用数据分析概述北京市二手房及租房价格分析案例 认识大数据(10讲)数据分析概述北京市二手房及租房价格分析案例产品需求的挖掘与分析大数据产品有

11、计划的迭代与优化Hadoop基础企业大数据处理综合平台.2018 Lenovo Internal.All rights reserved.任务类型（二）-习题 以判断题、选择题为主的客观题，并以小节习题，单元测验的形式考核学生。2018 Lenovo Internal.All rights reserved.任务类型（三）-在线编程在线的判题系统（Online Judge），用户可以在线提交程序（如Java、Python）源代码，系统对源代码进行编译和执行，并通过预先设计的测试数据来检验程序源代码的正确性。2018 Lenovo Internal.All rights reserved.任务类

12、型（四）-实验操作覆盖Java、Linux、Python基础，以及大数据相关生态系统所有框架组件，并且包括数据分析、可视化技术等工具、平台的应用操作实验。2018 Lenovo Internal.All rights reserved.实验任务及环境（260+）l Hadoop伪分布模式安装l Hadoop完全分布模式安装l Hadoop开发插件安装l HDFS JAVA API操作l Mapreduce实例wordcountl Mapreduce实例去重l Mapreduce实例排序l Mapreduce实例求平均值l Mapreduce实例Map端Joinl Mapreduce实例Redu

13、ce端Joinl Mapreduce实例单表Joinl Mapreduce实例二次排序l Mapreduce实例倒排索引l Mapreduce实例Chainmapper&Chainreducerl Mapreduce实例MapReduce自定义输入、输出格式l Hive安装l Hive基本操作l Hive查询l Hive 各种排序之间的区别l zookeeper安装l HBase安装l HBase JAVA API读写数据l HBase的过滤器l 综合案例：MapReduce读HBasel 综合案例：MapReduce写HBasel 综合案例：Mapreduce读HBase并写入HBase20

14、18 Lenovo Internal.All rights reserved.应用场景(一）教学辅助实验 作为教师讲授专业课的辅助，为课后提供各种实验环境与实验任务指导书，减轻老师的负担。2018 Lenovo Internal.All rights reserved.应用场景（二）实训课程作为辅助教学，为老师开设的大数据专来课程提供从理论讲解、课后习题、上机实验等一系列内容，前、后成体系贯穿，解决学校无法开展新工科教学的痛点。2018 Lenovo Internal.All rights reserved.应用场景（三）就业培训根据就业岗位的能力模型及须掌握的知识体系，以项目教学法，设计成以

15、知识点为单元的任务，通过任务驱动引擎引导学生完成一个个任务，最终完成真实的项目。岗位包括：大数据开发工程师、大数据分析师、大数据产品经理等。2018 Lenovo Internal.All rights reserved.联想大数据科研实战平台2018 Lenovo Internal.All rights reserved.联想大数据科研实战平台功能数据采集转换套件l整合平台基础和挖掘能力，提供灵活的数据服务。l全源数据整合能力，快速汇聚各类数据。l一体化的数据资产管理体系。分析应用套件l提供灵活多样的界面化分析展示。l自动化智能运维，易用易管理。系统运维管理大数据计算与存储l高性能数据存储和

16、计算平台，快速处理与分析。2018 Lenovo Internal.All rights reserved.大数据实战平台优势大数据实战平台特点：全数据整合能力：突破传统架构和性能瓶颈，提供五十多种数据接入适配能力，全图形化配置。完整SQL兼容能力：全面支持SQL 99/2003语法和存储过 程，支持数据的增删改查处理能力，保证传统企业数据处理流程的无缝迁移。海量数据实时处理能力：深度优化实时计算引擎，可支持物联网百万传感器的实时采集需求，实现500MB/s的传感器数据的 实时预警分析能力，支持分钟粒度的突发事件预警。一站式图形化的数据开发套件：提供强大的开发组件环境，提供丰富的图形化管理和开

17、发界面，支持运行、调试、日志跟踪、结果预 览等功能，极大地方便业务人员的使用。最高标准数据安全保障：平台支持细粒度的数据访问控制，并扩展了多租户管理及资源隔离。全球实践验证的一流可靠性：是国内最大的制造企业数据集群，系统经受了9PB级复杂业务的实战锤炼，实现99.9%的全球高可用性。2018 Lenovo Internal.All rights reserved.行业数据地区房产法律咨询股票基金交易汽车数据疾病问答天气气象电商评价全球影评全球书评农业生鲜食品价格搜索引擎访问日志更多0402060810111209070503012018 Lenovo Internal.All rights r

18、eserved.案例北京信息科技大学计算机学院案例：一个班的学生利用平台进行为期4个月的实训，同学们可以在平台上学习教学视频、答题练习、完成老师布置的实验任务，最得非常好的学习效果。2018 Lenovo Internal.All rights reserved.案例山西中北大学中北大学软件学院“大数据实训基地”案例：支持120名学生同时登录平台学习教学视频、答题练习、完成老师布置的实验任务；老师及学生可以应用实战平台进行科研、毕业项目设计。2018 Lenovo Internal.All rights reserved.案例 齐鲁工业大学“大数据实训项目”：为学校提供主流的技术路线和大数据平

19、台，满足学主流的技术路线和大数据平台，满足学生生教学教学实训和教师科研实训和教师科研实战实战的需求，提供丰富的工业数据集真实模拟实战训练。的需求，提供丰富的工业数据集真实模拟实战训练。2018 Lenovo Internal.All rights reserved.特点及优势 优势二优势一优势四优势三资源优势提供云解答专区，在浏览器中实现桌面分享、共享的功能，助教可以远程协助、陪练。解决IT远程教育的交互问题。远程“手把手”基于B/S架构与Docker容器技术，学生可以在任何地方学习、实验+实战=能力提升，以及评价与考核，获取专业证书。一站式解决方案基于大数据、AI的学习推荐引擎，把课程设计成以“问题”和“任务”组成的知识体系，促使学生去思考、去完成任务、去解决问题，使学生真正掌握所学知识。实现标准化、无讲师的创新！智能的“任务驱动”引擎依托“全国高校大数据教育联盟”，建立全国最大的大数据教育流量池；2000多个CIO企业、中关村大数据产业联盟600家企业、iTechClub500互联网公司；