XX超算大数据平台可视化产品设计方案.pptx

1、大数据可视化产品设计方案1公司介绍1大数据产品介绍2教育大数据解决方案3目录交通大数据解决方案4政府大数据解决方案5医疗大数据解决方案63大数据产品介绍P R O D U C T FEATURES数据产品架构4数据源基础产品解决方案公安交通教育医疗政府电力工业4.0运营商XX数据平台数据可视化ETL数据采集非结构化数据实时数据采集数据采集系统大数据资源管理系统数据质量监控系统数仓建模系统可编程API工作流调度系统业务分析建模算法模型库图形化报表ETL工具运维管理可 视 化 的 集 群 管 理多 样 的 部 署 方 式多 维 度 的 监 控信息系统ERPCRMSCM机器日志音视频物联网社交媒体非

2、结构数据大数据基础产品5基础产品6以大数据技术（Hadoop、Spark）为底层 架构，集合大数据全部技术模块，运算速 度是传统数据处理的1000倍。XX超算从 数据采集、存储、计算、调度、高级搜索 等核心功能，并基于云计算科学管理数据，保证数据的安全性和稳定性，同时针对实 时计算业务应用特别调优，追求极致的运 算速度，为大规模数据的管理和计算而生。非结构化数据是数据结构不规则或不完 整，没有预定义的数据模型，不方便用 数据库二维逻辑表来表现的数据。包括 所有格式的办公文档、文本、图片、XML,H T M L、各类报表、图像和音频/视频信息等等。除XX超算数据平台的非结构数据采集 工具外，还针

3、对机器日志数据专门设计将结构或非结构数据转换成适当的可视 化图表，然后将隐藏在数据中的信息直 接展现于人们面前，在可视化图表工具 的表现形式方面，图表类型表现的更加 多样化，丰富化。数据可视化系统底层与XX超算数据平 台对接，上层与业务模型算法对接，通 过托拉拽的形式轻松完成数据可视化基础产品大数据共享平台7 XX超算数据共享平台价值在于帮助客户建设数据中心，实现业务系统与数据中心对接，促进数据融通共享，为状 态数据的实时采集与动态分析提供保障，解决数据孤岛问 题，为数据分析、维护提供最佳基础；以大数据技术（Hadoop、Spark）为底层架构，集合大 数据全部技术模块，运算速度是传统数据处理

4、的1000倍。XX超算从数据采集、存储、计算、调度、高级搜索等核 心功能，并基于云计算科学管理数据，保证数据的安全性 和稳定性，同时针对实时计算业务应用特别调优，追求极 致的运算速度，为大规模数据的管理和计算而生。数据可视化数据实时检索数据挖掘数据分析实时检索引擎Hadoop非实时检索引擎数据分析缓存Hadoop分布式持久化存储知识库标签化结构化处理数据清洗过滤引擎内部数据源非结构化数据源弹性爬虫引擎集群APID M P行业解决方案业务分析平台外部数据源MySQL/Redis/Mongo/Pig，ElasticSearchSpark/HiveKafka/RedisETL/Flume/Sqoop

5、最终交付数据分析&检索数据索引&缓存持久化存储数据标签化数据清洗数据获取基础产品非结构数据采集9 非结构化数据采集是将不规则或不完整，没有预定义模型的数据进行采集并清洗翻 译，。包括所有格式的办公文档、文本、图片、XML,H T M L、各类报表、图像和音 频/视频信息等等。除XX超算数据平台的非结构数据采集工 具外，还针对机器日志数据专门设计了日 志采集工具，使机器数据更加方便的管理基础产品非结构数据采集 合规性要求 满足网络安全法的合规性要 求，实现网络日志采集、存储、管理、检索 日志作为数据资产 将日志数据作为数据 资产进行管理，为数据综合开发进行数据储备 日志分析展示 直接利用分析展示

6、功能，进行对日志分析、处理、可视化展现 日志预处理 将日志工具作为日志的预处 理工具，为其他应用程序提供数据支持。10基础产品数据可视化11交通行业解决方案TRANSPORTATION INDUSTRY SOLUTIONS12【解决方案】交通大数据河北高速公路13 该项目是国内高速公路交通领域首个大数据平台 应用。项目以推进“互联网+”在高速公路运营 管理和公众出行服务中的运用为目标，结合河北 高速本地信息化建设现状及实际用户需求，制定项目策略规划，并实现了路况、微波车检、ETC、设备状态、M T C、气象等多源异构海量数据的抽 取整合管理及基于Hadoop的存储计算，彻底打 破了河北高速各类

7、数据的信息孤岛现象。平台还实现了路况数据、收费数据、气象等数据 间多维度关联分析和挖掘应用，为保障路网运行 和决策调度提供多层次实时、有力的数据支撑。【解决方案】交通大数据车辆特征识别系统14基于车辆品牌的落脚点分析、首次入城、同行车辆分析、频繁过车、套牌车辆筛选、行车轨迹重 现、包围圈查 询等经过实战检验的公安实战功能。交通大数据车辆特征识别系统15数据架构图车辆特征识别系统以图搜车，快速检索对于有明显特征的嫌疑车辆，比如年检标志、纸 盒、吊坠挂件、碰撞标记等进行以图搜车。系统特点:1.图像特征预提取、结构化识别。2.支持多区域特征复合搜索。3.支持相似度、车型、车牌号、车身颜色 检 索排序

8、。16车辆特征识别系统17夜间车辆特征识别以图搜车系统针对夜间车辆图片的特点，设计了独特的夜间车辆图片识别算法，通过对夜间各种 光照条件 下的卡口图片特征进行机器学习，构建夜间车辆特征模型。保证夜间车辆识别具有极强的鲁 棒性(抗干扰性)和适应性。车辆特征识别系统面部遮挡检测系统自动检测车辆驾驶员放下遮阳板或者遮挡面部的异常行为，特别是夜间放下遮阳板的车辆是作案重点 排查对象。18车辆特征识别系统19不系安全带自动检测不系安全带检测系统，利用机器深度学习的算法，通过对卡口图片的多种特征进行分析，全自动检测驾驶员是否佩戴安 全带解决方案:1.检测速度快，可支持海量卡口图片 分析，普通 服务器每天可

9、处理50万张左 右的高清图片2.自动过滤有争议图片，降低人工复 审核成本。系统准确率高，大于90%3.违章图片数据实时推送给交警违章 处罚平台可 处罚基于PG I S(公安警用地图)的可视化展示20丰富的图上作业:卡口点位可视化展示、车辆行驶轨迹重现和播放、卡口点位地图选 择、地图测距等功能立体化防控体系 人车轨迹关联21政府行业解决方案G O V E R N M E N T INDUSTRY SOLUTIONS22政务大数据应用领域23政务大数据平台总体架构24【解决方案】精准扶贫25紧紧依托识别对象、帮扶措施、项目安排、资金管理、退出机制、干部选 派、管理监督、考核评价、督促检查“九个精准

10、”为核心判 断依据来建设 运行精准扶贫监管平台。对象识别精准化扶贫资金公开化扶贫数据融合化扶贫主体明确化扶贫部门协作化扶贫项目责任化对象 监管项目 监管绩效 监管【解决方案】公共资源交易分析 实现对依法必须招标的项目进行统计分析研究，为行政监督部门提供数据统计分析服务 实现对招标项目、标段信息、中标单位、中标金额、中标项目经理(总监)等数据进行统计。实现对招标人、招标代理、投标人、社会公众、各类接入平台等注册使用情况进行统计26【解决方案】信用大数据27【解决方案】社区网格化管理28【解决方案】纳税人全景画像29纳税人画像是借鉴用户画像的概念，基于大数据技术，通过数据特征工程对纳税人进 行全方

11、位描述，通过标签体系加以呈现，抽 象出一个纳税人的信息全貌。【案例展示】鄂尔多斯国税局可视化展示30【案例展示】广州地税政务数据项目31【案例展示】广东省网上办事大厅数据监测系统32【案例展示】河南省政务数据共享交换平台33【案例展示】贵州省信用大数据分析34教育行业解决方案EDUCATION INDUSTRY SOLUTIONS35校园综合情况分析产品 观星台校园综合情况分析平台 基于教育大数据的专业解决方案，产品从高校所关注的重要指标为主线，包括 招生、教学、舆情、信息化、网络安全、学 生安全、科研成果、一卡通、图书馆等方面 建立分析模型。与高校共同建立业务模型，共同挖掘数据价 值，辅助校

12、领导进行管理决策。36校园信息化发展趋势37互联网校园校园网建设，宽带接入互联网 为教学、科研、管理提供网络 才做的基础环境信息化校园数字化校园实现教学资源共享，电子办公，校园一卡通，教学 教务等校园实际应用大数据校园整合信息化数据，通过高级计 算对数据进行挖掘建模，辅助 教学决策，预测未来第一阶段第二阶段第三阶段高校数据痛点38数据管理 无标准多业务系统数 据分散不可见无法预判 无法辅助决策专业大数据 人才匮乏无法监控 业务过程非结构化数据 无法挖掘价值传统校园信息化“痛点”高校潜在大数据39校园业务系统结构化为主，部分非结构化互联网数据非结构化为主机器数据非结构化为主数据 来源一所高校大约

13、数据量业务系统数据50G全部无线接入数据200G1个月上网日志数据12T1个月教务系统招生就业学工系统资产一卡通监控图书馆微博Q Q微信贴吧新闻监控W i Fi 路由门禁一卡通机器设备大数据是信息化技术的延伸40现实 业务业务 数据传统信息系统体系业务 系统业务自动化数据沉淀无法完成的任务：1.校园信息全貌无法集中展现2.多维度业务数据无法联合分析3.对学生状态的感知不即时4.数据管理难度大不标准现实 校园大数据分析 平台大数据系统体系数据建模智能智能特征的补充，为高校新的管理理 念提供技术的可行性依据：1.被动向主动转化；2.管理向运营及服务型的转化；大数据是信息 化技术的延伸产品架构41大

14、数据技术模块一卡通业务系统数据机器数据W eb日志无线认证日志教务学工图书馆学籍科研车流量视频监控新闻微博贴吧 论坛互联网数据D PI 数据领导驾驶舱决策辅助综合校情评教舆情招生综合分析教师人口分析学生人口分析教学质量分析学生行为分析教学压力分析学生画像科研成果分析绩点成绩分析毕业生预警口碑舆情监控图书馆分析一卡通分析网络行为监控监控图像识别安全失联预警就业综合分析数据管理集群产品亮点42校风校风声誉声誉高校在社会口碑 外界负面评价 突发事件传播招生招生质量质量招生计划完成度 招生策略制定 新老专业认可度学生学生安全安全心理异常预警 失联预警恶劣学生行为教学教学质量质量学业预警院系专业教学评估

15、 毕业学位通过率就业就业质量质量毕业去向统计 就业行业情况 专业对口情况用户用户画像画像学 生 画 像 教 师 画 像 贫困生画像观星台亮点价值43学业预警:通过历史成绩、借书情况、上网情况、早餐次数、惩罚记录等信息进行深度挖 掘分析，实时呈现校园完成学业存在风险的人群。及时识别、及早干预，帮助学生回到正确的轨道上来。沉迷游戏预警:通过上网时长、上网应用、上网时间段、学习成绩、就餐规律、宿舍门禁记录等信 息进 行深度挖掘分析，实时呈现校园沉迷游戏的人群。及时识别、及早干预，帮助学生迷途知返，顺利完成学业。疑似贫困人群:通过月均消费金额、每餐消费金额和超市购物等信息进行深度挖掘分析，识别 真正的

16、贫 困生，甄别伪贫困生。实现精准扶贫，实现资源的公平分配。观星台亮点价值44孤僻人群预警:通过消费记录、借书记录、门禁记录、上网时间段、社交媒体发帖等信息进行 大数据深 度分析和挖掘，识别出校园孤僻人群。及时预警、及时进行心理疏导，避免引起校园悲剧。疑似失联预警:通过消费记录、校园网登录记录、宿舍门禁记录、学校大门出入记录等信息进 行深度挖 掘分析，实时呈现校园疑似失联的人群。及时预警、尽早采取措施，消除安全隐患。疑似裸贷人群:通过异常消费记录、异常行动轨迹、异常门禁记录、异常上网记录、异常社交 媒体言论 等信息进行深度挖掘分析，识别校园疑似裸贷人群。尽早采取措施偿还贷款，消除人身安全威胁，避

17、免走上不招生综合情况分析COMPREHENSIVE ANALYSIS OF ENROLLMENT招生宣传效果分析不同招生渠道、形式的效 果，数据分析后调整招生 策略专业认可度新老专业在各个地方生源 情况，分析专业在不同地 域的认可度全校招生趋势历年全校招生情况，以及 预测未来招生趋势，热点 地域分析院系生源地分析每个院系、班级可直接了 解学生来源地域的情况生源地热力分布通过全国地图了解生源地 总体情况，热力颜色可了 解主要生源地区，可下钻 到县市级别学生综合情况分析COMPREHENSIVE ANALYSIS OF STUDENTS学生人口数据分析通过对学生学籍、来源地、性别、人数等人口信息统

18、计 相关数据进行分析，了解全校学生概貌成绩综合情况分析针对学生绩点成绩和及格率以及其他毕业和学士学位相 关成绩进行分析毕业生预警通过学生成绩分析对即将毕业但不符合毕业标准的学生 进行预警，辅助辅导员采取措施。学生画像/类型标签根据业务建立学生的用户画像，通过分析学生的行为数 据可以给每个学生进行定性标签。就业综合情况分析COMPREHENSIVE ANALYSIS OF E M P L O Y M E N T就业率趋势分析就业薪酬分析就业单位分析能够分析学生就业单位类型、以及单位所处行业 领域，可分析得出专业对口企业，以及与高校匹 配度高的企业通过分析就业率的发展趋势来判断高校教学 质量的具体

19、成绩，从而调整教学方式和内容。了解毕业学生的去向，包括就业、创业、待业、读研等方面，以及IT类职位或非IT类职位等方面。毕业去向分析就业全球分布通过全球地图，查看高校毕业学生就业 企业分布情况，了解人才走向并挖掘。了解就业学生的薪酬福利，分析可得出 不同专业毕业后的薪酬待遇情况。专业对口程度专业课程内容与企业需求度的匹配对口程度，通 过分析数据和结果报告来调整专业课程内容，已 达到培养合适市场的人才教师综合情况分析COMPREHENSIVE ANALYSIS OF TEACHERS教师队伍的整体水平是高校教育质量的保障，通过业务数据对不同职称的教 师进行分析，可以帮助教师人才引进、教师工作压力

20、饱和度、教学质量评估、科研项目成果等方面进行观察，直接找到提升或预防依据。根据数据建模设计教师画像，可以对教师进行类型细分，更容易定位，找到 每个老师擅长的业务内容。教师数据档案，使教师基本信息、所授课程、教学质量、科研成果、工作强 度级别、业务类型一目了然，尽收眼底。教师数据档案教师人口分析教学质量评估深度算法模型人数学历性别关联学生成绩出勤情况工作压力负荷度职称专业教龄科研项目成果热点课题产出业务类型画像毕业校合同期师生比分析学生满意度工作活跃度口碑声誉舆情监控 互联网的广泛应用令信息高速传播的同时也导致了高校舆情事故的频发，高校如何进行网络监控和对重大事 件预警、如何面对危机中的网络舆论

21、、如何合理利用媒体正确引导舆论，扭转被动局面，维护校园安全稳定，正是令高校无从下手的顽疾。观星台的口碑声誉舆情监控让学校维护良好的形象势在必行。通过爬虫引擎抓取互联网数据，并与预设预警主题关键词进行对比分析，实时监控互联网舆情信息，针对校 园敏感事件做出及时预测并提供预警报告，有效辅助领导决策，大幅度缩小高校敏感舆论事件的传播范围。W O R D O F M O U T H REPUTATION PUBLIC OPINION MONITORING信 息 爬 取信 息 拆 解自 定 义 分 类持 久 化 存 储预 警 机 制报 告 定 制设 置 监 测 时 间信 息 呈 现舆情信息呈现短信提醒邮

22、件提醒平台提醒科研成果热点追踪HOT PURSUIT OF SCIENTIFIC RESEARCH研 究 热 点 爬 取语 义 化 分 析热 点 追 踪持 久 化 存 储对本校科研数据进行分析，可清楚的得知每个科研项目的成果、企业贡 献、科研投入产出等结构。通过对中国知网、万方数据等主流学术型网站内容爬取，并进行语义分 析，可及时了解当下科研热点，从而指导本校科研组的课题方向，紧贴 科研领域趋势，保持前沿的科技成果。当下最热的研究方向研究课题是否前沿科研成果有哪些哪些企业对科研有贡献科研投入是否科学学生行为追踪分析STUDENT BEHAVIOR TRACKING ANALYSIS停留1次 9

23、:00-9：10停留1次 9:20-10：30停留1次 10：40-12：40停留2次 13：40-14：4016：00-17：40最后一次到达 18:00计算机学院王思洋1402566449：00宿舍下线9：20第二食堂上线10：00第二食堂下线10：20教学楼12上线11：40教学楼12下线上一页下一页行为数据追踪通过W i-Fi 探针或A P日志数据关联分 析掌握学生在校行为轨迹重点学生行为监控高度关注有处分或不良记录的学生 对该范围的学生进行行为监控学生失联预警对学生异常行为建模，根据实际学生 行为数据进行预警应用场景：高危险学生监控HIGH RISK STUDENT MONITORI

24、NG上网访问记录一卡通消费记录行为轨迹追踪学习成绩追踪师生关系监控学习成绩较差夜不归宿无故旷课辅导员评价低室友不满高危学生模型画像行为数据监控记过处分记录学生关系监控高危险学生名单达到高度 预警级别微信短信 邮件应用场景：学生心理问题预警EARLY W A R N I NG OF STUDENTS PSYCHOLOGICAL P R O B L E M S图书馆一卡通数据平台上网行为分析模型实例上网记录突增，有沉迷网 络游戏的趋势图书馆借阅大量言情小说上课出勤记录不佳，常有 迟到、旷课吃饭时间不规律预警级别：高预警级别：普通预警级别：低学生失 恋 感 情 问 题 沉 迷 网 络 游 戏 学习问

25、题性格与情绪问题 人际关系问题心理老师程度分级辅导老师通过对其学习和心理状况进行干预和引导，将问题解决在萌芽状态预警应用场景：科学建设专业学科SCIENTIFIC CONSTRUCTION DISCIPLINE学科建设计划学科专业方向教学方案规划通过观星台多个模块辅助决策新专业的建立和传统专业的改革等优化工作教学质量评估就业质量评估招生策略教学内容设置就业安排优化学科 建设工作招生效果评估专业认可度宣传效果追踪历年趋势分析生源地分析生源地排名招生策略建议及格率分析绩点成绩分析历年趋势分析学生主动性科研成果分析毕业生分析专业对口度毕业去向分析就业地区分析就业单位分析就业薪资水平就业趋势变化学生预

26、警，实时识别有学业危机的学生55疑似失联预警，实时识别失联学生56服务于教师管理教师画像:通过全面分析一名教师的教学情况、科研情况、阅读习惯、消费习惯、上网习 惯等情况，从而从多个维度为老师贴上 标签，勾勒出教师的的个人综合画像。可以用于教师工作量评估、教师潜力评估、教师绩效评价的 重要参考依据。教学质量评估:根据学校积累的教学成绩、选课情况、学生评价、学院评价 等因素综合交叉 分析，梳理教学任务与教学质量的关联，对教师的教学质量给出定量评价。可发掘有潜力的优质教师，作为教师开课、学生选课的依据。57服务于业务决策学生就业分析:通过对过去多年的就业率、薪酬、行业、城市、生源地、动态等因 素与学

27、院、专业、学历、性别等维度进行深度交叉分析，全面呈现 学生就业状况。可以为优秀的生源提供专业方向选择指导意见，为毕业生做好就业 指导工作，为学校的专业调整、定向师资引进提供详尽的数据支撑电子图书资源利用分析:通过详细分析电子资源的点击率、下载率、热门搜索关键词、重点 学科或实 验室、重要科研项目等信息进行大数据分析和历史数据的 深度学习，挖掘师 生对电子资源的需求。有效梳理师生的需求，为电子资源采购提供详尽的数据支撑。58服务于毕业生学生画像(移动版):全面回顾学生本人在大学期间的学习成绩、社会实践、图 书馆 阅读、生活轨迹、消费记录、上网行为等各方面的情况，以时光 轴的形式、充满感伤的文字呈现出来。作为毕业生大学期间学习生活的一种总结，讲述的是大学 校园 流逝的光阴故事，表达的是对母校依依不舍的珍贵情怀。59医疗行业解决方案HEALTHCARE INDUSTRY SOLUTIONS60医疗大数据技术架构61大数据辅助医疗62自动选择数据集，任意维度分析展示63临床科研平台的核心价值是为各种应用提供数据支撑!全文检索64诊疗过程质量管理65面向诊疗过 程的质量管理，帮助医院实现持续的质量改进药物效果及不良反应监测66经营状况分析67整合院内经营数据，以可视化的方式展现运营绩效、质量监测、重点监管及就诊患者 画像分析。住院时间预测68谢谢69