1、汪灏 2013.4.13大数据介绍分享大数据介绍分享什么是大数据？什么是大数据？大数据的大数据的定义定义Gartner的定义：“大数据”是需要新计算模式才能处理的，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点：Volume：数据规模巨大（TB-PB 量级）；Velocity：数据产生速度快，数据响应处理速度快；Variety：数据形式多而杂乱。多渠道、多媒体、多用途；Value：数据价值分散。单体价值低，数据量越大，价值越明显。数据的来源和去向数据的来源和去向Analytical SystemsReporting SystemsBusiness
2、 IntelligenceCorporate Performance ManagementDataWarehouseData MartsPortal/Dashboard 建模建模识别识别置信置信级联级联监管监管集成集成多源数据集多源数据集数据交换数据交换 平台平台BI&Reporting数据仓库数据仓库分析型分析型系统系统操作型系统操作型系统智能设备智能设备大数据兴起的原因大数据兴起的原因海量信息的出现海量信息的出现 互联网的普及导致信息供应的社会化和即时化趋势 智能控制和联网设备的增加提供了大量的实时控制信息 多媒体技术的成熟导致信息形态的多元化呈现相关技术的成熟到位相关技术的成熟到位 不断
3、升级换代的网络技术保证了数据存取的响应速度 日趋低廉的存储成本为大数据的保存提供了可能 云计算等技术的出现极大提高了数据处理性能快速获取信息的需求快速获取信息的需求 个人和企业面对海量的数据面临选择困难 数据而非经验越来越成为决策的重要依据 信息获取的速度有时比质量更重要供应供应需求需求能力能力大数据的产业链大数据的产业链数据生产方数据保有方数据处理方数据消费方大大数据带来哪些变革？数据带来哪些变革？思维变革思维变革关注数据的全体，而不是样本 抽样样能节省分析时间，但也有无法预知的风险 技术进步使得基于全体的分析成为可能关注数据的数量，而不是个体的质量 规模化的数据可以抵消单一数据的低质量问题
4、 多来源、多媒体的数据提供了多样化的价值 数据的非结构化恰恰是其自然形态的表现关注数据的量化关系，而不是逻辑关系 存在即合理。事实比推理分析和专家建议更可靠。不是每一种关联性都能容易找到逻辑关系“知其然，而不知其所以然”也能提供巨大的商业价值技术变革技术变革云计算：云计算：把集中的运算分散开来把集中的运算分散开来物联网：物联网：把分散的设备连在一起把分散的设备连在一起H Hadoopadoop：把大数据切：把大数据切成小模块成小模块大大数据带来的风险和挑战数据带来的风险和挑战数据隐私谁有权使用我们的个人信息？电信？淘宝？QQ？政府有权滥用个人信息吗？Big data is big brothe
5、r?!如何适当有效地披露公众信息？数据安全数据量大，黑客就不容易找到攻击方向了吗？仅仅隐匿某些信息能够保证数据不被盗用吗？一切都在网上，谁来监督数据安全公司？数据暴力洞悉过去就可以预知未来吗？有意图就一定会去做吗？客观数据能完全替代人的主观感受吗？如何应用大数据？如何应用大数据？Market Basket AnalysisMarket Basket AnalysisSupport(A B)=transactions containing every item in A and B all transactionsSupport(C-A)=2/5=0.4 ABCACDBCDADEBCEFrom
6、BiMBA MIS Course PPT by Leida Chen推荐引擎示例推荐引擎示例基于年龄和性别的推荐基于内容的推荐基于用户的协同过滤的推荐基于项目的协同过滤推荐京东京东通过大通过大数据挖掘进行关联营销数据挖掘进行关联营销购物篮购物篮/协同过滤算法协同过滤算法 交叉购买规交叉购买规律律 近邻聚类分析近邻聚类分析/预测模型预测模型 个性化购个性化购买规律买规律推荐页面区块的推荐页面区块的A/B测试测试京东后台系京东后台系统统（商品图片、库存、价格、促销信息）京东推荐系统ACN RulesJD Rules跟踪指标跟踪指标ADO 采用线上采用线上A/B测试的方式实际优化规则测试的方式实际优
7、化规则项目项目KPI:推荐所带来推荐所带来的平均客单的平均客单价提升价提升辅助辅助KPI:推荐销售额推荐销售额/销售量的销售量的占比提升占比提升推荐商品转推荐商品转化率提升化率提升 关联推荐是通过客户行为，分析算法导出推荐规则，在京东主商品页面进行实时的关联推荐，用以推动业务指标提升-通过一系列数据挖掘算法挖掘客户的购买规律-再将推荐规则输入至现有推荐系统-持续优化业务指标数字营销数字营销汉莎航空提供多个维度让客户选择和打分基于客户偏好推荐汉莎航空基于客户偏好推荐航班汉莎航空基于客户偏好推荐航班NetflixNetflix在在“纸牌屋纸牌屋”上的成功上的成功基于3300万订阅用户观看习惯的大数据分析BBC已获成功的热播题材金牌导演David Fincher老戏骨主演Kevin Spacey
