1、大 数 据 平 台演讲人2022-01-0401.工作应用02.工程核心目录01工作应用工作应用用户画像风险控制01业 务 相 关数据科学的领域，了解统计学、算法数据科学家02决 策 相 关如何实施、实现、解决什么业务数据工程师03工 程 相 关02工程核心工程核心ABC数据源数据存储数据处理工程核心数据源0102特点决定数据采集和数据存储的技术选型四种内外部内部主动写入CRM外部网络拉取获得外部数据本身提供的api写爬虫获取特点结构化和非结构化数据u结构化偏向文件，NoSQL数据库四种不变可添加数据，可修改可删除数据前增量同步策略后大u高延迟u实时分析uLambda架构数据量大小工程核心数据
2、存储010203相同数据多种表现形式，存储不同类型数据库中按数据源分类场景相同数据多种表现形式，存储不同类型数据库中poly-db数据冗余生态按数据源分类三种分析数据的应用场景采集后数据的格式和规模数据源的类型和采集方式选择用ES，在单机上做了一个简单的测试，大概三亿多条数据，用最坏的查询条件进行搜索，保证这个搜索是全表搜索（基于Lucence创建了索引，使得这种搜索更高效），整个查询时间能控制在几秒以内场景一舆情分析场景二：商业智能产品 对数据集进行分析（聚合运算为主）Parquet列式存储既要满足大数据量的水平可伸缩同时满足高性能的聚合运算要求数据来源大量的事件本身的业务数据技术处理：日志数据通过Kafka线上通过Sqoop数据存储选择HDFS通过Presto对Hive表执行 即席查询场景三：Airbnb大数据平台工程核心数据处理业务角度01技术角度02编程模型03业务角度机器学习神经网络深度分析 统计分析 数据挖掘 查询检索技术角度01Batch SQL02流式处理03machine learning04Deep learning编程模型离线编程模型1内存编程模型2实时编程模型3感 谢 聆 听
