1、58同城人工智能平台架构实践目录背景总体架构机器学习平台设计深度学习平台设计总结背景Wuba Platform of AI模型统一管理提高算法开发效率对外赋能功能支持机器学习 & 深度学习特征工程、模型训练、在线预测让让 生生 活活 简简 单单 美美 好好算法开发流程抽象特征工程模型训练在线预测让让 生生 活活 简简 单单 美美 好好算法开发流程抽象特征工程模型训练在线预测机器学习: LR、FM、GBDT深度学习: FNN、DNN、W&D让让 生生 活活 简简 单单 美美 好好总体架构人工智能平台赋能58集团内各BG和业务线AI算法研发能力让让 生生 活活 简简 单单 美美 好好机器学习平台架
2、构设计让让 生生 活活 简简 单单 美美 好好机器学习任务流程让让 生生 活活 简简 单单 美美 好好特征工程设计特征工程抽象让让 生生 活活 简简 单单 美美 好好特征工程设计特征工程开发示例：新建工程让让 生生 活活 简简 单单 美美 好好特征工程设计特征工程开发示例：特征提取配置让让 生生 活活 简简 单单 美美 好好特征工程设计一个特征工程任务对应的MR作业让让 生生 活活 简简 单单 美美 好好模型训练工作流程让让 生生 活活 简简 单单 美美 好好模型训练模型训练开发示例：利用特征工程模块让让 生生 活活 简简 单单 美美 好好模型训练-任务调度任务队列Task1Task2HDFS
3、podnpod2日志收集程序pod1调度程序控制脚本日志收集调度程序模型工具集(LR/FM/XGBoost)镜像中心模型工具集SparkMLlib镜像环境:gcc/Python/MySQL/jdk/spark/DMLCYARN让让 生生 活活 简简 单单 美美 好好在线预测服务设计让让 生生 活活 简简 单单 美美 好好如何灵活应用机器学习平台三大功能模块可插拔让让 生生 活活 简简 单单 美美 好好什么是深度学习深度学习的本质是通过构建具有很多隐层的神经网络模型，利用海量训练数据，以更少的参数和更深的结构来学习更有用的特征，从而提升分类或预测的准确性图像识别机器翻译推荐/搜索语音让让 生生
4、活活 简简 单单 美美 好好深度学习模型举例让让 生生 活活 简简 单单 美美 好好深度学习模型举例挑战离线训练提速在线预测性能保障让让 生生 活活 简简 单单 美美 好好深度学习模型举例挑战离线训练提速在线预测性能保障解决方案GPU硬件加速分布式训练模型预测性能优化让让 生生 活活 简简 单单 美美 好好深度学习平台架构设计让让 生生 活活 简简 单单 美美 好好K8S集群管理资源类型Offline-CPUOffline-GPUOnline-CPUOnline-GPU让让 生生 活活 简简 单单 美美 好好分布式TensorFlow训练支持WEB系统KubernetesAPIDNSAutoS
5、caleTensorflow Trainningworker0worker1PS0KubeDNSPS1KubeDNSworkerXPSNHDFS for training data & save model让让 生生 活活 简简 单单 美美 好好离线训练任务示例硬件配置、模型设置、即时/定时执行让让 生生 活活 简简 单单 美美 好好在线预测服务设计设计思想ClientClientSCF（五八自研RPC框架）TensorFlowServingTensorFlowServingTensorFlowServingTensorFlowServing缺点：灵活性不够，接入方工作多我们的方案让让 生生
6、活活 简简 单单 美美 好好在线预测服务设计总体架构业务方线上请求：模型ID + 预测数据（Object）通用预测接口Jar包热加载模型1解析jar包模型2解析jar包模型解析jar包SCF服务协议解析流量转发/负载均衡Jar包推送模型1协议实体模型n协议实体We b管模型1预测实例模型2预测实例模型n预测实例理系统podnpod2pod1podnpod2pod1podnpod2pod1模型部署、扩缩容TensorFlowServingTensorFlowServing自定义模型ServingKubernetes让让 生生 活活 简简 单单 美美 好好在线预测服务上线示例上线申请、后台审批、一键部署上线让让 生生 活活 简简 单单 美美 好好总结离线训练模型数 400+，在线预测模型数 100+，在线预测流量 40亿亿人工智能平台赋能58集团内各BG和业务线AI算法研发能力让让 生生 活活 简简 单单 美美 好好
