1、MongoDB 4.2 新功能Danny Zhang安全声明我公司产品之任何特性或功能的开发、发布及发布时机均由我公司自行决定。本资料仅用于介绍我公司产品的一般性方向，不应作为决定购买的依据或被视为交付任何材料、代码或功能的承诺、约定或法律义务。议程4.2新功能概述更全面的事务更强大的查询分析更佳的弹性40分钟更高的安全性更多的部署选项问答环节数据无处不在电商销售额将达到4.9物联网设备连接数量83%的机构视AI为战万亿美元将达到750亿台略首选到2021年到2025年到2019年5G，速度提高20倍，延迟降低120倍智能手机用户将达到网络犯罪造成的损失38亿人次将超过6万亿美元到2021年到
2、2021年到2021年每家公司都必须变身为数据及软件公司业务需求加速创新数据驱动降低成本6开发者是关键7开发者是关键，但是开发人员每周用于维护和修正错误代码上的时间占全部工作时间的42%。几千位C级管理人员在接受调查时表示，获得合格的开发人员比获得资本更难，这是公司在发展中面临的较大制约。开发人员系数，Stripe8MongoDB：为提升开发效率而生智能数据平台最佳的数据管理方式智能地将数据放在需要的地方可自由的在任何地方运行9分布式事务MongoDB的演变全局时间点读取大型事务可变片键值Atlas数据湖复制集事务Atlas全局集群Atlas HIPAAAtlas LDAPAtlas审计Atl
3、as附件存储引擎Atlas备份快照类型转换分片转移速度提高40%快照读取非阻塞二级读取SHA-2TLS 1.1+指南针聚合通道构建器指南针导出到代码Charts测试版自由监控云服务操作管理器K8s测试版MongoDB Stitch遗传算法MongoDB移动测试版Atlas自动扩展Atlas全文搜索变更流Atlas ISO合规性Atlas服务代理可重试写入可线性化读取内集群压缩只读视图表达数组更新查询表达性字段级加密多CA及滚动加密按需物化化视图通配符索引因果一致性日志编辑一致分片二级读取操作管理器+查询顾问文件验证图形处理聚合通道+表达更新查找十进制快速故障切换更简单的可扩展性聚合+整理架构验
4、证Apache Kafka连接器MongoDB Charts遗传算法可重试读写分面导航端对端压缩聚合+IP白名单静态加密自动平衡+ARM、功率、z系列BI及Spark连接器+指南针+默认绑定本地主机对话WiredTiger 1m+集合表达查找R驱动程序Atlas跨区域复制Atlas自动存储扩展新索引存储器内部存储引擎BI连接器MongoDB指南针APM集成自动索引构建项目文件系统备份stepDown速度提高10倍存储节点监视器Zstandard压缩Ops Manager Headless BackupOps Manager K8s GAOps Manager Single AgentLDAP授
5、权加密备份Cloud Foundry集成3.64.04.23.23.4选择MongoDB数据库的人数越来越多Stack Overflow调查显示: MongoDB是大家最想用的数据库4.2ACID事务分布式事务Global PiT ReadsMutable Shard KeyValues4.2ACID事务查询及分析分布式事务物化视图Global PiT ReadsMutable Shard KeyValues通配符索引Atlas数据湖4.2ACID事务韧性及扩展性查询及分析分布式事务可重试读写Stepdown速度加快10倍物化视图Global PiT ReadsMutable Shard Ke
6、yValues通配符索引Atlas数据湖 Zstandard4.2ACID事务查询及分析韧性及扩展性分布式事务物化视图可重试读写Global PiT ReadsMutable Shard KeyValues通配符索引Atlas数据湖stepdown 10倍加快Zstandard企业级安全字段级加密多CA审计消耗减少了2/34.2ACID事务查询及分析韧性及扩展性分布式事务物化视图可重试读写Global PiT ReadsMutable Shard KeyValues通配符索引Atlas数据湖stepdown 10倍加快Zstandard企业级安全可在任何地方运行字段级加密多CAAtlas自动扩
7、展Atlas全文搜索K8s集成审计消耗减少了2/3多文档ACID事务4.0版中的事务应用程序驱动程序主节点从节点从节点复制集194.2版中的分布式事务应用程序驱动程序MongosMongos分片集群分片1提交分片2提交分片N提交主节点从节点从节点主节点从节点从节点主节点从节点从节点20事务设计目标与关系性数据库的事务一样 多条语句，相似的语法 任何应用程序都可使用 支持一个或多个集合及数据库中的多个文档 分片和复制集中的事务无任何差别ACID一致性保证 快照隔离，要么全成功，要么全失败 对单一文档操作无性能影响MongoDB事务语法with client.start_session() as
8、s:开发人员熟悉的语法 对所有编程语言都一致 和关系数据库的用法一致 简单且易于理解s.start_transaction()collection_one.insert_one(doc_one, session=s)collection_two.insert_one(doc_two, session=s)mit_transaction()MongoDB事务语法try (ClientSession clientSession = client.startSession() clientSession.startTransaction();collection.insertOne(clientSe
9、ssion, docOne);collection.insertOne(clientSession, docTwo);clientSmitTransaction();数据模型和事务不同数据库采用不同方式文档型（非关系型）数据库相关数据存储在一个单独而丰富的文档中。单文档的操作，无需事务来保证一致性。表结构(关系型) 数据库相关的数据被放到不同的多个表中，跨记录的事务是必须的分布式事务实例支付及交易更新账户金额事件处理填写订单、通知供应商电信收费创建话单，更新每月账单Mutable Shard Key Values 提高分片灵活性 使用分布式事务修改片键的值时，将会EU片区APAC片区移动文档。
10、一级节点一级节点 全局重新分布：重新将文档划归到一个新区域 分层存储：将旧文档处理到低成本存储片区二级节点二级节点二级节点二级节点 修改片键值，无须先删除再插入，并在应用层保证原子性了。默认60秒运行时间限制26分布式事务注意事项 使用MongoDB 4.2驱动程序 事务在单一的分片上，比跨多个片速度会更快。 事务在60秒之后自动中止 （可调），数据库会回滚被中止的事务。 最佳实践：单一事务中，修改的文档不超过1,000份。 不支持投票节点。 运行事务之时，数据块迁移会受到限制。分布式ACID事务的发展旅程2015年开始，涉及服务器到驱动程序的所有部分。 存储层 复制协议 分片架构 一致性和耐
11、久性保证 全局逻辑钟 集群元数据管理 驱动程序关键的工程项目MongoDB 3.0MongoDB 3.2MongoDB 3.4MongoDB 3.6MongoDB 4.0MongoDB 4.2Enhanced replicationprotocol: stricterNew Storage engine(WiredTiger)Shard membershipawarenessConsistent secondaryReplica Set TransactionsDistributed Transactionsreads in sharded clustersconsistency & dura
12、bilityWiredTiger default storageengineMake catalogOplog applierLogical sessionsRetryable writestimestamp-awareprepare supportConfig servermanageabilityimprovementsDistributed commitprotocolSnapshot readsRecoverable rollback viaWT checkpointsRead concern “majority”Causal ConsistencyGlobal point-in-ti
13、me readsMore extensiveCluster-wide logical clockRecover to a timestampWiredTiger repairStorage API to changes touse timestampsSharded catalogimprovementsTransaction managerRead concern majorityfeature always availableCollection catalogversioningUUIDs in shardingFast in-place updates tolarge document
14、s in WT开发便捷性大型事务 超过16MB 60秒超时（默认）事务诊断 日志中的新相应指标错误处理 驱动程序中的回调APIGlobal PiT Reads应用程序 全面的数据一致性控制 快照读与全局一致性快照 返回一致性数据视图 分布于所有片区驱动程序MongosMongos 同步修改分片1分片2分片N主节点主节点从节点从节点主节点从节点从节点从节点从节点31查询及索引按需物化视图 更快了解您的数据：对一般分析查询的结果进行预计算和存储 在$merge阶段，聚合通道输出现有结果集合，以增加和丰富视图。 每当通道运行时更新。 输出到分片及非分片集合 在视图上定义索引 利用uniqueKey，
15、控制文档如何添加到视图中：Insert, Replace, Merge$merge语法 $merge: to: ,on: : 1, . ,whenNoMatch: ,whenMatch: 通配符索引_id : ObjectId(5c1d358bf383fbee028aea0b),product_name : Blaster Gauntlet,product_attributes : elements : Fire , Water ,price : 250可以进行更自然的数据建模，避免每个存取模式均采用预定义索引多形态文档结构：产品目录、CMS.根据产品属性，为所有子文档和数组添加索引临时查询及
16、数据探索, 定义过滤器，让索引匹配全部字段、子文档和数组_id : ObjectId(5c1d358bf383fbee028aea0c),product_name : Super Suit,稀疏索引，忽略特定字段覆盖查询及整理product_attributes : superFlight : true,一致性高：根据基本数据自动更新resistance : Bludgeoning, Piercing, Slashing .,其它增强功能 更强大的更新语句 利用聚合通道表达，基于另一个字段的值评估更新操作。其它查询增强功能 更强大的更新语句 利用聚合通道表达，基于另一个字段的值评估更新操作。
17、新的聚合操作 三角表达式（Trigonometry Expressions） 舍入（Round Expression） $NOW RegexApache Kafka MongoDB 连接器（测试版）为微服务构建稳固的数据通道和事件驱动架构由MongoDB工程师开发并提供支持，经Confluent验证将MongoDB作为Kafka的汇聚节点和来源予以支持与变更流和Atlas触发器相集成，创建完全响应式事件驱动通道。GitHubConfluent HubMongoDB Compass 模式验证中支持JSON格式 在智能编辑器中定义JSON模式规则 自动建议字段名、BSON类型和验证关键字 实时预览
18、成功和失败的文档 只读视图管理 直接定义和创建只读视图 直接在导航中查看视图 支持MongoDB 4.2和MongoDB Atlas的新特性 连接到MongoDB Atlas数据湖 在聚合通道运行全文搜索和使用其他新聚合阶段。 利用字段级加密连接实例 创建/编辑/删除通配符索引MongoDB Charts GA 创建、分享和嵌入MongoDB数据可视化的最快、最便捷方式 专为MongoDB文档模型设计，在Atlas中以服务形式运行或可下载部署运行 新功能：地理空间分析 工作负载隔离 在网页应用程序中嵌入图表，创建丰富的用户体验弹性及扩展性可重试读写 将更多的错误处理代码从应用程序移到驱动程序和
19、服务器 读取失败时，驱动程序自动重试 网络错误，主节点选举应用程序X驱动程序 30秒后触发，重试一次，保证读取偏好 3.6版本引入的可重试写入，现在变成所有驱动程序的默认功能新的在线索引构建 更快生成新索引，对应用无影响 充分利用现有前台和后台索引构建 速度与前景构建项目一样快，效率同B-Tree一样 和后台构建索引一样，对应用无影响缩短维护窗口 主节点stepDown速度快10倍 主节点立即调用选项，而不需要等待从节点 1秒内选择新的主节点 保持连接 主级节点读取连接保持开放，直到光标关闭 清除失败的读取，应用程序等待驱动在主级节点长重启连接 维护事件响应更快、更简单，对应用影响较小存储节点
20、监视器 大范围故障状况的自救恢复更快 节点监控从网络心跳，延伸覆盖文件系统 文件系统无响应时，Mongod程序终止 如果是主节点问题，触发选举 作为Atlas和企业版的一部分，已经被集成到社区版中比初始同步提升15% 重构程序更快，并减少源上的负载 添加新复制集以增强读取，或移动数据到新区域 替换失效或陈旧的从节点 同步节点有多个大集合或很多个小集合时，增益最大 网络延迟升高时，增益也最大Zstandard 压缩 以较低的占用，创建更高效的存储框架 相比于snappy，存储容量减少达55%，CPU占用比zlib低 应用于集合和日志 WiredTiger及加密存储引擎企业级安全客户端字段级加密
21、单独文档字段通过自身密钥加密 数据库只看见密文 优势多多便捷：自动及透明任务隔离：（简化服务管理，运维无法看到内容）合规：监管“被遗忘权”快速：最小性能代偿FLE查询流程密钥管理器2 3db.patients.find (ssn: “901-01-000145查询及响应验证通过的客户16MongoDB DriverfirstName:lastName:ssn:email:mobile:Pat,Lee,901-01-0001, +1-212-555-1234, 235498firstName:lastName:ssn:Pat,Lee,r6EaUcgZ41Gw . ,K4bSU3TlcIXh .
22、,oR72CW4Wf SEj . ,235498email:medRecNum:mobile:medRecNum:加密字段始终按密文存储、传输和检索还有哪些新功能？ 审计消耗降低了2/3还有哪些新功能？ 审计消耗降低了2/3 多证书授权还有哪些新功能？ 审计消耗降低了2/3 多证书授权 TLS向前加密还有哪些新功能？ 审计消耗降低了2/3 多证书授权 TLS向前加密 零停机证书和密钥文件转换还有哪些新功能？ 审计消耗降低了2/3 多证书授权 TLS向前加密 零停机证书和密钥文件转换 密钥管理器集成可在任何地方自由运行MongoDB Atlas 全球云数据库自助服务及弹性全球及云诊断企业级安全及
23、SLA采用最好的操作自动化，按需要进行部署、修改和升级在AWS、Azure、GCP的60多个区域可用网络隔离、VPC对联、端对端加密和基于角色的访问控制适用于在任何地方读/写部署，多区域容灾的全局集群数据库自动维护加密密钥管理、LDPA集成、精细数据库审计SOC 2 / Privacy Shield / HIPAA高SLA保证跨云服务提供商的一致性体验，方便数据转移数据库及基础框架资源，实现代码操作只需要点击几次或API调用，即可向上、向外或向下扩展。全面监控自动备份Stitch：无服务器平台服务后端逻辑、服务集成和API的简单、无服务器功能主动警报，超过100个关键绩效指标（KPI）支持恢复
24、到指定时间点可查询的备份快照支持分片的一致性快照云数据迁移在简单的字段级访问规则保护下，可从前端设备访问数据库实时性能追踪和性能顾问API与监控仪表盘集成数据库和验证触发，实时对变化做出反应支撑关键任务负载MongoDB Atlas 自动扩展 实体大小自动调整，这样预分配容量可对需求做出反应 监控关键资源利用指标 通过UI或API打开或关闭 调整实体大小，控制成本 在复制集中滚动变化，对应用的影响降到最低 自2018年起，提供了自动存储扩展功能MongoDB Atlas 全文搜索（测试版） 添加全文搜索功能，作为Atlas集群全面管理服务 采用Lucene 8搜索引擎，不需要提供和运行单独的搜
25、索平台 与MongoDB查询语言集成，因此不需要学习单独的API 动态和静态索引，支持模糊及通配符搜索、布尔型及综合查询、语言分析仪、评分和代码片段 通过Atlas数据浏览器或API配置MongoDB Atlas 数据湖 （测试版）利用MongoDB查询语言，分析S3上任何格式的数据多种格式，无架构自动扩展，任何尺寸均可最佳工具，高效能Atlas、Single UI、Billing、Permissioning集成无服务器、无基础设施管理按需、基于使用量收费数据仓库的补充数据仓库MongoDB Atlas 数据湖严格审核，清理，过滤，汇总的数据，通过ETL流程从运营数据库和内部部署和云端应用程序
26、中获取各种源数据的云数据池，数据来源可以是日志、传感器、设备、流、API和关系数据库。数据来源预定义，且固定的表格化数据，有规划的很好 动态和灵活的数据模型，任何形态的富文本数据结构查询方式数据存储使用者的关系和限制条件。以报表为目的做了高度的优化，比如仪表盘、统计、预测和决策树非预定义的数据探索与发现，机器学习指定的硬件，优化的存储和计算资源业务分析人员、数据科学家普通的云存储、按需使用的云服务器计算业务分析人员、数据科学家、开发者、数据工程师利用 MongoDB 工具，您可以自己来运行On-Prem 集群主机云中自我管理MongoDB操作管理器 自动化：提供、升级、扩展 监控及报警 持续备份及PiT恢复 补丁 性能优化建议 Kubernetes集成63回顾4.2ACID事务查询及分析韧性及扩展性分布式事务物化视图可重试读写Global PiT ReadsMutable Shard KeyValues通配符索引Atlas数据湖stepdown 10倍加快Zstandard企业级安全可在任何地方运行字段级加密多CAAtlas自动扩展Atlas全文搜索K8s集成审计消耗减少了2/3 免费 在线课程 第9章！-开始 玩转MongoDB Atlas 下载最新功能指南 查看4.2版发行说明谢谢！
