构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 摄取 存储 指标 ⽀支持 ⽀支持（效率⼀一般） ⽀支持 ⽇日志 初级 较好 ⽆无 ⽂文本 ⽆无 全⾯面 ⽆无 分析 流式 ⽆无 不不⽀支持 ⽀支持 统计关联 ⼀一般（DSL等） 查询统计强，关联弱 （商业版可部分转SQL） ⼀一般（类SQL查询统计等） 数据 治理理 数据加⼯工 ⽆无 ⽀支持(logstash/reindex) ⽀支持（CQ/TickScript） ⽣生命周期 ES: 8X写⼊入，少4X磁盘占⽤用，3~7响应速度 • Telegraf：⽀支持200+数据渠道 • 开源免费版本缺少集群、安全、管理理等功能 • Chronograf：不不如Grafana强⼤大灵活 Elastic Stack (BELK) • Beats + Elasticsearch + Logstash + Kibana • 接⼊入层还会搭配Kafka • 重要企业级组件都在商业组件X-Pack中

713 基于 AI 算法的数据库异常监测系统的设计与实现 775 目录 < v Replication（上）：常见复制模型 & 分布式系统挑战 792 Replication（下）：事务，一致性与共识 818 TensorFlow 在美团外卖推荐场景的 GPU 训练优化实践 855 CompletableFuture 原理与实践 - 外卖商家端 API 的异步化 879 工程效能 要在训练之前进行聚类分析以确定最佳 Anchor 集合，这会一定程度提高检测器的复 杂度；同时，在一些边缘端的应用中，需要在硬件之间搬运大量检测结果的步骤，也 会带来额外的延时。而 Anchor-free 无锚范式因其泛化能力强，解码逻辑更简单， 在近几年中应用比较广泛。经过对 Anchor-free 的实验调研，我们发现，相较于 算法 < 9 Anchor-based 检测器的复杂度而带来的额外延时，Anchor-free 50%，极 大地提升了模型的训练效率。 3. 引入自蒸馏思想并设计了新的学习策略，大幅提升了 YOLOv6-M/L 的模型 精度。 算法 < 15 4. 通过训练时 Early Stop 强数据增强及推理时图像 Resize 优化策略，修复了 前期版本中输入尺寸对齐到 640x640 后精度损失的问题，提升了现有模型的 实际部署精度。 表 1 展示了 YOLOv6 与当前主流的其他

servicecomb.apache.org 弱一致性 Weak 最终一致性 Eventually 强一致性 Strong 业界常用的一致性分类 5 github.com/apache?q=servicecomb servicecomb.apache.org 方案\指标 2PC 传统事务 可靠事件 TCC 柔性事务 SAGA 补偿事务 数据一致性 强一致 最终一致 最终一致 最终一致 总体性能 14 github.com/apache?q=servicecomb servicecomb.apache.org 总结 • 在服务拆分阶段就应该尽量避免事务 • 并不是所有地方都要求强一致性 • 强一致性也不保证绝对的一致 • 所有方案都是尽量缩小不一致的时间窗口 • 考虑成本 Copyright©2018 Huawei Technologies Co., Ltd. All Rights

9 离在线统一逻辑：Transformer 是特征处理的模型相关逻辑，因此我们将 Trans- former 逻辑单独抽包，在我们样本生产的过程中使用，保证离线样本生产与线上特 征处理逻辑的一致性。 基于这两个概念，Augur 中特征的处理流程如下所示： 首先，我们会进行特征抽取 ， 抽取完后，会对特征做一些通用的处理逻辑；而后，我们会根据模型的需求进行二次 变换，并将最终值输入到模型预估服务中。如下图所示： 资源，因为公用特征只需抽取计算一次即可。 12 > 美团 2020 技术年货 此外，这一套配置文件也是离线样本生产时使用的特征配置文件，结合统一的 OP&Transformer 代码逻辑，进一步保证了离线 / 在线处理的一致性，也简化了上 线的过程。因为只需要在离线状态下配置一次样本生成文件，即可在离线样本生产、 在线模型预估两个场景通用。 4.2 完善预估系统：性能、接口与周边设施 4.2.1 高效的模型预估过程 有了这些数据后如何进行利用，又是一个可以探索的技术点，比如图神经网络 建模等等。 ● 在重排序建模上，目前引入 Transformer 取得了一些效果，同时随着强化学 习的普及，在美团这种用户与系统强交互的场景下，用户的行为反馈蕴含着很 大的研究价值，未来利用用户的实时反馈信息进行调序是个值得探索的方向。 例如，根据用户上一刻的浏览反馈，对用户下一刻的展示结果进行调序。 除了上面提到的三点，

. 30 显式禁用默认函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 强类型枚举 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 总结 原子操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 一致性模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 内存顺序 显式声明使用编译器生成的构造 Magic& operator=(const Magic&) = delete; // 显式声明拒绝编译器生成构造 Magic(int magic_number); } 强类型枚举 在传统 C++ 中，枚举类型并非类型安全，枚举类型会被视作整数，则会让两种完全不同的枚举类 型可以进行直接的比较（虽然编译器给出了检查，但并非所有），甚至同一个命名空间中的不同枚举类型

显特征： 1. 时效性，只在一定时间范围内显示在C端固定位置。 2. 城市强相关，这类运营资源往往是基于LBS类服务，每个活动、广告都只会出现在固定的某些城市（或区域）。 基础配置 基础配置 基础配置，常见的有入口资源的配置、网络的配置等。相对运营资源来说，其变更的频繁度相对较低，与 时间、城市的关系也没那么强。譬如下面大众点评App-我的页面里的入口。这类配置有如下几个特征： 1. 资源上线时 2. 资源上线后 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 4.4 监控层 4.4 监控层 APPKIT-SDK运行在业务机器上，这里就涉及到多台机器的数据一致性问题。同时，随着业务接入运营 数据的增多，SDK对机器内存势必有一定消耗。基于服务的稳定性考虑，我们对SDK运行时的投放内容进 行监控，其主要监控两个指标：运营位数及每个运营位的配置总数。这样做可以带来以下几个好处： 图 所示： 样做可以解决数据调用的部分网络时延问题，同时Redis缓存的抖动也不会影响整体服务的性能。不过， 这个方案也有其自身的缺陷。 1. APPKIT服务成了中心节点，业务方对中心节点强依赖，随着业务接入越来越多，中心服务的压力会等比例增加。 2. 业务接入层与配置后台数据服务间调用的网络时延问题仍然存在。 3. 单机的Web缓存容量有限，随着业务接入越多，APPKIT服务器本地缓存的数据量越大。

权 限 项 全网配置合约 ConfigAction.sol是全网配置模块的实现合约。它维护了FISCO BCOS区块链中 全网运行的可配置信息。 配置信息可以通过交易广播上链来达到全网配置的 一致性更新。原则上只能由区块链管理员来发出全网配置更新交易。 ConfigAction.sol的内部实现中维护了配置项信息的mapping 成员变量。 主要接口如下： 接 口 输入参数 输出参数 说明 者都是对等的。对等网络具有以下几个特征： 1. 非中心化：不需要一个中心服务器，资源和服务分散个各个节点上，所有 的数据传输和服务的实现都在节点之间进行。 2. 健壮性强：节点可以随意加入、退出网络，不会对服务造成任何影响。 3. 可扩展性强：支持扩展节点，从而扩展系统。譬如基于P2P协议的文件下 载，加入用户越多下载速度越快。 4. 高性价比：参与P2P网络的节点一般是普通机器，构建出的整个网络系统 广播和排序、共识算法多 阶段提交的协作开销、虚拟机执行速度等，以及受CPU核数主频、磁盘IO、网 络带宽等硬件性能影响。由于区块链是先天的跨网络的分布式协作系统，而且 强调安全性、可用性、容错性、一致性、事务性，用较复杂的算法和繁琐的多 参与方协作来获得去信任化、数据不可篡改以及交易可追溯等特出的功能优 势，根据分布式的CAP原理，在同等的硬件资源投入的前提下，区块链的性能 往往低于中心化的系统，其表现就是并发数不高，交易时延较明显。