https://cn.greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Atomic Atomic 原子性 事务中的操作要么全部正确执行，要么完全不 执行。 Write Ahead Logging，分布式事务：两阶段提交协议 Consistency 一致性 数据库系统必须保证事务的执行使得数据库 从一个一致性状态转移到另一个一致性状态。 （满足完整性约束） 实现对A、I、D三个属性的支持 Isolation 隔离性 多个事务并发地执行，对每个事务来说，它并 不会感知系统中有其他事务在同时执行。 不会感知系统中有其他事务在同时执行。 多版本并发控制Multi-Version Concurrency Control、 两阶段加锁（Two Phase Locking, 2PL）、乐观并发控制 （OCC） Durability 持久性 一个事务在提交之后，该事务对数据库的改变 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、

服务中获取数据。内置批量接口，可以实现批量召回，减少 RPC。 ● Calc OP：用于处理对获取到的原始特征做与模型无关的逻辑处理，如拆分、 判空、组合。业务可以结合需求实现特征处理逻辑。 通过 IO、计算分离，特征抽取执行阶段就可以进行 IO 异步、自动聚合 RPC、并行 计算的编排优化，从而达到提升性能的目的。 Transformer：用于处理与模型相关的特征逻辑，如分桶、低频过滤等等。一个特 征可以配置一个或者多个 的概念，为了方便业务方进行高效的特征迭代，Augur 设计了一套弱 类型、易读的特征表达式语言，将特征看成一系列 OP 与其他特征的组合，并基于 Bison&JFlex 构建了高性能语法和词法解析引擎。我们在解释执行阶段还做了一系 列优化，包括并行计算、中间特征共享、异步 IO，以及自动 RPC 聚合等等。 10 > 美团 2020 技术年货 举个例子： // IO Feature: binaryBusinessTime; 特征，故先将 ContextLevel 特征计算完毕。对于 Doc 维度，由于对每一个 Doc 都 要加载和计算对应的特征，所以在 Doc 加载阶段会对 Doc 列表进行分片，并发完成 特征的加载，并且各分片在完成特征加载之后就进行打分阶段。也就是说，打分阶段 本身也是分片并发进行的，各分片在最后打分完成后汇总数据，返回给调用方。 期间 还会通过异步接口将特征日志上报，方便算法同学进一步迭代。

2015年加入美团·大众点评，负责配送业务系统建设，重点负责系统质量 保证、运营体系建设、核心系统架构升级等方向，支持美团配送业务发展 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 同城即时配送快送发展 Uber Eats Instacart Swiggy go-jek Doordash 美团外卖 饿了么 点我达 闪送 UU跑腿 海内外掀起一波创业浪潮 履约SLA要求高，重线下业务运营 配送系统的技术定位与思路 初期造工具，解决能不能 长期造壁垒，实现降维打击能力 从支撑业务到驱动业务 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 MVP阶段 业务从零到一 快速迭代、业务试错 核心链路MVP、主流程跑通 • 按照粗领域拆分系统边界 • 按照三大信息流（人、财、物）划分系统 • 如何支撑快速试错： • QA； 区分履约服务与运营服务 骑手APP 管理端 DB 资金 运单 人员 外卖系统 从零到一 外卖 配送 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 规模化阶段 快速起量 系统质量、研发效率问题凸显 化繁为简、分而治之、逐步演进 快速起量，系统质量、研发效率问题凸显 • 整体需要思考的关键问题 • 整体系统架构应该如何演化

测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 默认补齐配置，给出最佳实践 微服务的开发阶段 IDE的体验，右键插入资源引用，悬停查看资源信息 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 配置版本，发布，回滚，可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的 的 format、lint、breaking 检查。 CI build 阶段 • 会基于 pb 的注释自动产生文档，并推送至内部的微服务管理系统接口平台中 • 会生成 Go/PHP/Node/Java 桩代码和错误码，推送到指定的仓库 开发阶段 • go get 客户端、服务端的gRPC和错误码的代码 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理

Choreographer 以外，大多数逻辑几乎 都由 C++ 和 Java 的基础 SDK 实现，可以直接在鸿蒙上复用，问题是鸿蒙目前的 API 文档中尚没有开放类似 Choreographer 的能力。所以现阶段我们可以借用鸿蒙 提供的类似 iOS Grand Central Dispatch 的线程 API，模拟出 VSync 的信号触发 与回调： @Override public void asyncWaitForVsync(long Web 探索跨端（App\PC\H5）解决方案，真正实 现“Write Once & Run AnyWhere”。当然，面临挑战也是巨大的，主要体现在 Flutter 和 MTFlutter 现阶段对 Web 支持还不是很充足。 2.1 Flutter Web 现状 Google 官方目前对 Flutter Web 的工作主要还集中在 dart:ui（Web）的对齐，工程 化和性能相关的事项做的还比较少，例如： 镜像定制 由于 MTFlutter Web 环境安装步骤较固定，且整个安装过程耗时较长 ( > 80s ) 。因 此将其定制为 Docker 镜像并集成至 Talos，Flutter Web 编译阶段便能免去安装流 程，有效提升构建效率。Docker 镜像定制和发布的详细流程见官方文档，本文不再 赘述。其中用于定制 Flutter Web 镜像的 Dockerfile 文件如下： 30 >

Training, QAT）两个方面进行分析，探索出了一 条切实可行的量化方案。 YOLOv6 采用了多分支的重参数化结构 [2]（如图 1A 所示），通过在网络结构层面加 入人工先验可以在训练阶段让模型更好收敛。在推理阶段，多分支可以等价合并为单 路，从而提升运行速度。但现有的训练后量化方法，不能很好应对多分支结构带来的 剧烈变动的数值范围，导致量化后产生严重的精度损失 [3]。另外，如何针对多分支结 版 本 的 YOLOv6s 网 络（YOLOv6s_repopt）， 达 到 了 与 YOLOv6s_repvgg 一致的浮点精度 42.4%（300 epochs），两个版本的网络结构在 部署阶段保持一致。我们首先分析了 YOLOv6s_repopt 模型的数据分布特征。 如图 2 所示，给出了“Rep_p4.block.0.rbr_reparam” 层的特征图数值分布直方 图，可以看到数值紧密分布在 年来，一直紧密结合工业界前沿与热点问题，演 进主要分为三个阶段。第一阶段从 2002 年左右开始，专注于互联网的热点推荐系统方面 问题，包括推荐、广告，行为预测等；第二阶段聚焦在传统行业问题，比较关注教育、环 境、医疗等领域；而在第三阶段，自 2019 年以来，重点关注非监督问题，例如 AutoML、 Debiasing、强化学习等问题，这类比赛的共同特点是通过以前方法难以解决现有的 新问题。这三个阶段趋势也一定程度反应着当前工业界与学术界的难点与重点，无论

现了“事前”、“事中”、“事后”的三级管理。 首先，在运营配置上线前，通过测试用户的预览功能，可以预览上线后的实时效果。同时，通过穿越功能 可查看将来时段显示的效果。防止出现上线后链接出错、视觉效果达不到预期等问题。 其次，在流程阶段，引入审核机制，通过视觉和内容两方面的审核，保证投放数据的准确性。 最后，在运营配置上线后，如果发现问题，可以通过快速回滚，最大限度地实现“止损”。 接口SDK化 接口SDK化 对于运营数据， 现的数据流如下： 七、稳定性的演进 七、稳定性的演进 稳定性是一个运营配置平台最重要的能力，没有稳定性，其他任何功能都会失去实际意义。运营系统的稳 定性经历了不同的迭代时期，总结起来，可概括为以下三个阶段： 7.1 经典方案 7.1 经典方案 这是APPKIT最早期的经典方案，它的实现也非常简单，如下图所示： APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 C端用户通过业务 Redis机制的应用演进 在实际应用中，LruCache + Redis机制实践分别经历了引入LruCache、LruCache增加时效清退机制、 HashLruCache满足高QPS应用场景以及零拷贝机制四个阶段。各阶段的测试机器是16核16G机器。 演进一：引入LruCache提高美团DSP系统性能 演进一：引入LruCache提高美团DSP系统性能 在较低QPS环境下，直接请求Redis获取广告信息，可

所谓的数据⻜轮是很重要的，尽管它是⼀个⽼套的概念。 像
ChatGPT
这样的产品，还没有完全建⽴起基于⽤⼾数据的持续进化。我觉得这很⼤程度上是
base
model
还在进化，进化了⼀代，之前的⽤⼾数据就没什么⽤了。这跟发展阶段有关系
⸺
现 在“吃”的是
base
model
的
scaling
law，未来可能会去“吃”⽤⼾这个数据源的
scaling
law。
历史上基本所有的互联⽹产品要跑出来，最终都要靠⽤⼾ 不 能分享下当年的决策逻辑？ FounderPark
，赞15
杨植麟：我的认知在过去⼏年⾥⾯发⽣了⾮常⼤的变化。 ⼀开始觉得语⾔模型可能是个⼯具，可以去提升很多不同场景的效果；第⼆个阶段，认为语⾔模型可 能对很多任务都有⽤。后来⼤家认为语⾔模型可能成为
AI
唯⼀的⼀个（要解决的）问题⸺所有的问 题，都可以通过把语⾔模型做得更好，把
next
token
prediction
做得更好来解决。
应⽤共同成⻓，你的数据集、 测试集要不断变化，引擎要不断变化，⽣命⼒得掌握在⾃⼰⼿⾥。 杨植麟：没错。⽽且，很多模型的基础能⼒，也需要跟市⾯上的
commodity（⾏活）有差距，现阶段 还处于技术驱动的阶段，通过更好的基座模型，可以转化成产品优势。 但最终肯定不是，⽐如再过
10
年
20
年，技术上会陷⼊⼀种
commoditized（⾏活化）的情况，那你 可能就需要利⽤先发优势，把

8 20 ● 堆排序算法 堆排序 21 ● 归并排序分为两个阶段，阶段一是分割阶段，将原始待排序数据分成若干个顺 串。阶段二是合并阶段，将所有小顺串合并成一个包含所有数据的大顺串 外排序之归并排序 1 7 4 8 1 7 4 8 1 4 7 8 待排序数据 分割阶段 合并阶段 22 ● 问题一：分割阶段只需要顺序扫描一次外存，最简单的策略是读取外存数据，加 载到内存，当内 空内存，继续读取外存数据，如此反复，直到所有外存数据处理完毕。该算法生 成的每一个顺串的大小都不会超过内存的大小，而顺串越小，合并阶段的代价 就越高，需要读取外存的次数也越多，有没有办法在分割阶段就生成大于内存 大小的顺串呢？ 归并排序的三个问题 23 替换选择算法 24 Knuth 5.4.1R替换选择算法： ● 1. 初始化阶段，读取输入元组至内存，并建立最小堆。 ● 2. 弹出堆顶元组，输出到顺串文件的缓冲区，并记录该元组的排序键为 并将堆的大小减1。 ● 5. 重复第2步，直至堆大小变为0。 ● 6. 顺串生成完毕。将堆大小重置为N，并重新建堆。重复第2步，开始生成下一 个顺串。 替换选择算法 25 ● 问题二：合并阶段假设存在N个输入缓冲区，如何高效的比较N个输入缓冲区的 最小值，并输出到输出缓冲区？ 归并排序的三个问题 26 ● 假设顺串(长度为L)分布在K个文件中，顺串合并时需要K个输入缓冲区和1个输

年的关键词，应该是“助跑”。迹象已经 非常明显，工信部信息技术发展司发布了《“十四五”软件和信息技 术服务业发展规划》，就是一个典型的信号，开源领域即将起飞了。 从地面行走，到天空飞行，这是两个完全不同的阶段。而 2021 年， 则是起飞之前的助跑阶段。从地面到天空，意味着整个行为的模式 都会发生深刻的变化。我们原来只需要在一个二维平面思考路径与 方向，而到了天空，在三维空间里，我们多了无数选择。 虽然对于未来，对于在空中的状态，我们还无法预测和把握，但是 …………………………………………………………… 83 3.1 开源软件商业化可以选择的路径和案例 ………………………………………………………… 84 3.2 开源项目的 life cycle 以及软件供应商在对应阶段的重点工作 ……………………………… 85 3.3 商业化过程中的风险点 …………………………………………………………………………… 87 4 投资——如何找到下一个开源独角兽 …………………………………………………… 上的时间投入不足 5 小时的比例有所增加。 专家点评 堵俊平：一般而言，每周投入法定工作时间的 50% 以上（即 20 个小时）即可视为全职开源开发者，这个比 例大概是 13%，相对偏低。可以看到，现阶段，在中国，大多数的开源贡献者更多是出于爱好，而非全职投入。 换句话说，开源开发还没有成为广大开发者可以赖以谋生的职业手段，这距离开源生态的真正繁荣还有差距。 2021 中国开源年度报告 33