Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法 7 快速排序是最常用的排序算法，由Tony Hoare在1959年发明。 快速排序算法的三个步骤： ● 挑选基 挑选基准值：从数列中挑选出一个基准元素，称为pivot ● 分割：重新排序数组，所有比基准元素小的元素排放到基准元素之前；所有比基 准元素大的元素排放到基准元素之后。分割完成后，我们完成了对基准元素的 排序，即基准元素在数组中的位置不再改变 ● 递归排序子序列：递归地将小于基准元素的子序列和大于基准元素的子序列分 别进行排序 快速排序 8 ● 快速排序算法每次选取一个基准元素，将比基准元素小的排到基准元素左边， 比基准元素大的排到基准元素的右边，从而将待排序数组分成两个子集。 快速排序 6 8 3 2 7 1 7 9 8 7 7 9 6 3 2 1 分治法 9 快速排序 ● 快速排序算法： 10 堆排序是最常用的排序算法，由J.Williams在1964年发明。 ● 堆是一种近似完全二叉树的结构，最大值堆要求每个子节点的键值总是小于父 节点。最小值堆要求每个子节点的键值总是大于父节点。 堆排序算法 ● 步骤1：建立最大值堆

深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 阅读时长 Ø 模型选择 • 线性模型LR+特征工程 • 多目标预估 • 排序基于pointwise的 learning to rank 互动模型 点击模型 阅读模型 Score = ?)*+,-./+ ∗ ???? + ?/6)/7 ∗ ???? + ?-,.8 ∗

. 22 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 解析引擎 . . . . . . . . 31 执行引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.1.6 使用规范 . 是其中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的分表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场

4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 7.1.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 7.1.6 查询优化 . . 241 7.1.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 排序归并 . . . . . 245 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 分页归并 . . . .

4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 7.2.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222 7.2.6 查询优化 . . 238 7.2.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 排序归并 . . . . . 242 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 分页归并 . . . .

4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 7.2.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 7.2.6 查询优化 . . 243 7.2.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 排序归并 . . . . 247 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 viii 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 分页归并 . . .

4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 7.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 7.4.6 查询优化 . . 348 7.4.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352 排序归并 . . . . . 352 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 分页归并 . . . .

SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 12.4.6 查询优化 . . 12.4.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482 排序归并 . . . . . 482 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486 分页归并 . . . .

SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 12.4.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441 12.4.6 查询优化 . . 12.4.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461 排序归并 . . . . . 461 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465 分页归并 . . . .

4 SQL 执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237 7.2.5 结果归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 7.2.6 查询优化 . . 254 7.2.11 归并引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257 遍历归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 排序归并 . . . . 258 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 viii 分页归并 . . .