Conference China 2016 中国用户大会 实现PostgreSQL逻辑复制实战 王青松 神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 辑的形式，可发送到远程从库做数据同步。 PG WAL Other DB 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 为什么要选择逻辑复制？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL 主库 数据库中间件 应用 逻辑复制 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 SQL语句 数据 MYSQL PG ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 逻辑复制架构图

. 56 4.8.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 逻辑列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 密文列 . . . . 访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。 水平分片 水平分片又称为横向拆分。相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或 某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。例如：根据主 键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。 表是透明化数据分片的关键概念。Apache ShardingSphere 通过提供多样化的表类型，适配不同场景下 的数据分片需求。 逻辑表 相同结构的水平拆分数据库（表）的逻辑名称，是 SQL 中表的逻辑标识。例：订单数据根据主键尾数拆 分为 10 张表，分别是 t_order_0 到 t_order_9，他们的逻辑表名为 t_order。 真实表 在水平拆分的数据库中真实存在的物理表。即上个示例中的 t_order_0

. 56 4.8.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 逻辑列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 密文列 . . . . 访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。 水平分片 水平分片又称为横向拆分。相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或 某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。例如：根据主 键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。 表是透明化数据分片的关键概念。Apache ShardingSphere 通过提供多样化的表类型，适配不同场景下 的数据分片需求。 逻辑表 相同结构的水平拆分数据库（表）的逻辑名称，是 SQL 中表的逻辑标识。例：订单数据根据主键尾数拆 分为 10 张表，分别是 t_order_0 到 t_order_9，他们的逻辑表名为 t_order。 真实表 在水平拆分的数据库中真实存在的物理表。即上个示例中的 t_order_0

. 57 4.8.4 核心概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 逻辑列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 密文列 . . . . 访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。 水平分片 水平分片又称为横向拆分。相对于垂直分片，它不再将数据根据业务逻辑分类，而是通过某个字段（或 某几个字段），根据某种规则将数据分散至多个库或表中，每个分片仅包含数据的一部分。例如：根据主 键分片，偶数主键的记录放入 0 库（或表），奇数主键的记录放入 1 库（或表），如下图所示。 表是透明化数据分片的关键概念。Apache ShardingSphere 通过提供多样化的表类型，适配不同场景下 的数据分片需求。 逻辑表 相同结构的水平拆分数据库（表）的逻辑名称，是 SQL 中表的逻辑标识。例：订单数据根据主键尾数拆 分为 10 张表，分别是 t_order_0 到 t_order_9，他们的逻辑表名为 t_order。 真实表 在水平拆分的数据库中真实存在的物理表。即上个示例中的 t_order_0

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 545 5.5 验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1896 13.7.7 逻辑导入模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · target="_blank">生成列 �→ (GA) 生成列 (Generated Columns) 的值是通过实时计算列定义中的 SQL 表达式得到的。 �→ 该功能将一些应用逻辑推向数据库层，从而提升查询效率。 安全 0 码力 | 4369 页 | 98.92 MB | 1 年前

3

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 600 5.4.8 第 8 步：验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 601 5.6 验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2347 13.7.9 逻辑导入模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 596 5.5 验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2088 13.7.9 逻辑导入模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · �→ （实验特性） 在进行集群升级、迁移或部署变更等重要操作之前，使用 TiProxy 捕获 TiDB 生产集群的真实负载， �→ 并在测试的目标集群中重现该工作负载，从而验证性能，确保变更成功。 0 码力 | 5072 页 | 104.05 MB | 10 月前

3

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 532 5.5 验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1957 13.7.8 逻辑导入模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 客户端鉴权（从 v8.1.0 开始引入） TiCDC 支持使用 mTLS（双向传输层安全性协议）或 TiDB 用户名密码进行客户端鉴权。 �→ 该功能允许命令行工具或 OpenAPI 客户端验证与 TiCDC 的连接。 2.2.1 功能详情 2.2.1.1 稳定性 • 管理资源消耗超出预期的查询成为正式功能 (GA) #43691 @nolouch 突发的 SQL 性能问

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 548 5.5 验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1973 13.7.8 逻辑导入模式· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 方式处理冲突数据（实验特性）#51036 @lyzx2001 在之前的版本中，TiDB Lightning 逻辑导入模式有一套数据冲突处理策略，而物理导入模式有两套数据冲 突处理策略，不易理解和配置。 从 v8.0.0 开始，TiDB Lightning 废弃了物理导入模式下的旧版冲突检测策略，支持通过conflict.strategy 参数统一控制逻辑导入和物理导入模式的冲突检测策略，并简化了该参数的配置。此外，在物理导入 模

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 4.5 验证集群运行状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 请查看对应版本的Release Note。 2.2.1.1 系统变量 变量名 修改类型 描述 default_ �→ authentication �→ _plugin 新增 设置服务器对外 通告的默认身份 验证方式，默认 值为 mysql_native_ �→ password。 tidb_enable_ �→ auto_ �→ increment_ �→ in_ �→ generated 新增 控制是否允许在 服务器端自动配置并开启加密。要使用 Auto TLS 功能，请在 TiDB 升级前将 TiDB 配 置文件中的security.auto-tls 设置为 true。 • 支持 caching_sha2_password 身份验证方式，简化了从 MySQL 8.0 的迁移操作，并提升了安全性。 2.2.2 新功能 2.2.2.1 SQL • 支持基于部分函数创建表达式索引 (Expression index) 表达式