clickhouse数仓应用实践 演讲人：朱元 日期： 2019-10-20 所遇问题 目录 CONTENTS 现状背景 应用实践 01 数据链路长 现状 即席查询性能差 数据压缩率低 需求响应慢 02 数据架构 数据同步ck 01 1，基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维

. . 114 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 分片算法 . . . . . . 初始化配置或执行 SQL 等造成的元数据结果变更的操作，仅在当前进程中生效。适用于集成测试的环境 启动，方便开发人员在整合功能测试中集成 Apache ShardingSphere 而无需清理运行痕迹。 3.2. 运行模式 13 Apache ShardingSphere document, v5.1.0 3.2.3 单机模式 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache ShardingSphere 实例，无 法在集群环境中相互感知。通过某一实例更新元数据之后，会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。适用于工程师在本地搭建 Apache ShardingSphere 环境。 3.2.4 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集

. . 115 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 分片算法 . . . . . . 初始化配置或执行 SQL 等造成的元数据结果变更的操作，仅在当前进程中生效。适用于集成测试的环境 启动，方便开发人员在整合功能测试中集成 Apache ShardingSphere 而无需清理运行痕迹。 3.2. 运行模式 13 Apache ShardingSphere document, v5.1.1 3.2.3 单机模式 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache ShardingSphere 实例，无 法在集群环境中相互感知。通过某一实例更新元数据之后，会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。适用于工程师在本地搭建 Apache ShardingSphere 环境。 3.2.4 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集

. . 118 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 分片算法 . . . . . . . . . . . . . . . . . . . . . . . 325 7.8.31 [ShardingSphere‐JDBC] Oracle 表名、字段名配置大小写在加载 metadata 元数 据时结果不正确？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 7.9 API 变更历史 . 初始化配置或执行 SQL 等造成的元数据结果变更的操作，仅在当前进程中生效。适用于集成测试的环境 启动，方便开发人员在整合功能测试中集成 Apache ShardingSphere 而无需清理运行痕迹。 3.2. 运行模式 13 Apache ShardingSphere document, v5.1.2 3.2.3 单机模式 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache

. . 252 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 分片算法 . . . . . . 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache ShardingSphere 实例，无 法在集群环境中相互感知。通过某一实例更新元数据之后，会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。 适用于工程师在本地搭建 Apache ShardingSphere 环境。 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 供计算能力水平扩展和高可用等分布式系统必备的能力，集群环境需要通过独立部署的注册中心来存储 元数据和协调节点状态。 在生产环境建议使用集群模式。 1.3. 部署形态 9 2 快速入门 本章节以尽量短的时间，为使用者提供最简单的 Apache ShardingSphere 的快速入门。 示例代码：https://github.com/apache/

适用于单机启动 ShardingSphere，通过该模式可将数据源和规则等元数据信息持久化。默认在根目录创 建 .shardingsphere 文件用于存储配置信息。 3.2. 运行模式 13 Apache ShardingSphere document, v5.0.0 3.2.4 集群模式 适用于分布式场景，它提供了多个计算节点之间的元数据共享和状态协调。需要提供用于分布式协调的 注册中心组件，如：ZooKeeper、Etcd ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还计划通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 @Resource private DataSource dataSource; 强制路由 简介 Apache ShardingSphere 使用 ThreadLocal 管理分片键值进行强制路由。可以通过编程的方式向 Hint‐ Manager 中添加分片值，该分片值仅在当前线程内生效。 Hint 的主要使用场景： • 分片字段不存在 SQL 和数据库表结构中，而存在于外部业务逻辑。 • 强制在主库进行某些数据操作。

ShardingSphere 中叫做 Hint。 实现机制 Apache ShardingSphere 使用 ThreadLocal 管理分片键值。可以通过编程的方式向 HintManager 中 添加分片条件，该分片条件仅在当前线程内生效。 除了通过编程的方式使用强制分片路由，Apache ShardingSphere 还计划通过 SQL 中的特殊注释的方式 引用 Hint，使开发者可以采用更加透明的方式使用该功能。 将多个执行结果集归并以便于通过统一的 JDBC 接口输出。结果归并包括流式归并、内存归并和使用装饰 者模式的追加归并这几种方式。 解析引擎 相对于其他编程语言，SQL 是比较简单的。不过，它依然是一门完善的编程语言，因此对 SQL 的语法进 行解析，与解析其他编程语言（如：Java 语言、C 语言、Go 语言等）并无本质区别。 抽象语法树 解析过程分为词法解析和语法解析。词法解析器用于将 SQL 拆解为不可再分的原子符号，称为 ORDER_BY_DERIVED_0 FROM t_order ORDER BY user_id; 值得一提的是，补列只会补充缺失的列，不会全部补充，而且，在 SELECT 语句中包含 * 的 SQL，也会根 据表的元数据信息选择性补列。下面是一个较为复杂的 SQL 补列场景： 3.1. 数据分片 32 Apache ShardingSphere document, v5.0.0-beta SELECT o.*

. . 381 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 分片算法 . . . . . . 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache ShardingSphere 实例，无 法在集群环境中相互感知。通过某一实例更新元数据之后，会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。 适用于工程师在本地搭建 Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 供计算能力水平扩展和高可用等分布式系统必备的能力，集群环境需要通过独立部署的注册中心来存储 元数据和协调节点状态。 在生产环境建议使用集群模式。 10 5 线路规划 11 6 如何参与 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 12 7

363 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 vi 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 分片算法 . . . . . . 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache ShardingSphere 实例，无 法在集群环境中相互感知。通过某一实例更新元数据之后，会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。 适用于工程师在本地搭建 Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 供计算能力水平扩展和高可用等分布式系统必备的能力，集群环境需要通过独立部署的注册中心来存储 元数据和协调节点状态。 在生产环境建议使用集群模式。 10 5 线路规划 11 6 如何参与 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache 软件基金会的顶级项目。欢迎通过邮件列表参与讨 论。 12 7

. . 408 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 分片算法 . . . . . . JtaTransactionManager？ . . . . . . . . . . . . . . . . . . 531 13.1.2 JDBC Oracle 表名、字段名配置大小写在加载 metadata 元数据时结果不正确？ 531 13.1.3 JDBC 使用 MySQL XA 事务时报 SQLException: Unable to unwrap to interface com.mysql.jdbc 能够将数据源和规则等元数据信息持久化，但无法将元数据同步至多个 Apache ShardingSphere 实例，无 法在集群环境中相互感知。通过某一实例更新元数据之后，会导致其他实例由于获取不到最新的元数据 而产生不一致的错误。 适用于工程师在本地搭建 Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提