全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板； 的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； 全球敏捷运维峰会 广州站 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； 2. 数据量日益增量，每天要更新的数据量也不断增大； 3. 业务场景不断增多，涉及面越来越广； 4. 需要保证高可用并秒出； 5. 从Sql，Es， CrateDB， Kylin，Ingite，MongoDB，Hbase 相关配置文件； 全球敏捷运维峰会 广州站 StarRocks的特点 优点： 1. 支持标准的SQL语法，兼容MySql协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka； 全球敏捷运维峰会 广州站 ClickH

2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS

并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 7 • MySQL Replication • Shared Storage • Group Replication • MySQL Cluster 从数据库 • 会话线程：处理来自应用程序的查询 － 将 数据写入主数据库，将关联事件写入二进制 日志 • 转储线程：读取二进制日志中的事件，然后 将其发送到从数据库 • I/O 线程：接收复制事件，并将其存储在从 数据库的中继日志中 4/16/2017 8 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 为何进行复制？ •将数据库从“主服务器”复制到“从服务器” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 主 从 Web/应用服务器 写入和读取 读取 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 9 •异步 – MySQL

字符集支持 字符集配置 时区 数据类型 日期和时间类型 基本数据类型 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 控制流程函数 - 2 - 本文档使用 书栈(BookStack.CN) 构建 字符串函数 数值函数与操作符 日期和时间函数 位函数和操作符 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 TiDB 用户文档 高级功能 历史数据回溯 垃圾回收 (GC) TiDB Ansible 常见运维操作 TiDB 运维文档 Try TiDB - 3 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 运维文档 软硬件环境需求 部署集群 Ansible 部署方案（强烈推荐） 离线 Ansible 部署方案 Docker 部署方案 Docker Compose 部署方案 跨机房部署方案 Loader TiDB-Binlog PD Control TiKV Control TiDB Controller TiDB-Binlog 部署方案 - 4 - 本文档使用 书栈(BookStack.CN) 构建 TiSpark 文档 TiSpark 快速入门指南 TiSpark 用户指南 常见问题与解答(FAQ) 版本发布历史 2.0.4 2.0.3 2.0.2 2.0.1 2.0 2.0 RC5 2.0

参考文档 参考文档 参考文档 简介 简介 入门 入门 XML配置 XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 简介 简介 什么是 什么是 MyBatis ？ ？ MyBatis 是支持定制化 Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 入门 入门 安装 安装 要使用 MyBatis， 只需将 mybatis-x.x.x.jar 文件置于 classpath 中即可。 如果使用 Maven 来构建项目，则需将下面的 dependency 代码置于 pom mybatis mybatis x.x.x 从 从 XML 中构建 中构建 SqlSessionFactory 每个基于 MyBatis 的应用都是以一个 SqlSessionFactory 的实例为中心的。SqlSessionFactory 的实例可以通过 Sql

. 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 模糊查询列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 使用 Docker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 构建 GraalVM Native Image(Alpha) . . . . . . . . . . . . . . . . . . . . . . . . . 133 使用 Helm . . . .

. 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 模糊查询列 . . . . . . . . . . . . . . . . . . . . . . . . . . . Logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.11 联邦查询 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.11.1 背景

. 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 模糊查询列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 使用 Docker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 构建 GraalVM Native Image(Alpha) . . . . . . . . . . . . . . . . . . . . . . . . . 126 可观察性 . . . . .

. . . 4 1.2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L1 内核层 . . . . . . . . . . . . . . . 41 密文列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 查询辅助列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 明文列 . . . . . . 1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 4.4.2 服务器错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 5 开发者手册 272 5.1 运行模式