ClickHouse on Kubernetes! Alexander Zaitsev Altinity Background ● Premier provider of software and services for ClickHouse ● Incorporated in UK with distributed team in US/Canada/Europe 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) ○ POCs/Training What is Kubernetes? “Kubernetes is the new Linux” Actually it’s an open-source machine resources efficiently ● automate application deployment Why run ClickHouse on Kubernetes? Other applications are already there Easier to manage than deployment on hosts Bring

ClickHouse on Kubernetes! Alexander Zaitsev, Altinity Limassol, May 7th 2019 Altinity Background ● Premier provider of software and services for ClickHouse ● Incorporated in UK with 24x7 support for ClickHouse deployments ○ Software (Kubernetes, cluster manager, tools & utilities) ○ POCs/Training What is Kubernetes? “Kubernetes is the new Linux” Actually it’s an open-source efficiently ● automate application deployment Why run ClickHouse on Kubernetes? 1. Other applications are already there 2. Portability 3. Bring up data warehouses quickly 4. Easier to manage than

Firebird Project members 11 July 2011, document version 3.11 covers Firebird 2.0–2.0.6 and 2.1–2.1.4 2 Table of Contents About this guide .............................................................. depends on your situation. A short overview of the most important differences follows. Table 1. Firebird 2 Classic Server vs. Superserver Classic Server Superserver Processes Creates a separate process for installation on Linux. Some of the locations may be different on other Unix-like systems. Table 2. Firebird 2 component locations on Linux Component File Name Default Location Installation directory (referred

Firebird 2 Schnellanleitung IBPhoenix Editoren Mitglieder des Firebird-Projekts Übersetzung ins Deutsche: Thomas Steinmaurer 28. November 2006 – Dokumentenversion 3.3-de 2 Inhaltsverzeichnis Über sicher, dass diese Anleitung Ihrer Firebird Version entspricht. Diese Anlei- tung behandelt Version 2. Falls Sie Firebird 1.0 oder 1.5 verwenden, dann holen Sie sich die entsprechende Version der Schnellanleitung Überblick über die wichtigsten Unterschiede gibt die nach- folgende Tabelle. Firebird 2 Schnellanleitung 4 Tabelle 1. Firebird 2 Classic Server vs. Superserver Classic Server Superserver Prozesse Erzeugt für

Inc. All rights Reserved. Kubernetes Operator for Massively Parallel Postgres Goutam Tadi (@goutamtadi) Senior Software Engineer, Pivotal Software Inc Email: gp-kubernetes@pivotal.io PGConf India 2019 2019 Agenda ● Intro to Greenplum ● Kubernetes 101 ● Greenplum for Kubernetes ○ Components ■ Greenplum Operator ■ Greenplum Cluster ● Demo Massively Parallel Postgres Greenplum Greenplum Data Managed Clouds 5 Container Orchestration System Kubernetes Greenplum on Kubernetes 101 Kubernetes Master Greenplum on Kubernetes 101 Kubernetes Master kubelet kube-proxy docker Node kubelet kube-proxy

Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存

2 Sharding-JDBC入门使用 2.1不使用Spring 引入Maven依赖 基于Java编码的规则配置 Sharding-JDBC的分库分表通过规则配置描述，以下例子是根据user_id取模分库, 且根据 order_id取模分表的两库两表的配置。 org.apache.shardingsphere BasicDataSource dataSource2 = new BasicDataSource(); dataSource2.setDriverClassName("com.mysql.jdbc.Driver"); dataSource2.setUrl("jdbc:mysql://localhost:3306/ds1"); dataSource2.setUsername("root"); setUsername("root"); dataSource2.setPassword(""); dataSourceMap.put("ds1", dataSource2); // 配置Order表规则 基于Yaml的规则配置 或通过Yaml方式配置，与以上配置等价： TableRuleConfiguration orderTableRuleConfig = new

Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 ● 对象存储 ○ 成本低 ○ 扩展性强 ○ 访问延迟高 Greenplum on Kubernetes Network Interconnect Standby Segment Instance Segment host 1 Segment 1 (Primary) Segment Instance Segment 2 (Primary) Segment Instance Segment host 2 Segment 3 (Primary) Segment Instance Segment 4 (Primary) Segment Instance

• 业务背景 • 集群现状 • 我们遇到的问题 业务背景 基于storm的实时指标的计算存在的问题 1：指标口径(SQL) -> 实时任务 2：数据的回溯 3：稳定性 业务背景 什么是我们需要的? 1：实时指标SQL化 2：数据方便回溯，数据有问题，方便恢复 3：运维需要简单 4：计算要快，在一个周期内，要完成所有的指标的计算 集群现状 100+台32核128G 部分复杂累时查询30S内完成 问题： 1：内存限制，对于一些大的查询会出现内存不够问题 2：存储限制，随着表越来多，磁盘报警不断 3：cpu限制 64G对于一些大表(每天600亿+)的处理，很容易报错，虽然有基于磁盘解决方案，但是会影响速度 clickhouse的数据目录还不支持多个数据盘，单块盘的大小限制太大 cpu需要根据实际情况而定 解决： 1：机器的内存推荐128G+ 2：采用软连接的方式，把不同的表分布到不同的盘上面，这样一台机器可以挂载更多的盘 (timestamp, eventType) or order by (eventType, timestamp) 业务场景 1：趣头条和米读的上报数据是按照”事件类型”(eventType)进行区分 2：指标系统分”分时”和”累时”指标 3：指标的一般都是会按照eventType进行区分 select count(1) from table where dt='' and timestamp>=''

TABLE [IF NOT EXISTS] [db_name.]table_name ( name1 [type] [DEFAULT|MATERIALIZED|ALIAS expr], name2 [type] [DEFAULT|MATERIALIZED|ALIAS expr], 省略... ) ENGINE = MergeTree() [PARTITION BY expr] [ORDER > 'A000' ('A000', +inf) WHERE ID < 'A188' (-inf, 'A188') WHERE ID LIKE 'A006%' ['A006', 'A007') 2. 递归交集判断 3. 合并MarkRange区间 索引的查询过程 二级索引 跳数索引 目前，MergeTree共支持4种跳数索引，分别是minmax、set和ngrambf_v1和tokenbf_v1。 v1。 数据存储 按列存储，精心编排，错落有致 压缩数据块，就好比是一本书的文字段落，是组织文字的基本单元。 压缩数据块 头信息固定使用9位字节表示，具体 由1个UInt8(1字节)整型和2个 UInt32(4字节)整型组成 。 压缩数据块大小 l 单个批次数据 size < 64K 如果单个批次数据小于64K，则继续获取下一批 数据，直至累积到size >= 64K时，生成下一个压缩