SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) https://github.com/donnemartin/system-design-primer 6 / 97 Highload Architecture › Webserver (Apache SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) › Key-Value Storage (Redis, Aerospike) › Relational DBMS (PostgreSQL, MySQL) › NoSQL DBMS (MongoDB SQS) › Coordination system (Zookeeper, etcd) › MapReduce (Hadoop, Spark) › Network File System (S3, HDFS) › Key-Value Storage (Redis, Aerospike) › Relational DBMS (PostgreSQL, MySQL) › Coordination system

ClickHouse Внешние системы: › СУБД: MySQL, MongoDB, PostgeSQL, ... › Распределенные системы: Kafka, ZK, HDFS, ... С самим собой: › При распределенных запросах › Через реплицируемые таблицы 22 / 77 Тестирование тесты: пример hdfs1 node1:9018 192.168.2.1 node2:9018 192.168.2.2 blocade zoo1 zoo2 zoo3 29 / 77 Тестирование ClickHouse, которого мы заслуживаем Интеграционные тесты: пример hdfs1 node1:9018 192 Интеграционные тесты: пример hdfs1 node1:9018 192.168.2.1 node2:9018 192.168.2.2 blocade zoo1 zoo2 zoo3 INSERT INTO tt SELECT * FROM hdfs('hdfs://hdfs1:9000/tt', 'TSV') client

ClickHouse Manager负责ClickHouse集群管理、元数据管理以及节点负载协调  tag-generate负责标签数据构建，保存到HDFS（MySQL中存储标签配置信息）  tag-loader向ClickHouse发送从HDFS导入标签数据的sql  to-ch-sql模块，将用户画像查询条件转换为ClickHouse sql诧句  用户画像平台通过Proxy从ClickHouse集群查询标签数据 Spark tag-generate tag-loader MySQL ClickHouse集群 ClickHouse1 ClickHouse Manager HDFS 用户画像平台 ClickHouse2 ClickHouseN to-ch-sql 19 标签数据表定义 20 String Integer Double Date ch_label_date_20191011 ch_label_dist_int ch_label_dist_double ch_label_dist_date 查询 分布式表 标签数据表 HDFS 导入  HDFS上采用snappy.parquet格式存储数据。  采用AB表切换方式，避免查询和写入的冲突，标签数据表以日期结尾命名。  通过重建分布式表迚行AB表切换，指向丌同日期的标签数据表。

与ClickHouse兼容的 HTTP 接口 请求管理/流量控制 查询缓存 查询分发器 查询处理器 ClickHouse 监控管理平台 元数据管理 库表管理 权限管理 埋点分析 报表平台 HDFS/Hive Kafka/Databus 离线接入 (Rider/Spark/WaterDrop) 实时接入 (BSQL/Saber/Flink & ClickHouse JDBC) Applications 基于中间存储的Bulkload⽅案降低ClickHouse Server压⼒ Bulkload v 基于中间存储的Bulkload可以降低ClickHouse Server压⼒ v 基于中间存储的Bulkload受HDFS和⽹络稳定性影响，且传输成本较⾼ v 直达ClickHouse的Bulkload稳定性，性能都更佳 Unique Engine v ⽬标：⽀持UpSert，Delete操作，提升查询性能 v

4. 将A_ temp_temp rename成 A_temp; 其他方式： 1. 采用 waterdrop 的方式大幅提升写入速度； 2. 直接读Hdfs文件的方式，但内存波动较大； 全球敏捷运维峰会 广州站 ClickHouse的增量数据同步流程 传统方式： 1. 将最近3个月的数据从Hive通过ETL入到A_temp表;

ck-loader-mr方式对大数据量场景支持不够友好 • 单次插入分区过多 解决方法： 使用clickhouse原生insert format csv 配合linux pipline导入 hadoop fs -cat 'hdfs://hadoop-namenode:port/user/hive/user/2013/000000_0' | clickhouse-client --host=127.0.0.1 -- port=10000