2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰Shard02 Shard03 Load Balancing 一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容: 扩容: 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 1 大批量,少批次 WriteModel BatchSize RowLengt h0 码力 | 26 页 | 3.58 MB | 1 年前3
2. ClickHouse MergeTree原理解析-朱凯MergeTree的存储结构 数据以分区的形式被组织 , PARTITION BY 各列独立存储, 按ORDER BY 排序 一级索引, 按PRIMARY Key 排序 数据分区 数据的分区规则 l 不指定分区键 如果不使用分区键,既不使用PARTITION BY声 明任何分区表达式,则分区ID默认取名为all,所 有的数据都会被写入到这个all分区。 l 使用整型 如果分区键取值属于整型(兼容UInt64,包括 类型,例如String、Float等。则通过128位Hash 算法取其Hash值作为分区ID的取值。 分区目录的命名规则 PartitionID_MinBlockNum_MaxBlockNum_Level • PartitionID 分区ID,无需多说,对于分区ID的规则在上一小节中已 经做过了详细的阐述。 • MinBlockNum和MaxBlockNum 顾名思义,最小数据块编号与最大数据块编号。这里的 以默认的索引粒度(8192)为例, MergeTree只需要12208行索引标 记就能为1亿行数据记录索引。 索引粒度 基于索引粒度,将数据标记成多个小的区间 index_granularity,默认8192 索引数据的生成规则 依照索引粒度生成索引,紧凑存储,惜字如金。 PRIMARY KEY ID 索引的查询过程 假如现在有一份测试数据,共192行记录。其中,主键ID为String类型, ID的取值从A000、0 码力 | 35 页 | 13.25 MB | 1 年前3
共 2 条
- 1













