ClickHouse在B站海量数据场景的落地实践
ClickHouse as Service v Berserker数据源管理: Ø 建表 Ø 修改表元数据 Ø 表元数据管理 v Yuuni: Ø 屏蔽集群信息 Ø 原⽣JDBC,HTTP接⼜ Ø 读写分离 Ø 动态查询缓存 Ø 流量控制 v 监控管理平台: Ø 统计⼤盘 Ø 回归测试 Ø 接⼊评估 Ø 数据迁移 Ø 数据重平衡 v 交互式分析查询:Superset提供即时查询能⼒ ClickHouse集群容器化,提升物理集群资源使⽤率 v ClickHouse倒排索引调研与改造,提升⽇志检索性能 v 丰富ClickHouse编码类型,拓展zorder应⽤场景,提升圈选计算性能 v ClickHouse存算分离探索,降低集群扩容成本 Q&A0 码力 | 26 页 | 2.15 MB | 1 年前32. Clickhouse玩转每天千亿数据-趣头条
盘,单块盘的大小限制太大 cpu需要根据实际情况而定 解决: 1:机器的内存推荐128G+ 2:采用软连接的方式,把不同的表分布到不同的盘上面,这样一台机器可以挂载更多的盘 最新版本的”冷热数据分离”特性,曲线救国? 我们遇到的问题 order by (timestamp, eventType) or order by (eventType, timestamp) 业务场景 1:趣头条和0 码力 | 14 页 | 1.10 MB | 1 年前36. ClickHouse在众安的实践
Throughput Peak memory 4.480s 132.03 million, 9.24GB 29.47millon/s, 2.08GB/s 1.77GiB 测试2:健康险365天保费>100的用户前一年保费分布情况 Elapsed Processed rows Throughput Peak memory 5.567s 215.26 million, 16.86GB 38.67millon/s0 码力 | 28 页 | 4.00 MB | 1 年前32. ClickHouse MergeTree原理解析-朱凯
如果单个批次数据直接超过1M,则首先按照1M 大小截断并生成下一个压缩数据块。剩余数据继续依 照上述规则执行。此时,会出现一个批次数据生成多 个压缩数据块的情况。 每个压缩数据块的体积,按照其压缩前的数据字节大小,都被严格的控制在64K~1M之间,其上下限分 别由min_compress_block_size(默认65536)与max_compress_block_size(默认1048576)参数指定。0 码力 | 35 页 | 13.25 MB | 1 年前3
共 4 条
- 1