2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/ClickHouse-China

摘要

文档介绍了腾讯游戏在ClickHouse上的实践应用，包括部署与监控管理，以及iData数据分析引擎的应用。ClickHouse被用于处理大规模数据，特别是在游戏数据分析和用户画像方面，展示了其高性能和实时分析能力。此外，文档还详细介绍了ClickHouse在腾讯的部署架构、监控系统以及其在游戏业务中的具体应用场景，包括实时干预、精准推荐等。

AI总结

《ClickHouse实践》——丁晓坤&熊峰

点击数：474
点赞数：1.11k
收藏数：2.786
分享数：3.47
评论数：4.362
หมวดหมู่：技术分享

### ClickHouse部署与监控管理
1. ClickHouse在4亿数据下的下钻耗时对比（单机）：
- ClickHouse表现优异，具体数据如下：
- 1秒：1.47
- 2秒：2.78
- 3秒：3.47
- 4秒：4.36
- 5秒：5.23
- 6秒：6.57
- 7秒：7.12

### ClickHouse业务应用实践——iData
1. **游戏数据分析的业务背景**：
- 数据化驱动服务：采集、处理、分析、应用。
- 数据来源：TGlog服务端采集、TDM-SDK客户端采集、游戏数据库等。

2. **为什么选择ClickHouse**：
- 高性能：支持实时数据处理。
- 灵活性：支持嵌套数据类型、数组数据类型等。
- 实时分析能力强，适合大量数据处理。
- 成本优势：性价比高。

3. **iData数据分析引擎TGMars**：
- **功能特点**：
- 标准化数据接入能力强。
- 实时化数据处理。
- 异构化数据兼容。
- **应用场景**：
- 数据挖掘与内容推荐。
- 精准推广与用户画像。
- 实时决策与任务系统。
- 数据可视化与多维分析。

4. **平台在ClickHouse上的使用**：
- 业务应用场景包括：
- 用户增长与精准投放。
- 社交与社区服务。
- 直播与电竞数据驱动。
- 典型应用：
- iData：支持多维分析、画像分析。
- DataMore：实时决策系统。
- 用户画像系统：帮助精准化营销。
- 数据可视化工具：支持业务多维度提取与分析。

5. **特殊需求处理方式**：
- 采用了数组（Array）数据类型处理复杂数据结构。
- 使用Map类数据处理嵌套数据类型。
- 典型案例：

     SELECT Goals.play_times_key AS key, sum(Goals.play_times_value) AS value 
     FROM wegame 
     ARRAY JOIN Goals 
     GROUP BY key 
     ORDER BY value DESC 
     LIMIT 10;

### 总结
本次分享主要围绕ClickHouse在腾讯游戏iData平台的部署与应用展开，重点介绍了其在大规模数据处理中的表现、业务应用场景以及具体使用案例。ClickHouse凭借其高性能、灵活性和成本优势，在多个游戏数据分析场景中发挥了重要作用，成为游戏数据驱动服务的重要工具。