使用Rust与ClickHouse构建高效可靠的日志系统

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/itfanr

摘要

本文介绍了腾讯云专有云平台在构建高效可靠日志系统中的实践。系统原使用Loki但因资源占用过大、统计能力弱、组件过多等问题逐渐被淘汰。为了解决这些问题，团队选择了Mencius和ClickHouse的组合，实现了存储计算与业务分离，提升了计算和统计能力，同时降低了资源占用并提高了性能。系统支持多种接入方式、多租户、自定义索引、多维度统计等功能。在实现过程中，团队遇到了Rust的生命周期侵入性强、库质量参差不齐以及ClickHouse的可运维性弱、强Schema不够灵活等挑战。

AI总结

### 总结

**《使用Rust与ClickHouse构建高效可靠的日志系统》**
主讲人：刘炜，腾讯云（专有云）日志系统开发人员。

---

#### **演讲主题**
探讨了如何利用Rust语言和ClickHouse数据库构建高效、可靠的日志系统，分享了系统设计、实现过程及遇到的技术挑战。

---

#### **系统背景**
- 系统属于腾讯专有云PaaS平台（TCS），主要用于处理日志的存储、搜索、报警和处理等功能。
- 曾使用Loki作为日志系统，但因以下问题放弃：
- 资源占用过大
- 统计/计算能力较弱
- 组件过多，排查问题困难
- 开源协议不友好

---

#### **技术选型**
选择Mencius（腾讯自研日志系统）结合ClickHouse的原因：
- 存储计算与业务分离，提升性能
- 计算/统计能力更强
- 资源占用小，性能更优
- 开源协议更友好

---

#### **系统架构**
- **协议层**：支持多种接入方式（Agent、Client）。
- **处理层**：日志数据的接收、解析和处理。
- **计算层**：支持LogQL、OpenTSDB等查询方式。
- **存储层**：使用ClickHouse进行高效存储和查询。

---

#### **系统功能**
- 多租户支持
- 自定义索引
- 多维度统计
- 鉴权功能

---

#### **遇到的问题**
- **Rust**：
- Lifetime的侵入性较强
- 库质量参差不齐
- **ClickHouse**：
- 可运维性较弱
- 强Schema导致灵活性不足
- 全文索引支持较弱

---

#### **总结**
通过Rust与ClickHouse的结合，构建了一个高效可靠的日志系统。尽管在技术选型和实现过程中面临一些挑战，但整体架构和功能设计为系统的稳定性和性能提供了有力保障。