异构系统链路追踪——滴滴 trace 实践

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/baiyutang

摘要

本文主要介绍了滴滴在异构系统中实现链路追踪的实践经验。面对系统架构异构、技术栈不统一等挑战，滴滴通过Trace机制记录调用链路信息，解决了日志数据格式不统一、检索效率低、存储扩展性差等问题。文中详细阐述了Trace信息的记录位置、spanid编码方法、采样逻辑以及如何通过标准化日志和分布式追踪能力提升系统链路追踪和问题定位能力。同时，提出了结合日志数据检索和计算需求，优化了Traceid的编码和存储效率，最终实现了系统信息透传能力的提升。

AI总结

## 滴滴异构系统链路追踪实践总结

### 1. 背景与目标
在滴滴技术框架快速发展的过程中，面临以下两个核心诉求：
- **问题追查诉求**：需要快速定位和解决系统问题。
- **日志数据处理应用诉求**：包括日志检索、计算等多样化需求。

目标是通过构建链路追踪能力，提升日志数据的检索计算效率，实现系统链路的透明化，支撑业务的高效诊断与优化。

---

### 2. 挑战
滴滴在落地链路追踪过程中面临以下主要挑战：
- **系统架构异构**：使用了5种语言和8种框架，导致技术栈不统一。
- **日志数据特性**：无Schema、低资源消耗，且日志格式规范难以统一。
- **Trace机制落地困难**：缺少统一的RPC中间件，导致链路追踪难以实现。
- **存储与检索问题**：大数据量下检索效率低，存储扩展性不足。

---

### 3. Trace落地方案
为应对上述挑战，滴滴采取了以下措施：
- **Trace信息记录**：
- 在RPC框架和AOP层记录Trace信息。
- 采用多种记录方式（如业务日志和RPC通信日志）附加Trace信息。
- **Span ID编码**：
- 使用点分法记录Span ID（如 `0.1.1.2`）。
- 采用随机数生成Span ID（如 `52286bce599eff8`）。
- **采样逻辑**：
- 采样记录调用链条，全量记录关键调用。
- 选择性采集细节调用数据。
- **业务ID与Trace ID关联**：
- 建立业务ID与Trace ID的关联关系，便于问题定位。

---

### 4. Trace应用能力
滴滴通过Trace机制实现了以下能力：
- **链路跟踪**：
- 优化Trace ID编码和检索效率。
- 使用Trace ID作为路由条件，缩小检索范围。
- **场景还原**：
- 通过Trace ID关联日志数据，实现时间顺序还原。
- 支持下钻到具体Trace，定位问题根因。
- **系统信息透传**：
- 在Trace信息结构体中，建立跨模块、全系统信息的透传能力。

---

### 5. 实践价值
- **问题定位**：能够追踪单次调用的业务异常，快速定位问题。
- **日志处理效率**：通过标准化日志格式和流式处理系统，提升日志检索和计算能力。
- **系统优化**：通过链路追踪能力，优化系统性能和资源利用率。

---

### 6. 总结
滴滴在异构系统中落地Trace机制，解决了日志数据处理与链路追踪的双重诉求。通过因地制宜的方案设计和技术创新，实现了高效的问题追查和系统优化能力，为复杂分布式系统的链路追踪提供了实践参考。