Apache Doris 在美团外卖数仓中的应用实践

• 语言: 中文（简体）
• 格式: .pdf
• 来源: www.iteblog.com

摘要

文档介绍了美团外卖在数仓中的应用实践，详细讲述了Apache Doris在数仓中的优化与改进。美团通过引入Doris引擎解决了高效查询和低成本生产的平衡问题，并对比了MOLAP和ROLAP模式的优劣，分析了适用场景。Doris通过优化Join谓词下推、并发执行实例、Colocate Join等特性提升了查询性能，同时支持Bitmap聚合指标优化了精确去重能力。未来，Doris有望替代Kylin、Druid、ES等引擎，成为美团更多团队的核心引擎。

AI总结

《Apache Doris 在美团外卖数仓中的应用实践》总结

美团外卖在数据仓库建设中面临业务复杂、查询效率低和数据规模膨胀等挑战，为解决这些问题，引入了Apache Doris引擎。Doris作为一个基于MPP架构的OLAP引擎，结合了Google Mesa的数据模型、Impala的查询引擎和ORC存储格式，具备高效的查询性能和灵活的数据处理能力。

### 核心内容总结：
1. **Doris的特点**：
- 支持高并发和Ad-hoc查询，同时兼顾离线和实时数据导入。
- 支持明细和聚合查询，兼容MySQL协议和标准SQL。
- 提供智能查询路由、多表Join策略、表达式查询、Schema在线变更和二级分区支持。

2. **性能优化与关键技术**：
- **Join谓词下推优化**：基于Join谓词的传递性优化，减少数据扫描量，提升查询性能数十倍。
- **并发优化**：通过为每个算子生成多个执行实例，提升查询性能3-5倍。
- **Colocate Join**：实现本地Join，减少数据传输开销。
- **Bitmap聚合指标**：优化精确去重场景，降低资源消耗。

3. **应用场景与优势**：
- **准实时数仓**：支持秒级延迟，满足实时数据需求。
- **变化维和非预设维场景**：适合ROLAP模式，解决历史数据回溯和灵活查询问题。
- **高效去重**：通过Bitmap优化处理大规模去重指标。

4. **双引擎模式**：
- **MOLAP（Kylin）**：适用于维度固化和预计算场景，但预计算成本高。
- **ROLAP（Doris）**：适合变化维和实时查询，减少预计算，灵活性强。

5. **业务价值**：
- 在数万级商家运营分析中，Doris实现了毫秒级响应，支持百万级大表关联查询。
- 降低存储和计算成本，提升开发效率。

### 总结与展望：
Doris在美团外卖数仓中的应用验证了其高效性和灵活性，能够替代Kylin、Druid等引擎。未来，随着数据库技术进步，数仓分层管理和应用支撑效率将进一步提升，实现“定义即可见”，释放数据价值。

通过引入Doris，美团外卖实现了高效、灵活的数据分析，降低了运维成本，提升了业务决策能力，为未来的数据仓库建设奠定了坚实基础。Doris的应用实践为其他场景提供了有益经验，展现了其在高效数据处理中的潜力。