Apache Doris 在美团外卖数仓中的应用实践,同时提高了应用的灵活性, 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化,极大的降低了生产成本。 综上所述,在变化维、非预设维、细粒度统计的应用场景下,使用MPP引擎驱动的ROLAP模式, 可以简化模型设计,减少预计算的代价,并通过强大的实时计算能力,可以支撑良好的实时交互 体验。 双引擎下的应用场景适配问题 架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景,如下图所示: 总结与思考 在外卖运营分析的业务实践中,由于业务的复杂及应用场景的不同,没有哪一种数据生产方案能 够解决所有业务问题。数据库引擎技术的发展,为我们提供更多手段提升数据建设方案。实践证 明,以Doris引擎为驱动的ROLAP模式可以较好地处理汇总与明细、变化维的历史回溯、非预设维 的灵活应用、准实时的批处理等场景。而以Kylin为基础的MOLAP模式在处理增量业务分析,固化 维度场景,通过预计算以空间换时间方面依然重要。 要。 业务方面,通过外卖数仓Doris的成功实践以及跨BG的交流,美团已经有更多的团队了解并尝试 使用Doris方案。而且在平台同学的共同努力下,引擎性能还有较大提升空间,相信以Doris引擎 为驱动的ROLAP模式会为美团的业务团队带来更大的收益。从目前实践效果看,其完全有替代Kyl in、Druid、ES等引擎的趋势。 目前,数据库技术进步飞速,近期柏睿数据发布全内存分布式数据库RapidsDB0 码力 | 8 页 | 429.42 KB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache Doris前,我们会在查询层将 SQL 改写成具体的列名 a4。这样名称的修改只 是修改其元数据,底层 Doris 的表结构可以保持不变。 为了实现标签灵活上下架,我们通过统计标签的使用情况来分析标签的价值,将低 价值的标签进入下架流程。下架指的是对元信息进行状态标注,在下架标签重新上 架之前,不会继续导入其数据,元信息中数据可用时间也不会发生变化。 对于实时新增标签/指标,我们基于名称 ID 的映射在 个月之前的数据分区调整为 1 副本; 12 支持数据转冷, 在 SSD 中仅存储最近 7 天的数据,并将 7 天之前的数据转存到 到 HDD 中,以降低存储成本; 标签上下线,将低价值标签和指标下线处理后,后续数据不再写入,减少写入和存 储代价。 2、降低数据链路成本。 Doris 架构非常简单,只有 FE 和 BE 两类进程,不依赖其他组件,并通过一致性协议来保 证服务的0 码力 | 12 页 | 1.55 MB | 1 年前3
共 2 条
- 1













