Apache Doris 在美团外卖数仓中的应用实践Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下,各种数据 引擎百花齐放,但由于业务的复杂性与多样性,目前并没有哪个引擎能够适配所有业务场景,因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化,同时兼顾研发、生产与运维成本的最小化,建设持续进步的数仓能力,也欢 https://www.iteblog.com 可以看到,当使用Bitmap之后,之前的PV计算过程会大幅简化,现场查询时的 IO、CPU、内存,网络资源也会显著减少,并且不再会随着数据规模而线性增加。 总结与思考 在外卖运营分析的业务实践中,由于业务的复杂及应用场景的不同,没有哪一种数据生产方案能 够解决所有业务问题。数据库引擎技术的发展,为我们提供更多手段提升数据建设方案。实践证 明,以Doris引擎为0 码力 | 8 页 | 429.42 KB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache DorisDoris 的替换、经历了数据架构语义层的初步引 入到深度应用,有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题,收 益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 数据架构 1.0 2 如图所示为数据架构 1.0 架构图,分为数仓层、加速层、应用层三部分,数据架构 1.0 是 一个相对主流的架构,简单介绍一下各层的作用及工作原理: preview 版本中可用于功能评估和性能测试,相 信在这个场景使用后会有进一步的性能提升。 成本优化 在当前大环境下,降本提效成为了企业的热门话题,如何在保证服务质量的同时降低成本开 销,是我们一直在思考的问题。在我们的场景中,成本优化主要得益于 Doris 自身优秀的 能力,这里为大家分享两点: 1、冷热数据进行精细化管理。 利用 Doris TTL 机制,在 Doris 中只存储近一年的数据,更早的数据放到存储代价0 码力 | 12 页 | 1.55 MB | 1 年前3
共 2 条
- 1













