SelectDB案例 从 ClickHouse 到 Apache Doris效的 SQL 语句是非常有难度的。如果你有相关的经验,期待有机会可以一起探索交流。 优化经验 从上文已知,为更好地实现业务需求,数据架构演进到 4.0 版本,其中 Apache Doris 作为 分析加速场景的解决方案在整个系统中发挥着重要的作用。接下来将从场景需求、数据导入、 查询优化以及成本优化四个方面出发,分享基于 Doris 的读写优化经验,希望给读者带来 一些参考。 场景需求 6 Light Schema Change 功能的数据表也可以支持列名的 修改,这与我们的需求十分匹配,后续我们也会及时升级到最新版本。 写入优化 接着我们在数据写入方面也进行了调整优化,这里几点小经验与大家分享: Flink 预聚合:通过主键 ID 预聚合,减少写入压力。(前文已说明,此处不再赘述) 写入 Batch 大小自适应变更:为了不占用过多 Flink 资源,我们实现了从同一个0 码力 | 12 页 | 1.55 MB | 1 年前3
Apache Doris 在美团外卖数仓中的应用实践本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下,各种数据 引擎百花齐放,但由于业务的复杂性与多样性,目前并没有哪个引擎能够适配所有业务场景,因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化,同时兼顾研发、生产与运维成本的最小化,建设持续进步的数仓能力,也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前,互联网业务规 目前开源的比较受关注的OLAP引擎很多,比如Greenplum、Apache Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等,但缺乏实践案例的介绍,所以我们也没有太多的经验可以借鉴。 于是,我们就结合自身业务的需求,从引擎建设成本出发,并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑,作为选型依据,最终我们平台部门选择了2018年刚进入Apache社 区的Doris。0 码力 | 8 页 | 429.42 KB | 1 年前3
共 2 条
- 1













