等场景 • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 GitHub：https://github.com/apache/incubator-doris 欢迎关注Doris微信公众号 更多技术趋势、实践案例、社区活动 欢迎登陆百度智能云官网，体验企业级托管版本Palo 全新UI支持，更有新用户0元三个月优惠活动 Thank You

份冗余的数据。  实时性比较差，由于每个 Source 表产出的时间不一样，往往会因为某些延迟比较 大的 Source 表导致整个数据链路延迟增大。  开发成本较高，该方案只能作为离线方式，若想实现实时方式则需要投入开发资源 进行额外的开发。 而在 Flink 中生成宽表，链路简单、成本低也容易实现，主要流程是：首先用 Spark 将相 关 Source 表最新数据离线导入到 Kafka 中， ， TDW 无需维护两份冗余的数据，Kafka 也只需保存最新待导入的数据。同时该方案整体实时性更好且可控，并且大宽表聚合在 Flink 中执行，可灵活加入各种 ETL 逻辑，离线和实时可对多个开发逻辑进行复用，灵活度较高。 数据模型选择 目前我们生产环境所使用的版本为 Apache Doris 1.1.3，我们对其所支持的 Unique 主键模 型、Aggregate 聚合模型和 Duplicate 运维起来比较容易;  高度兼容 MySQL 语法，支持标准 SQL，极大降低开发人员接入使用成本；  支持多种联邦查询方式，支持对 Hive、MySQL、Elasticsearch 、Iceberg 等组件的 联邦查询分析，降低多数据源查询复杂度。 通过以上的方式，使得存储成本降低 42%，开发与时间成本降低了 40% ，成功实现降本提 效，后续我们将继续探索！ 未来规划

齐逻辑复杂。 不同业务线需求差异大，指标需要良好扩展性。 由于业务上的复杂性，实时流计算中，需要考虑诸多业务口径的对齐，业务ER模型在合流处理中 开发成本较高，资源占用较大，通过设计基于Doris的准实时生产数仓，可以灵活地实现业务微批 处理，且开发生产成本都比较低。以下为基于Doris的准实时数仓架构设计，是典型的实时Lambd a生产架构： 实现准实时计算方案，需要以下能力的支撑： 实时的写入能力：目前支持Kafka