Doris。****  社区目前 Apache Doris 社区活跃、技术交流更多，SelectDB 针对社区有专职的技 术支持团队，在使用过程中遇到问题均能快速得到响应解决。 同时我们也利用 Doris 的特性，解决了架构 1.0 中较为突出的问题。  数仓层：Apache Doris 的 Aggregate 数据模型可支持部分列实时更新，因此我们去 掉了 DWM 集市层的构建，直接增量到 和 ES 中（利用 Flink 实现进一步的聚合，减轻了 Doris 和 ES 的更新压力）。  加速层：该层主要将大宽表拆为小宽表，根据更新频率配置不同的分区策略，减小 数据冗余带来的存储压力，提高查询吞吐量。Doris 具备多表查询和联邦查询性能 特性，可以利用多表关联特性实现组合查询。  应用层：DataSet 统一指向 Doris，Doris 支持外表查询，利用该特性可对 ES 题，如何在保证服务质量的同时降低成本开 销，是我们一直在思考的问题。在我们的场景中，成本优化主要得益于 Doris 自身优秀的 能力，这里为大家分享两点： 1、冷热数据进行精细化管理。  利用 Doris TTL 机制，在 Doris 中只存储近一年的数据，更早的数据放到存储代价 更低的 TDW 中；  支持分区级副本设置，3 个月以内的数据高频使用，分区设置为 3 副本 ；3-6

下图是MOLAP模式与ROLAP模式下应用方案的比较： MOLAP模式的劣势 1. 应用层模型复杂，根据业务需要以及Kylin生产需要，还要做较多模型预处理。这样在不同 的业务场景中，模型的利用率也比较低。 2. Kylin配置过程繁琐，需要配置模型设计，并配合适当的“剪枝”策略，以实现计算成本与查 询效率的平衡。 3. 由于MOLAP不支持明细数据的查询，在“汇总+明细”的应用场景中，明细数据需要同步到 据量会显 著减少。 查询执行多实例并发优化 如上图所示，Doris默认在每个节点上为每个算子只会生成1个执行实例。这样的话，如果数据量 很大，每个执行实例的算子就需要处理大量的数据，而且无法充分利用集群的CPU、IO、内存等 资源。 一个比较容易想到的优化手段是，我们可以在每个节点上为每个算子生成多个执行实例。这样每 个算子只需要处理少量数据，而且多个执行实例可以并行执行。 下图是并发度设

有上限。但是提 交过大的导入会导致运行时间较长，并且失败后重试的代价也会增加。 同时受限于集群规模，我们限制了导入的最大数据量为 ComputeNode 节点数 * 3GB。以保证系统资源的合理利用。如果有 大数据量需要导入，建议分成多个导入任务提交。 Doris 同时会限制集群内同时运行的导入任务数量，通常在 3-10 个不等。之后提交的导入作业会排队等待。队列最大长度 为 100。之 bitmap bitmap_union, bitmap Baidu 百度智能云文档 SQL手册 188 功能：聚合函数，利用 bitmap 数据结构计算整型列的去重值。等价于 。其中参数类型支持 TINYINT、 SMALLINT、INT、BIGINT。该函数可以利用 bitmap 数据结构，使用更少的系统资源得到去重值。 返回值：bigint 类型。 Example Example