中消费数据写入到不同 Doris 表中的功能，并且可以根据数据的大小 自动调整写入的批次，尽量做到攒批低频写入。  Doris 写入调优：针对- 235 报错进行相关参数的调优。比如设置合理的分区和分桶 （Tablet 建议 1-10G），同时结合场景对 Compaction 参数调优： max_XXXX_compaction_thread max_cumulative_compaction_num_singleton_deltas 优化背景：在写入时发现某一个 BE 负载会远远高于其他的 BE，甚至出现 OOM。结合源 码发现：作业启动后会获取一次 BE 地址列表，从中随机选出一个 BE 作为 Coordinator 协 调者，该节点主要负责接收数据、并分发到其他的 BE 节点，除非作业异常报错，否则该节 点不会发生切换。 对于少量 Flink 作业大数据场景会导致选中的 BE 节点负载较高，因此我们尝试对 BE 提 交逻辑进行优化，设置每

CPU、IO、内存资源的分布，来提升并行计算能力。在当前数据存储以磁盘为主的情况下，数据S can需要的较大的磁盘IO，以及并行导致的高CPU，仍然是资源的短板。因此，高频的大规模汇 总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要 大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经 支持Bitmap算法，配合预计算可以很好地解决去重应用场景。

FE Follower 2. Load 数据 数据版本 N+1 事务状态 VISIBLE 事务管理 1.Begin Txn 3.汇报导入 4. publish 5. publish 回调 生效数据 V1 V2 Vn+1 … Vn Publish • 修改BE元数据，数据版本 +1 • 修改FE元数据， 数据版本 +1 • 事务状态改为 VISIBLE Phase 2