Doris的数据导入机制以及原子性保证FE Follower 2. Load 数据 数据版本 N+1 事务状态 VISIBLE 事务管理 1.Begin Txn 3.汇报导入 4. publish 5. publish 回调 生效数据 V1 V2 Vn+1 … Vn Publish • 修改BE元数据,数据版本 +1 • 修改FE元数据, 数据版本 +1 • 事务状态改为 VISIBLE Phase0 码力 | 33 页 | 21.95 MB | 1 年前3
 SelectDB案例 从 ClickHouse 到 Apache Doris中消费数据写入到不同 Doris 表中的功能,并且可以根据数据的大小 自动调整写入的批次,尽量做到攒批低频写入。  Doris 写入调优:针对- 235 报错进行相关参数的调优。比如设置合理的分区和分桶 (Tablet 建议 1-10G),同时结合场景对 Compaction 参数调优: max_XXXX_compaction_thread max_cumulative_compaction_num_singleton_deltas 优化背景:在写入时发现某一个 BE 负载会远远高于其他的 BE,甚至出现 OOM。结合源 码发现:作业启动后会获取一次 BE 地址列表,从中随机选出一个 BE 作为 Coordinator 协 调者,该节点主要负责接收数据、并分发到其他的 BE 节点,除非作业异常报错,否则该节 点不会发生切换。 对于少量 Flink 作业大数据场景会导致选中的 BE 节点负载较高,因此我们尝试对 BE 提 交逻辑进行优化,设置每0 码力 | 12 页 | 1.55 MB | 1 年前3
 百度智能云 Apache Doris 文档成功,并不代表数据导入成功。导入状态需要通过 SHOW LOAD 命令查看。 2. 取消导入任务 已提交切尚未结束的导入任务可以通过 CANCEL LOAD 命令取消。取消后,已写入的数据也会回滚,不会生效。 3. Label、导入事务、多表原子性 Doris 中所有导入任务都是原子生效的。并且在同一个导入任务中对多张表的导入也能够保证原子性。同时,Doris 还可以 LOAD LOAD Label 继续重复提交,直到 不为 ,或者 字段值为 为止。 3. 取消导入任务 已提交切尚未结束的导入任务可以通过 CANCEL LOAD 命令取消。取消后,已写入的数据也会回滚,不会生效。 4. Label、导入事务、多表原子性 Doris 中所有导入任务都是原子生效的。并且在同一个导入任务中对多张表的导入也能够保证原子性。同时,Doris 还可以 通过 Label0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1
 













