SelectDB案例 从 ClickHouse 到 Apache Doris写入调优:针对- 235 报错进行相关参数的调优。比如设置合理的分区和分桶 (Tablet 建议 1-10G),同时结合场景对 Compaction 参数调优: max_XXXX_compaction_thread max_cumulative_compaction_num_singleton_deltas 优化 BE 提交逻辑:定期缓存 BE 列表,按批次随机提交到 BE 节点,细化负载均 com/apache/doris-spark-connector/pull/61 通过以上数据导入的优化措施,使得整体导入链路更加稳定,每日离线导入时长下降了 75% ,数据版本累积情况也有所改善,其中 cumu compaction 的合并分数更是从 600+直 降到 100 左右,优化效果十分明显。 查询优化 目前我们的场景指标数据是以分区表的形式存储在 Doris 中, ES 保留一份全量的标签数 据。0 码力 | 12 页 | 1.55 MB | 1 年前3
共 1 条
- 1













