百度智能云 Apache Doris 文档处于这两个阶段时,导入完成。其中 CANCELLED 为导 入失败,FINISHED 为导入成功。 导入任务的进度描述。分为两种进度:ETL 和 LOAD,对应了导入流程的两个阶段 ETL 和 LOADING。目前 Broker load 由于 只有 LOADING 阶段,所以 ETL 则会永远显示为 LOAD 的进度范围为:0~100%。 如果所有导入表均完成导入,此时 LOAD 的进度为 99% 如果所有导入表均完成导入,此时 Label: label1 State: FINISHED State: FINISHED Progress: ETL:N Progress: ETL:N//AA;; LOAD LOAD::100 100%% Type Type: BROKER : BROKER EtlInfo: 显示分两部分:type 和 msg,如果导入任务成功则显示 。 type的取值意义: 这几个值分别代表导入创建的时间,ETL阶段开始的时间,ETL阶段完成的时间,Loading阶段开始的时间和整个导入任务完 成的时间。 Broker load 导入由于没有 ETL 阶段,所以其 EtlStartTime, EtlFinishTime, LoadStartTime 被设置为同一个值。 导入任务长时间停留在0 码力 | 203 页 | 1.75 MB | 1 年前3
SelectDB案例 从 ClickHouse 到 Apache Doris和指标的分析。从业务的角度,需要满足以下要求: 实时可用:标签/指标导入以后,需实现数据尽快可用。不仅要支持常规离线导入 T+1 ,同时也要支持实时打标场景。 部分更新:因每个 Source 表由各自 ETL 任务产出对应的数据,其产出时间不一致, 并且每个表只涉及部分指标或标签,不同数据查询对时效性要求也不同,因此架构 需要支持部分列更新。 性能高效:具备高效的写入能力,且在圈选、洞察、报表等场景可以实现秒级响应。 通过以上导入优化方案,极大地降低了存储成本, TDW 无需维护两份冗余的数据,Kafka 也只需保存最新待导入的数据。同时该方案整体实时性更好且可控,并且大宽表聚合在 Flink 中执行,可灵活加入各种 ETL 逻辑,离线和实时可对多个开发逻辑进行复用,灵活度较高。 数据模型选择 目前我们生产环境所使用的版本为 Apache Doris 1.1.3,我们对其所支持的 Unique 主键模 型、Aggregate0 码力 | 12 页 | 1.55 MB | 1 年前3
共 2 条
- 1













