Doris的数据导入机制以及原子性保证
使用案例 导入方式 04 使用案例 导入方式 同步/异步 场景 接口 Broker Load 异步 HDFS、BOS对象存储 MySQL Routine Load 异步 Kafka MySQL Stream load 同步 本地文件,数据流 HTTP Insert into 同步 命令行 MySQL Spark Load 异步 Spark MySQL 最佳实践 04 使用案例 • • 根据数据源所在位置选择导入方式。 选择合适的导入方式 • 使用 MySQL 协议定期提交和查看导入作业。 确定导入方式的协议 • 导入方式为同步或异步。 确定导入方式的类型 • 每一批次数据唯一且固定,保证 At-Most-Once 制定 Label 生成策略 • 外部系统需要保证自身的 At-Least-Once,这样就可以保证 导入流程的 Exactly-Once。 程序自身保证0 码力 | 33 页 | 21.95 MB | 1 年前3百度智能云 Apache Doris 文档
指定的位置开 始消费 RESTORE RESTORE RESTORE Description Description 该语句用于将之前通过 BACKUP 命令备份的数据,恢复到指定数据库下。 该命令为异步操作。提交成功后,需通过 SHOW RESTORE 命令查看进度。 仅支持恢复 OLAP 类型的表。 :通过 SHOW SNAPSHOT 命令查看到的 Snapshot 名称。 :仓库名称。 Col。数据会按照源数据中 列的值来保 证顺序性。 Keywords Keywords BROKER, LOAD 最佳实践 最佳实践 1. 查看导入任务状态 Broker Load 是一个异步导入过程,语句执行成功仅代表导入任务提交成功,并不代表数据导入成功。导入状态需要通过 SHOW LOAD 命令查看。 2. 取消导入任务 已提交切尚未结束的导入任务可以通过 CANCEL LOAD 。所以建议通过 监控作业运行状态来合理控制作业提交频率。 BACKUP BACKUP BACKUP Description Description 该语句用于备份指定数据库下的数据。该命令为异步操作。提交成功后,需通过 SHOW BACKUP 命令查看进度。 仅支持备份 OLAP 类型的表。 :为本次备份的快照取个名字。 :指定要备份的表或者分区。 :指定一些参数 :任务超时时间,默认为一天。单位秒。0 码力 | 203 页 | 1.75 MB | 1 年前3
共 2 条
- 1