Hadoop 迁移到阿里云MaxCompute 技术方案Oozie、Azkaban、Airflow 等工具的工 作流及调度任务进行自动迁移转化,并自动创建为 Dataworks 工作流及调度作业。 5 迁移整体方案及流程 根据迁移工作的内容,我们提供了以下工作方法来保障迁移工作能够科学有序地开展 。 整个迁移工作包含以下几个阶段: Alibaba Cloud MaxCompute 解决方案 20 5.1 阶段 1:调研评估&迁移方案 network-measurement-tool 可以检查 Hadoop 集群与 MaxCompute 各个 Region 的网络连通质量,以及 download/upload 的性能。 工具使用方法 Example Alibaba Cloud MaxCompute 解决方案 27 输出结果 Output: 性能测试报告 [INFO ] MaxCompute 解决方案 35 【注意】:odps_ddl_runner.py 需要依赖 odpscmd,因此在执行前,需要配置 odpscmd 的 config.ini 文件,配置方法请参见文档: https://help.aliyun.com/document_detail/27804.html?spm=a2c4g.11186623.2.16.2fbaa9 5emqdrea0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













