Hadoop 迁移到阿里云MaxCompute 技术方案
ODPS DDL 和 Hive UDTF SQL,参见 6.4.1 的第 3、4 步。 4. 根据模板生成 DataWorks 项目描述文档,打包为:dataworks_project.tgz 上传到 Dataworks。【注意】:一期仅支持:1)打包文件手动上传;2)支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后,Dataworks 服务会根据 表】参考《MaxCompute Spark 开发指南》第三节编译 datasource 并安装到本地 maven 仓库,在 pom 中添加依赖后重新打包即可。 3. 【作业需要访问 OSS】参考《MaxCompute Spark 开发指南》第四节在 pom 中添加依赖后重新 打包即可。 6.6 外表迁移 1. HDFS-> MaxCompute 的数据迁移,原则上全部迁到 MaxCompute 内部表。 参见 6.4.2,您需要在 6.4.2.2 中配置 oozie 工作流模板,如下图: Alibaba Cloud MaxCompute 解决方案 58 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.2 创建 Dataworks0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1