Hadoop 迁移到阿里云MaxCompute 技术方案
zip 文 件 ⚫ 在控制台运行 odps-data-carrier 目录下的 build.py 文件,编译生成 MMA 工具 ⚫ 编译环境要求:JDK 1.8+、 Apache Maven 3.x、Python 3.x 6.4.2 方案 A:通过 MMA Agent 迁移 Meta 和数据 1. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata 运行 hive udtf sql,从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口:Maven xml 8. 对于 hive 集群上作业提交队列的说明: Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候,会把作业提交到 MaxCompute 解决方案 44 2. 【作业需要访问 MaxCompute 表】参考《MaxCompute Spark 开发指南》第三节编译 datasource 并安装到本地 maven 仓库,在 pom 中添加依赖后重新打包即可。 3. 【作业需要访问 OSS】参考《MaxCompute Spark 开发指南》第四节在 pom 中添加依赖后重新 打包即可。 6.6 外表迁移0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1