Hadoop 迁移到阿里云MaxCompute 技术方案
包可直接运行,参照《MaxCompute Spark 开发指南》第二节准备开发环境和修改配置。注意,对于 spark 或 hadoop 的依赖必须设成 provided。 Alibaba Cloud MaxCompute 解决方案 44 2. 【作业需要访问 MaxCompute 表】参考《MaxCompute Spark 开发指南》第三节编译 datasource 并安装到本地 maven maven 仓库,在 pom 中添加依赖后重新打包即可。 3. 【作业需要访问 OSS】参考《MaxCompute Spark 开发指南》第四节在 pom 中添加依赖后重新 打包即可。 6.6 外表迁移 1. HDFS-> MaxCompute 的数据迁移,原则上全部迁到 MaxCompute 内部表。 2. 如果客户场景要求必须通过外表访问外部文件,需要先将文件迁移到 OSS 或者0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1