Hadoop 迁移到阿里云MaxCompute 技术方案
以上规 模的存储及计算需求,最大可达 EB 级别。同一个 MaxCompute 项目支持企业从创业团队发展到独角兽的 数据规模需求; 数据分布式存储,多副本冗余,数据存储对外仅开放表的 操作接口,不提供文件系统访问接口 自研数据存储结构,表数据列式存储,默认高度压缩,后 D k n e P y l w s o u ) ( ( f I w s A n t S B M / ini,添加 mapreduce.job.queuename=root.hadoop.plarch 6.4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 6.4.3.1 操作步骤 1. 客户需要预先开通 MaxCompute 服务,并创建好 project。 2. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata,参见 meta-carrier 工具获取 Hive Meta 数据的时候,可以通过参数指定需要迁移的 database 名称和表名,生成的 meta 目录就会只有这一个 table 的 json 文件。 其余迁移操作步骤与 7.1.4.1 相同。 8.1.6 批量迁移 Oozie 工作流和节点任务 8.1.6.1 Oozie 工作流和节点任务迁移 1. 参见 6.4.2,您需要在 6.4.2.2 中配置0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1