Hadoop 迁移到阿里云MaxCompute 技术方案
阿里云 MaxCopute 产品面向 Hadoop 用户提供配套的搬迁工具 MaxCompute Migration Assist(简称 MMA),利用该工具帮助用户进行迁移事前评估、利用工具加速迁移进程并降低迁 移风险。 4.1.1 工具覆盖的场景: 工作负载 Hadoop 开源生态 MaxCompute 产品组件/MaxCompute 生态工具 批处理 Hive SQL MaxCompute 5.2 阶段 2:试点/全面业务迁移 在确定开展迁移工作后,需要准备 MaxCompute 相关环境,并开展数据、分析作业、工作 流任务的改造和迁移工作。借助迁移工具,能够加速迁移改造的进程。 同时,需要对当前系统与 MaxCompute 环境进行业务对比验证,确定迁移的正确性。 迁移开展时,您可以选择部分试点业务迁移或全量业务进行迁移。对于规模较大的用户,建 议您选择部分 数据类型会带来的精度损失等问题。以下是一个报告的例子: Alibaba Cloud MaxCompute 解决方案 29 【说明】:报告中对于 String 类型的 8M 限制的警告:不会截断该字段,但整个 SQL(表或分 区)的写入都会失败,因为 sql-checker 就会报错,不会走到 commit。 6.3.3.2 从 Dataworks 获得评估报告:0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1