Hadoop 迁移到阿里云MaxCompute 技术方案
云计算技术的发展和普及,越来越多的企业客户选择数据上云,在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎,承载了越来越多企业客户的数据业务和数据资产,免运维、低成本、高 度安全和稳定性,让客户的资源更加聚焦在业务开发上,加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 根据模板生成 DataWorks 项目描述文档,打包为:dataworks_project.tgz 上传到 Dataworks。【注意】:一期仅支持:1)打包文件手动上传;2)支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后,Dataworks 服务会根据 ODPS DDL 批量生成 MaxCompute 的 table。 6. MaxCompute 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.2 创建 Dataworks 标准工作流 1. 参见 6.4.2,如果您使用其他调度引擎,需要在 6.4.2.2 中按照 Dataworks 的标准模板配置 您的工作流节点,如下图: Alibaba Cloud MaxCompute 解决方案 59 2. 配置0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1