Hadoop 迁移到阿里云MaxCompute 技术方案的迁移至 阿里云大数据产品服务有更好的理解。 组件分类 Hadoop 开源组件 阿里云产品/产品组件 数据存储 HDFS 文件系统 对象存储 MaxCompute 存储(仅开放表数据存储) OSS 对象存储 EMR HDFS 批处理 Hadoop MapReduce Hive Spark MaxCompute 批处理(MaxCompute 支持大规模计算存储,适用于 TB 以上规 模的存储及计算需求,最大可达 EB 级别。同一个 MaxCompute 项目支持企业从创业团队发展到独角兽的 数据规模需求; 数据分布式存储,多副本冗余,数据存储对外仅开放表的 操作接口,不提供文件系统访问接口 自研数据存储结构,表数据列式存储,默认高度压缩,后 D k n e P y l w s o u ) ( ( f I w s A n t S B 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.2 创建 Dataworks 标准工作流 1. 参见 6.4.2,如果您使用其他调度引擎,需要在 6.4.2.2 中按照 Dataworks 的标准模板配置 您的工作流节点,如下图: Alibaba Cloud MaxCompute 解决方案 59 2. 配置完成并上传打包文件后,Dataworks0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













