Hadoop 迁移到阿里云MaxCompute 技术方案
MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks 提交作业 交互式分析 MaxCompute Lightning MaxCompute 产品的交互式查询服务,特性如下: Dataworks 会自动批量将 Hive SQL 转换成 ODPS SQL,对于不能转换的 SQL,系统会给 出错误提示,需要客户手动修改。 6.5.2 UDF、MR 迁移 支持相同逻辑的 UDF、MR 输入、输出参数的映射转换,但 UDF 和 MR 内部逻辑需要客户自己 维护。【注意】:不支持在 UDF、MR 中直接访问文件系统、网络访问、外部数据源连接。 6.5.3 Spark 作业迁移0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1