Hadoop 迁移到阿里云MaxCompute 技术方案
MaxCompute 内建支持的上百种机器学习算法,目前 MaxCompute 的机器学习能力由 PAI 产品进行统一提供 服务,同时 PAI 提供了深度学习框架、Notebook 开发 环境、GPU 计算资源、模型在线部署的弹性预测服务。 MaxCompute 的数据对 PAI 产品无缝集成。 存储 Pangu 阿里自研分布式存储服务,类似 HDFS。MaxCompute 对外目前只暴露表接口,不能直接访问文件系统。 MaxCompute 解决方案 19 4.2.3 分析任务兼容性分析及转换 利用迁移工具,可以对 Hive 作业进行兼容性分析,识别出需要修改的任务并提供针对性的 兼容性修改建议。对于用户自定义逻辑的分析任务,如 UDF、MR/Spark 作业等,我们将给出 一般性的改造建议供用户参考。 4.2.4 数据集成及工作流作业迁移 迁移工具支持对主流数据集成工具 Sqoop 进行作业的迁移转换,并自动创建 carrier 连接用户的 Hive metastore 服务,抓取用户的 Hive metadata 并在指定目录 生成一个目录,包含搬站所需的 metadata。用户可自行修改该目录下的文件来自定义搬站工 具的一些行为。 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 利用第一步抓取到的 metadata,生成另一个目录,包含用于创 MaxCompute0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1