Hadoop 迁移到阿里云MaxCompute 技术方案表格存储的数 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据) MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统,输入输出都是表 通过 MaxCompute 客户端工具、Dataworks client 运行 hive udtf sql,从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口:Maven xml 8. 对于 hive 集群上作业提交队列的说明: Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候,会把作业提交到0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1













