Hadoop 迁移到阿里云MaxCompute 技术方案a b b C v r b n d H h ( b v r Alibaba Cloud MaxCompute 解决方案 12 续将提供兼容 ORC 的 Ali-ORC 存储格式 支持外表,将存储在 OSS 对象存储、OTS 表格存储的数 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS,是阿里自研的盘古文件系统,但可借 强大。 * 完全自主开发的 compiler,语言功能开发更灵活,迭 代快,语法语义检查更加灵活高效 * 基于代价的优化器,更智能,更强大,更适合复杂的查 询 * 基于 LLVM 的代码生成,让执行过程更高效 * 支持复杂数据类型(array,map,struct) * 支持 Java、Python 语言的 UDF/UDAF/UDTF * 语法:Values、CTE、SEMIJOIN、FROM 如果客户场景要求必须通过外表访问外部文件,需要先将文件迁移到 OSS 或者 OTS,在 MaxCompute 中创建外部表,实现对文件的访问。 3. 注意:MaxCompute 外部表支持的格式包括:ORC、PARQUET、SEQUENCEFILE、 RCFILE、AVRO 和 TEXTFILE。 6.7 Pipeline 迁移 1. 根据模板上传 Dataworks 项目描述文档,参见0 码力 | 59 页 | 4.33 MB | 1 年前3
 Curve核心组件之mds – 网易数帆当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 无需人工干预 • 对io影响几乎无影响欢 迎 大 家 参 与 C U R V E 项 目 ! • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve • 技术讲座直播:https://live.bilibili.com/22585337 • 系列讲座合集:https://space0 码力 | 23 页 | 1.74 MB | 6 月前3
共 2 条
- 1
 













