Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. .............. 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ................ ..................... 8 2.1.3 阿里云大数据组件架构 ......................................................................................................... 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ................

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: the Frequency of Data Loss in Cloud Storage」提出。 在 Curve 系统引入 CopySet 有几个目的： 1. 减少元数据量：如果为每个Chunk去保存复制组成员关系，需要至少 ChunkID+3×NodeID=20 个byte，而如 果在Chunk到复制组之间引入一个CopySet，每个Chunk可以用ChunkID+CopySetID=12个byte。