Hadoop 迁移到阿里云MaxCompute 技术方案
搬站信息”表单,需提供如下信息: Hadoop 类型和版本(CDH 自建、CDH 云上自建、Hadoop IDC 自建、Hadoop 云上自建、 云上托管 EMR) 集群规模(服务器台数) Alibaba Cloud MaxCompute 解决方案 25 网络环境(私有网络、经典网络、VPC 专) 有无专线 常用组件(Hive、Spa 机器配置(CPU 核数、内存大小) 数据量及存储类型 作业量及作业类型(SQL 脚本上传) 调度系统及周期(Pipeline 配置上传) 已有数据应用(如血缘、监控、质量等) 上层应用系统(如帆软 BI、推荐系统等) 期望时间 成本要求 Alibaba Cloud MaxCompute 解决方案 26 6.30 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
MDS 管理元数据信息 收集集群状态信息,自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 故障隔离的基本单元,一般来说属于不同zone的机 器至少是部署在不同的机架,一个server必须归属于一个 zone。 • server: 用于抽象描述一台物理服务器,chunkserver必须 归属一个于server。 • Chunkserver: 用于抽象描述物理服务器上的一块物理磁盘 (SSD),chunkserver以一块磁盘作为最小的服务单元。TOPOLOGY curve在上物理pool之上又引入逻0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1