Hadoop 迁移到阿里云MaxCompute 技术方案
生态的产品映射 ......................................................................... 9 2.2 MaxCompute 特性介绍 ................................................................................................ ......................................................................... 11 2.2.2 MaxCompute 产品特性 .................................................................................................. .................................................................................... 17 4.2 MMA 功能介绍 ................................................................................................0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 in chunk, length in chunk), Chunkserver 完成后通知; 5. Client通知用户请求完成。HEARTBEAT 心跳用于中心节点和数据节点的数据交互,详细功能如下: • 通过chunkserver的定期心跳,检测chunkserver的在线状态(online, unstable, offline) • 记录chunkserver定期上报的状态信息(磁 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch, 检测chunkserver的copyset与mds差异,同 步两者的copyset信息 • 支持配置变更功能,在心跳回复报文中下发mds发起的配置变更命令,并在后续心跳中获取配置 变更进度。HEARTBEAT MDS端:mds 端的心跳主要由三个部分组成: • TopoUpdater: 根据 chunkserver0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1