Curve核心组件之mds – 网易数帆
管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障 Mds在分配空间时,轮流在不同的copyset中分配,每次从copyset中分配1个chunk, 这个chunk用copysetId:chunkId来唯一标识。COPYSET Copyset的生成策略:Source code : curve/src/mds/copyset/ bool GenCopyset(const ClusterInfo& cluster, int numCopysets 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 • operatorController 是任务集合,用于存放和获取任务; • operatorStateUpdater 根据上报的copyset信息更新状0 码力 | 23 页 | 1.74 MB | 5 月前3Hadoop 迁移到阿里云MaxCompute 技术方案
的数据湖/数据仓库业务负载 ......................................................................... 15 3.2 不同的网络环境及部署形态迁移 ......................................................................................... Oozie 工作流任务如何迁移到 MaxCompute 和 Dataworks? ........... 55 Alibaba Cloud MaxCompute 解决方案 5 8.1.1 网络环境检查 .............................................................................................. Cloud MaxCompute 解决方案 17 数据开发 HUE 或自研数据开发工具 Datawroks Studio 3.2 不同的网络环境及部署形态迁移 MaxCompute 提供了迁移工具,支持用户迁移来自不同网络环境及部署形态的 Hadoop 业务负 载,包括: IDC 自建 Hadoop 集群 阿里云上基于 ECS 自建 Hadoop 集群0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1