Curve核心组件之mds – 网易数帆当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息,自动调度 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨0 码力 | 23 页 | 1.74 MB | 6 月前3
Hadoop 迁移到阿里云MaxCompute 技术方案................................................................................. 28 6.3.3 数据、作业和 Pipeline 迁移评估 ..................................................................................... .................................................................................. 44 7.1.1 准备工具和环境 ................................................................................................. ....................................................... 49 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 .............................................................. 50 7.1.8 运行 hive_udtf_sql_runner0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1













