概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 故障域的隔离：比如副本的放置分布在不同机器，不同机架，或是不同的交换机下面。 2. 隔离和共享：不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离，server不能跨 Pool交互。运维上，建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元，一般来说属于不同zone的机 器至少是部署在不同的机架，一个server必须归属于一个 减少复制组数量：如果一个数据节点存在 256K个复制组，复制组的内存资源占用将会非常恐怖；复制组之 间的通信将会非常复杂，例如复制组内Primary给Secondary定期发送心跳进行探活，在256K个复制组的情况 下，心跳的流量将会非常大；而引入CopySet的概念之后，可以以CopySet的粒度进行探活、配置变更，降低 开销。 3. 提高数据可靠性：在数据复制组过度打散的情况下，在发生多个节点同时故障的情况下，数据的可靠性会受

...................................................................................... 22 6.3.2 资源评估 ................................................................................................ ....................................................................... 57 8.1.6 批量迁移 Oozie 工作流和节点任务 ................................................................................... 57 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高 度安全和稳定性，让客户的资源更加聚焦在业务开发上，加速业务发展。

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { class Class1 } package foo2 <> { class Class2 } package foo3 <> { class Class3 Puedes usar varias palabras reservadas para agrupar componentes e interfaces juntos: • package • node • folder Guía de Referencia del Lenguaje PlantUML (1.2021.2) 120 / 406 7.5 Agrupando componentes cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] [First Component] --> FTP } cloud { [Example 1] } database

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { class Class1 } package foo2 <> { class Class2 } package foo3 <> { class Class3 e interfaces juntos: • package • node • folder • frame • cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] skinparam node { borderColor Green backgroundColor Yellow backgroundColor<node>> Magenta } skinparam databaseBackgroundColor Aqua [AA] <> [BB] <> [CC] <> node node1

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { class Class1 } package foo2 <> { class Class2 } package foo3 <> { class Class3 Puedes usar varias palabras reservadas para agrupar componentes e interfaces juntos: • package • node • folder Guía de Referencia del Lenguaje PlantUML (1.2021.2) 119 / 388 7.5 Agrupando componentes cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] [First Component] --> FTP } cloud { [Example 1] } database

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { class Class1 } package foo2 <> { class Class2 } package foo3 <> { class Class3 Puedes usar varias palabras reservadas para agrupar componentes e interfaces juntos: • package • node • folder Guía de Referencia del Lenguaje PlantUML (1.2021.1) 119 / 383 7.5 Agrupando componentes cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] [First Component] --> FTP } cloud { [Example 1] } database

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { Guía de Referencia del Lenguaje PlantUML (1.2020.23) 59 / 304 3.19 Estilos de paquetes 3 DIAGRAMA DIAGRAMA DE COMPONENTES • package • node • folder • frame • cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] <> node node1 node node2 <node>> database Production skinparam component { backgroundColor<> DarkKhaki backgroundColor<> Green } skinparam node { borderColor

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { Guía de Referencia del Lenguaje PlantUML (1.2020.22) 49 / 292 3.18 Estilos de paquetes 3 DIAGRAMA DIAGRAMA DE COMPONENTES • package • node • folder • frame • cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] <> node node1 node node2 <node>> database Production skinparam component { backgroundColor<> DarkKhaki backgroundColor<> Green } skinparam node { borderColor

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { class Class1 } package foo2 <> { class Class2 } package foo3 <> { class Class3 DIAGRAMA DE COMPONENTES • package • node • folder • frame • cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] <> node node1 node node2 <node>> database Production skinparam component { backgroundColor<> DarkKhaki backgroundColor<> Green } skinparam node { borderColor

skinparam packageStyle , o usando un estereotipo en el paquete. @startuml scale 750 width package foo1 <<Node>> { class Class1 } package foo2 <> { class Class2 } package foo3 <> { class Class3 DIAGRAMA DE COMPONENTES • package • node • folder • frame • cloud • database @startuml package "Some Group" { HTTP - [First Component] [Another Component] } node "Other Groups" { FTP - [Second Component] <> node node1 node node2 <node>> database Production skinparam component { backgroundColor<> DarkKhaki backgroundColor<> Green } skinparam node { borderColor