concerns Ozone Manager Ozone Client Datanode Storage Container Manager Recon Foreground Background No background load Datanode Datanode Datanode hadoop-hdds hadoop-ozone Scale out No to preserve simplicity of IO path. Ozone scales! Does background scale up and scale out? • Datanode count can scale beyond HDFS • No memory pressure on OM due to block reports/object counts/heap Much higher density per Datanode than HDFS Datanode scales out and scale up • Testbed used: • ~400 TB/Datanode • Tested with 200k containers per datanode => 1 PB per datanode. • Cisco UCS M6 • Capacity

https://www.iteblog.com 构架 Ozone 从结构上分为三个部分，Ozone Manager, 元数据管理；Storage Container Manager， 数据块和节点管理；Datanode， 数据最终的存放处。类比 HDFS 的构架， 可以看到原来 Namenode 的功能，现在由 Ozone Manager 和 Storage Container Manage 分别进行管理了。接下来，我们仔细看一下 Manager 通信，并不直接和 Datanode 通信。 Storage Container Manager(SCM) 类似HDFS中的Block Manager，管理 Container, Pipelines 和 Datanode，为 Ozone Manager 提供Block 和 Container 的操作和信息。SCM也监听 Datanode 发来的心跳信息，作为Datanode manager的角色 _hadoop Datanode Datanode 是 Ozone 的数据节点，以 Container 为基本存储单元，维护每个 Container 内部的数据映射关系，定时向 SCM 发送心跳节点，汇报节点的信息，管理的 Container 的信息，Pipeline 的信息。当一个 Container Size 超过预定的大小 90% 时 或者写操作失败时，Datanode 会发送 Container

1. OM – 管理Ozone的Namespace ，也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers – Ozone的存储单元，内置有RocksDB 数据库 Apache Ozone – Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 实践⼀ Datanode Ozone Ozone Manager SCM Datanode Datanode Datanode …… S3 Gateway OzoneFS (Hadoop Compatible File System) S3 Compatible FUSE Driver) S3 ⽤户数据 ⽤户数据 实践⼆ Datanode Ozone Ozone Manager SCM Datanode Datanode …… S3 Gateway FS FS HDFS Namenode Datanode Datanode Datanode ⼩⽂件 ⼩⽂件 ⼤数据应⽤ Thank You

rights reserved. Ozone Manager Ozone Client Datanode Storage Container Manager Recon Foreground Background No background load Datanode Datanode Datanode hadoop-hdds hadoop-ozone Scale Out No Datanodes certified against ~0.5 Petabyte capacity nodes • Cisco UCS M6: 256 TB per datanode • Cisco UCS S3260: 384 TB per datanode – Datanodes simulated against 1 Petabyte capacity nodes (200k containers) Inc. All rights reserved. INVESTING INTO PERFORMANCE Upcoming releases are performance focused • Datanode - saturating the network – RATIS streaming • Efficient data path with rack awareness • Zero copy

属性 说明 默认值 hdds.datanode.container.db.dir 可选项，配置RocksDB的存放路径。 若未配置，则存放在数据盘上(hdds.datanode.dir) Null(optional) hdds.datanode.failed.db.volumes.tolerated 允许多少个配置的DB盘失败 -1 hdds.datanode.container.schema