系统均衡器(Container Balancer) III. 性能优化 - ⽂件系统优化(File System Optimization) IV. 性能优化 - 合并Container RocksDB实例 V. 很多其他的性能和稳定性优化 6 纠删码 数据可靠性 (越⾼越好) 存储效率 (越⾼越好) 1-replica 0 100% 3-replica 2 33% EC RS(6 只迁移CLOSE状态的Container VII.客户端发送命令给SCM，SCM负责 执⾏和控制整个流程 Ozone Manager DN1 Storage Container Manager Client RocksDB RocksDB C3 C4 C5 C6 C2 C1 C1 C2 C3 C4 C5 C6 C1 C2 C3 C4 C5 C6 DN2 DN3 DN4 C2 C4 C6 C5 发送命令 delete(“/catelog_sales”) 18 合并Container RocksDB实例 - 现状和问题 每个Container有独⽴的RocksDB实例保存元数据(V2) 问题 I. ⼤容量磁盘，系统中有上万个Container和RocksDB实例 II. 内存开销⼤，需保留众多RocksDB实例 III. 性能影响，频繁create/open/close实例 IV. 磁盘使⽤量，不可精准预测

OM – 管理Ozone的Namespace ，也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers – Ozone的存储单元，内置有RocksDB 数据库 Apache Ozone – 数据访问的API Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 新进展 • ⽂件系统优化(FSO) • Ozone Balancer • 纠删码 • 单数据盘单RocksDB实例 ⽂件系统优化(FSO) dir1 dir2 dir3 file-1 file-1M 100万个⽂件 vol/buck1 Key entry /vol/buck1/dir1/ 只迁移CLOSE状态的Container ● 客户端发送命令给SCM，SCM负 责执⾏和控制流程 Ozone Manager DN1 Storage Container Manager Client RocksDB RocksDB C3 C4 C5 C6 C2 C1 C1 C2 C3 C4 C5 C6 C1 C2 C3 C4 C5 C6 DN2 DN3 DN4 C2 C4 C6 C5 发送命令

of replication (collection of blocks) ● RocksDB - container metadata • Supported by and battle-tested at Facebook. • OM – a namespace manager (also uses RocksDB to store the namespace) • HDDS – a distributed reserved. FSO BUCKET IMPLEMENTATION • Implement a hierarchical layout with a key value store (RocksDB) – Key: /