fs.delete(“/catelog_sales”) 18 合并Container RocksDB实例 - 现状和问题 每个Container有独⽴的RocksDB实例保存元数据(V2) 问题 I. ⼤容量磁盘，系统中有上万个Container和RocksDB实例 II. 内存开销⼤，需保留众多RocksDB实例 III. 性能影响，频繁create/open/close实例 稳定性，频繁open/close⾮RocksDB的推荐⽤法，容易触发潜在问 题 解决办法 - 合并Container RocksDB实例 19 新⽅案 每个盘上所有Container共⽤⼀个RocksDB实例 保存元数据(V3) 好处 I. 磁盘空间，容易估算RocksDB的磁盘使⽤量上限 II. 内存开销，所有RocksDB实例可Cache在内存 III. 性能影响，DN运⾏期间⽆需create/open/close实例 RocksDB保存在每个数据盘上，适⽤于⼤部分场景 II. RocksDB保存在独⽴的DB盘上。当系统中有快速SSD盘时，可以充分利⽤SSD盘 II. 兼容性 I. 当前运⾏的Ozone系统可能已存在⼤量数据，考虑到升级时间，Ozone不⽀持在升级时将V1/V2转换成V3 II. 所有V1 & V2 Container 数据在升级后仍然可以访问 III.新的数据将以V3 的形式保存(在V3 开启的情况下)

Chunk6 1MB Parity1 1MB Parity2 1MB 条带1 条带2 0 单盘单RocksDB实例(HDDS-3630) 当前 - 每个Container的元数据保存在独⽴RocksDB实例中 单盘单RocksDB实例 问题 • ⼤容量磁盘，系统中有上万个Container和 RocksDB实例 • 内存开销⼤，需保留众多RocksDB实例 • 性能影响，频繁open/close实例

g_hadoop 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着 很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上 百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Namenode内存中，给客户端提供了低延迟的元数据访问 。由于元数据需要全部加载到内存，所以一个HDFS集群能支持的最大文件数，受JAVA堆内存的限