Balancer) III. 性能优化 - ⽂件系统优化(File System Optimization) IV. 性能优化 - 合并Container RocksDB实例 V. 很多其他的性能和稳定性优化 6 纠删码 数据可靠性 (越⾼越好) 存储效率 (越⾼越好) 1-replica 0 100% 3-replica 2 33% EC RS(6,3) 3 67% EC RS(10 ⼤容量磁盘，系统中有上万个Container和RocksDB实例 II. 内存开销⼤，需保留众多RocksDB实例 III. 性能影响，频繁create/open/close实例 IV. 磁盘使⽤量，不可精准预测 V. 稳定性，频繁open/close⾮RocksDB的推荐⽤法，容易触发潜在问 题 解决办法 - 合并Container RocksDB实例 19 新⽅案 每个盘上所有Container共⽤⼀个RocksDB实例

⼤容量磁盘，系统中有上万个Container和 RocksDB实例 • 内存开销⼤，需保留众多RocksDB实例 • 性能影响，频繁open/close实例 • 磁盘使⽤量，不可精准预测 • 稳定性，频繁open/close⾮RocksDB的推荐⽤法， 容易触发潜在问题 解决办法 - 单盘单RocksDB实例 单盘单RocksDB实例 • 除了Container的删除，其他操作V3都要⽐V2有数量级的提升

如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着 很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上 百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Namenode内存中，给客户端提供了低延迟的元数据访问