Ozone:Hadoop 原生分布式对象存储口,从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇,抛个 砖,介绍Ozone的产生背景,主要架构和功能。 如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop 背景 HDFS是业界默认的大数据存储系统,在业界的大数据集群中有非常广泛的使用。HDFS集群有着 很高的稳定性,得益于它较简单的构架,集群 展集群的节点规模, 但单个HDFS集群仍然没法很好的解决小文件的限制。 基于这些背景,Hadoop 社区推出了新的分布式存储系统 Ozone,从构架上解决这个问题。 Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他 们对大数据有深刻的洞察力,清楚的了解HDFS的优缺点,这些洞察力自始自终影响了Ozone的设 计和实现。Ozone的设计遵循一下原则: 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com 强一致性 构架简洁性: 当系统出现问题时,一个简单的架构更容易定位,也容易调试。Ozone尽可能的保持架构 的简单,即使因此需要可扩展性上做一些妥协。但是在Ozone在扩展性上绝不逊色,目标 是支持单集群1000亿个对象。 构架分层 Ozone 采用分层的文件系统。Namespace 元数据的管理,数据块和节点的管理分开。用户可以对二者独立扩展。0 码力 | 10 页 | 1.24 MB | 1 年前3
What's New In Apache Ozone 1.3What’s new in Apache Ozone 1.3 陈怡 Apache Ozone PMC 主席 3 ⽬录 I. Ozone 构架 II. Ozone 1.3 新功能 III. 未来展望 4 Ozone 构架 5 Ozone 1.3 新功能 I. 纠删码(Erasure coding) II. 系统均衡器(Container Balancer) III0 码力 | 24 页 | 2.41 MB | 1 年前3
共 2 条
- 1













