## Ozone User Group Summit Nov 10, 2022  We believe that data can make what is impossible today, possible tomorrow ## CLOUDERA in-transit?  ## Apache Ozone Scalable, redundant distributed object store Designed for data applications to store structured, and Overview (Sid Wagle) Ozone bucket types (Ethan Rose) Legacy, Object Store (OBS), and Filesystem Optimized (FSO) ☐ Diverse workloads and when/how to use? 。 Demo Ozone Snapshots (Prashant Pogde

Performance of Apache Ozone on NVMe Wei-Chiu Chuang (jojochuang) Ritesh Shukla (kerneltime) ## Agenda • Overview of how Ozone and how it scales • Why NVME is important for Ozone for scaling • Benefits Questions ## Ozone Architecture  CLI (shell) Recon Server DataNodes S3 Gateway Servers Ozone Console ## Why does Ozone Scale concerns  ## Why does Ozone Scale? Aggregation via containers User Chunks Blocks Containers Volumes Blocks Containers

## Apache Ozone Erasure Coding(EC) The Modern Big Data Object Store with More Than 50% Storage Space Savings Uma Maheswara Rao Gangumalla Sr. Engineering Manager, Cloudera Inc Stephen O'Donnell Committee(PMC) Member Apache Ozone PMC Member Apache Incubator PMC ☐ Mentored several projects at Incubator ApacheCon Big Data track chair - 2021, 2022 ## What is Ozone? Apache Ozone is a distributed, scalable object store Ozone is designed and optimized for Big Data workloads. Ozone can scale up to billions of objects and work effectively in containerized environments like Yarn or Kubernetes. Ozone is strongly

上海古井假日酒店4楼 ### What's new in Apache Ozone 1.3 陈怡 Apache Ozone PMC 主席 ## 目录 I. Ozone 构架 II. Ozone 1.3 新功能 III. 未来展望 ## CHINA APACHE HADOOP MEETUP 2022 ## Ozone 构架  DataNodes ### Ozone 1.3 新功能 1. 纠删码(Erasure coding) II. 系统均衡器(Container Balancer) III. 性能优化 - 文件系统优化(File System Optimization) IV. 性能优化 - 合并Container |1-replica|0|100%| |3-replica|2|33%| |EC RS(6,3)|3|67%| |EC RS(10, 4)|4|71%| |EC RS(3,2)|2|60%| 数据可靠性 vs. 存储效率 ## Ozone条带纠删码 I. 物理块：每个DN磁盘上的数据块，默认256MB II. 逻辑EC块：满足EC策略的一个用户数据块。例如RS-3-2，一个逻辑块3*256MB大小 III. 条带：条带的默认粒度1MB，可配置

APACHECON ASIA 2022 ## Apache Ozone 的最近进展和实践分享 刘岩 陈怡 2022.07.29 ## 目录 • Apache Hadoop HDFS面临的问题 • Apache Ozone介绍 • Apache Ozone适用场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 ## 大数据存储的需求 ![Image] 无法在线下部署 ## 目录 • Apache Hadoop HDFS面临的问题 • Apache Ozone介绍 • Apache Ozone适用场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 ## Apache Ozone ## • Ozone是 一个分布式的KV对象存储 可扩展至数十亿个对象，从而对云原生类的应用更友好 强一致性 与HDFS 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进而极大的减少设备开支 ## Apache Ozone – 数据存储的路径设计 Ozone的存储路径为 volumes, buckets, 和 keys. Volumes 类似与用户账号. 只有Admin 可以创建或删除Volumes Buckets 类似与 S3 的 Buckets，一个 Buckets 中可以包含任意多个 Key，但不能包含其他

# Ozone : Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个砖，介绍Ozone的产生背景，主要架构和功能。 S3 protocol ![Image](/uploads/documents/c/9/3/1 基于这些背景，Hadoop 社区推出了新的分布式存储系统 Ozone，从构架上解决这个问题。 ## Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他们对大数据有深刻的洞察力，清楚的了解HDFS的优缺点，这些洞察力自始自终影响了Ozone的设计和实现。Ozone的设计遵循一下原则： ## · 强一致性 ## • 构架简洁性： 构架简洁性： 当系统出现问题时，一个简单的架构更容易定位，也容易调试。Ozone尽可能的保持架构的简单，即使因此需要可扩展性上做一些妥协。但是在Ozone在扩展性上绝不逊色，目标是支持单集群1000亿个对象。 ## • 构架分层 Ozone 采用分层的文件系统。Namespace 元数据的管理，数据块和节点的管理分开。用户可以对二者独立扩展。 ## • 容易恢复 ## HDFS 一个关键优点是

jpg) Neutron  Ozone ## You are finished if you wait to finish  Neutron  Ozone  Tonal Balance Control jpg) Neutron  Ozone  Tonal Balance Control

37||| |7|apache/incubator-doris|C++|1221.35|149||2327||1055||1410||3543|1227||| |8|apache/hadoop-ozone|Java|1156.23|70||4270||0||1343||4547|1066||| |9|apache/incubator-iotdb|Java|996.1|86||4029||116||1485||3467|1268||| 0 | 0 | 0 | 0 | 0 - apache/incubator-teaclave，一个开源的通用安全计算平台，使对隐私敏感的数据的计算安全且简单。 apache/hadoop-ozone，Ozone 是适用于 Hadoop 的可扩展、冗余和分布式对象存储。 周 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 是印度人，与时区匹配；teaclave 的时间分布则完全是美国时间，中国白天几乎都是静默期，虽然是百度捐献的项目，但其维护者 Mingshen Sun 其实位于美国西海岸，而非国内；相比而言，hadoop-ozone 明显是全球化做的最好的一个项目。 ## 4、 案例分析——CNCF ### 4.1 简介 CNCF 全称为云原生计算基金会（Cloud Native Computing Foundation），是

5012404827600|3209| |8|apache/rocketmq|1289.296138641670|4935| |9|apache/iotdb|1255.1558471370900|900| |10|apache/ozone|1097.2327026122800|298| |11|apache/incubator-kyuubi|622.060165093585|675| |12|apache/incubator-brpc|484 97| |8|apache/rocketmq|2508|572|466|309|223| |9|apache/iotdb|3691|244|1577|2628|1395| |10|apache/ozone|2897|0|1062|4130|900| |11|apache/incubator-kyuubi|2910|340|771|2494|42| |12|apache/incubator-brpc|688|184|107|82|64| |Fri||||||||||||||||||||||||||| |Sat||||||||||||||||||||||||||| |Sun||||||||||||||||||||||||||| apache/ozone 工作时间分布打孔图 |UTC|16|17|18|19|20|21|22|23|0|1|2|3|4|5|6|7|8|9|10|11|12|13|14|15|| |---|---|---|--

|8|apache/rocketmq|1289.296138641670|4935|2| |9|apache/iotdb|1255.1558471370900|900|3| |10|apache/ozone|1097.2327026122800|298|2| |11|apache/incubator-kyuubi|622.060165093585|675|2| |---|---|---|---|---| |Fri|||||||||||||||||||||||||| |Sat|||||||||||||||||||||||||| |Sun|||||||||||||||||||||||||| ## apache/ozone 工作时间分布打孔图 apache/ozone Punch Chart for Work Time Distribution |UTC|16|17|18|19|20|21|22|23|0|1|2|10|11|22| DolphinScheduler|Apache 软件基金会|易观|2021/4/8|2021/4/8| |Apache ECharts|Apache 软件基金会|百度|2018/1/18|2020/12/16| |Apache Ozone|Apache 软件基金会|原 Hadoop 子项目|2018/11/22|2020/10/21| |Apache IoTDB|Apache 软件基金会|清华大学|2018/11/18|2020/9/17|