2022 Cloudera, Inc. All rights reserved. MEETUP AGENDA ● History and Overview (Sid Wagle) ● Ozone bucket types (Ethan Rose) ○ Legacy, Object Store (OBS), and Filesystem Optimized (FSO) ○ Diverse workloads Only administrators can create or delete volumes. • Buckets are similar to Amazon S3 buckets. A bucket can contain any number of keys, but buckets cannot contain other buckets. • Keys are similar to security model and Hadoop RPC OZONE BUCKET TYPES Ethan Rose Ozone PMC, committer 20 © 2022 Cloudera, Inc. All rights reserved. OZONE NAMESPACE LAYOUT /volume/bucket/key • Volume – Top level namespace

。Ozone 同时支持 Data Locality，使得计算能够尽可能的靠近数据。 语义 Ozone是一个分布式Key-value对象存储系统。Ozone提供给用户的语义包含Volume， Bucket 和Key。 2 / 10 Ozone：Hadoop 原生分布式对象存储 Spark大数据博客 - https://www 员才可以创建，是存储管理的单位，比如配额管理。Volume用来存储Bucket，一个Volu me下面可以包含任意多个Bucket。 Bucket Bucket 下存储 Key 和 Value。Bucket 的概念类似于 S3 的 Bucket，或者 Azure 中的 Container。Bucket 由 ACL 来控制访问。 Key 每个 Key 在 Bucket 中必须唯一，可以是任意字符串。用户的数据以 Key-value 的形式存储在 Bucket 下。 Ozone URL Ozone URL 采用如下格式： [scheme][server:port]/volume/bucket/key 其中，Scheme可以选 a) o3 - 通过 RPC 协议访问 Ozone Manager 和 Datanodes b) http/https - 通过 HTTP 协议访问 REST API Sche

Quick Overview of Non EC Flow Erasure Coding Requirements ❏ Phase - I ❏ Enable EC at Cluster/Bucket Level ❏ Should be able to Write files in EC format ❏ Should be able to Read the files which were Enabling at Bucket Level EC ➢ Users organizes data with buckets. ➢ Depending on use case, they choose bucket types (pure objects, FSO objects). ➢ Enable EC at bucket creation time: ➢ Changing Changing EC config on existing bucket: ozone sh bucket create <bucket path> --type EC -- replication rs-6-3-1024k ozone sh bucket set-replication-config <bucket path> --type EC --replication rs-6-3-1024k

Ozone的存储单元，内置有RocksDB 数据库 Apache Ozone – 数据访问的API ofs hdfs dfs -mkdir /volume1/bucket1 o3fs hdfs dfs -ls o3fs://bucket.volume.om-host.com:5678/key aws s3 aws s3 ls --endpoint http://localhost:9878 r3/file-1” ● LEGACY: 所有已存在的桶，升级后变成LEGACY 版本，以⽀持向后兼容 存储Key格式基本同OBS, 通过配置项区分偏向⽂件，还是偏向S3对象的⽀持 引⼊Bucket级别 OM Metadata Layout 版本号 ⽂件系统优化 ⽂件系统优化效果 Query Details: Dropped “catelog_sales” table with sub-

耗时且⾮原⼦操作 对象存储：采⽤ KV ⽅式管理对象元数据，⽆ 需管理元数据之间的关系 ⽂件系统：额外地，需要采⽤树结构作为索 引，管理元数据之间的关系 15 新存储格式 16 引⼊Bucket Metadata Layout I. FILE_SYSTEM_OPTIMIZED (FSO) : ⽀持纯粹的⽂件语义, 有限的 S3 兼容性 ⽂件的存储Key格式: “Bucket 创建时指定Layout，后续不⽀持更改 17 Benchmark Query Details: Dropped “catelog_sales” table with sub- paths(files/dirs)