搜索

排序方式
6 个文档
  • pdf 文档 Ozone:Hadoop 原生分布式对象存储

    0 码力 | 10 页 | 1.24 MB | 1 年前
    3
    Ozone是Hadoop社区推出的新一代分布式Key-value对象存储系统,旨在解决HDFS在小文件处理上的性能问题。其设计原则包括强一致性、架构简洁性、分层架构、容错恢复能力以及与Hadoop生态的互操作性。Ozone的架构分为Ozone Manager、Storage Container Manager和Datanode三个部分,分别负责Namespace管理、数据块和节点管理以及数据存储。Ozone支持Volume、Bucket和Key的语义,能够与Hive、Spark和MapReduce等Hadoop生态组件无缝集成,提供低延迟的数据访问和高效的数据 locality。文档还介绍了Ozone的读写过程及其在Hadoop 2.x和3.x集群中的应用,并提到了其在Kubernetes部署中的CSI插件支持。
  • pdf 文档 Performance of Apache Ozone on NVMe

    0 码力 | 34 页 | 2.21 MB | 1 年前
    3
    本文档探讨了Apache Ozone在NVMe上的性能表现。文档指出,NVMe对Ozone的扩展性至关重要,能够提升性能并降低成本。通过Impala在NVMe集群中的性能结果和写路径改进,展示了Ozone的优势。此外,文档还提到硬件趋势支持Ozone架构,未来项目如快照将利用RocksDB简化I/O路径。测试结果表明,Ozone的性能优于HDFS,且在某些场景下具有更低的开销。最后,文档提到JDK性能问题对系统的影响。
  • pdf 文档 Apache Ozone Erasure Coding(EC)

    0 码力 | 29 页 | 7.87 MB | 1 年前
    3
    文档详细介绍了Apache Ozone的Erasure Coding(EC)功能,包括开发统计、功能需求、实现阶段和具体流程。Ozone通过EC技术实现存储效率提升,支持多种EC方案如RS-3-2-1024K、RS-6-3-1024K和RS-10-4-1024K。文档还描述了EC的写入流程,包括完整条带和部分条带的处理方式,并提供了在集群或桶级别启用EC的配置方法。此外,文档提到通过命令可以将文件在EC和RATIS之间进行转换,并感谢了开发团队和设计评审人员。
  • pdf 文档 What's New In Apache Ozone 1.3 推荐

    0 码力 | 24 页 | 2.41 MB | 1 年前
    3
    Apache Ozone 1.3版本引入了多项新功能和优化,包括纠删码(Erasure coding)支持,系统均衡器(Container Balancer)用于均衡集群资源和IO访问,文件系统优化(File System Optimization)提升了查询性能,合并Container RocksDB实例优化了存储效率。此外,文档还介绍了桶策略设置和纠删码策略的配置选项,展示了Ozone在查询性能和存储效率方面的提升。
  • pdf 文档 2022 Apache Ozone 的最近进展和实践分享

    0 码力 | 35 页 | 2.57 MB | 1 年前
    3
    文档主要介绍了Apache Ozone的最新进展和应用场景。Apache Ozone是一个分布式的KV对象存储系统,与HDFS和S3 API兼容,支持高并发读写、加密、扩展性至数百PB存储容量和数十亿个对象。其适用场景包括承载实时和批处理业务、提升扩展性、降低运维难度等。文档还提到Ozone的最新进展,如文件系统优化、Ozone Balancer、纠删码和单数据盘单RocksDB实例。通过这些改进,Ozone在性能、安全性和运维效率方面均有显著提升。
  • pdf 文档 Ozone meetup Nov 10, 2022 Ozone User Group Summit

    0 码力 | 78 页 | 6.87 MB | 1 年前
    3
    文档介绍了Apache Ozone的性能优化和架构设计,强调其在大数据工作负载中的应用和扩展能力。Ozone支持S3和文件系统接口,适用于容器化环境,并通过硬件趋势提升性能。文档还展示了Ozone社区的活跃度和贡献者分布,以及其在数据保护、备份和合规等领域的使用案例。Ozone的性能测试和硬件配置优化有效降低了总体拥有成本(TCO),并推动了其在大数据生态系统中的应用。
共 6 条
  • 1
前往