Ozone:Hadoop 原生分布式对象存储
Ozone:Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com Ozone:Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone,同时提供对象和文件访问的接 口,从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇,抛个 砖,介绍Ozone的产生背景,主要架构和功能。 10 Ozone:Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com 强一致性 构架简洁性: 当系统出现问题时,一个简单的架构更容易定位,也容易调试。Ozone尽可能的保持架构 的简单,即使因此需要可扩展性上做一些妥协。但是在Ozone在扩展性上绝不逊色,目标 是支持单集群1000亿个对象。 构架分层 Ozone 采用分层的文件系统。Namespace Locality,使得计算能够尽可能的靠近数据。 语义 Ozone是一个分布式Key-value对象存储系统。Ozone提供给用户的语义包含Volume, Bucket 和Key。 2 / 10 Ozone:Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com 如果想0 码力 | 10 页 | 1.24 MB | 1 年前3OpenShift Container Platform 4.10 可伸缩性和性能
OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 Last Updated: 2023-10-18 OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 第 第 7 章 章 扩 扩展 展 CLUSTER MONITORING OPERATOR 7.1. PROMETHEUS 数据库存储要求 7.2. 配置集群监控 第 第 8 章 章 根据 根据对 对象限制 象限制规 规划您的 划您的环 环境 境 8.1. OPENSHIFT CONTAINER PLATFORM 为主发行版本测试了集群最大值 8.2. 测试集群最大值的 OPENSHIFT CONTAINER 127 134 136 139 139 139 139 141 153 154 154 155 157 OpenShift Container Platform 4.10 可伸 可伸缩 缩性和性能 性和性能 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 码力 | 315 页 | 3.19 MB | 1 年前3Chaos Mesh让应用与混沌在 Kubernetes 上共舞-杨可奥
之外还维护有多个受欢迎的开源项目,如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人:杨可奥 PingCAP 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 要求运行时注入和恢复 4. 和内核打交道通常都是困难的! Kubernetes 上的混沌工程方案 Chaos Mesh Cloud Native ● 在 Kubernetes 上运行,被测对象也运行在 Kubernetes 上 ● 测试的最小单元是 Pod 或 Container ● 使用 Helm 一键部署 友善的接口 ● 实验是作为 Kubernetes Custom Resource0 码力 | 30 页 | 1.49 MB | 9 月前3可觀測性 (Observability) 在 Kubernetes Day2 Operation的考量與實踐
Click to edit Master title style 1 可觀測性 (Observability) 在 Kubernetes Day2 Operation的考量與實踐 E . W. K u o @ i T h o m e K u b e r n e t e s S u m m i t 2 0 2 2 Click to edit Master title style complexity Observability Observability Demo 3 Day2 運營 定義與說明 Kubernetes Day2 運營的挑戰 馴服運營 複雜性 可觀測性 實踐與思維 可觀測性 關聯演示 Click to edit Master title style 4 Day2 Operation 定 義 與 說 明 4 Click to edit Master Click to edit Master title style 9 Kubernetes Day2 Ops 要作那些事? • 集群標準化和生命週期管理 • 安全訪問和環境隔離 • 維運可觀察性和流程透通性 • 治理與合規 • 持續第三方元件整合和維護 9 Ref. Use Platform Engineering to Implement DevOps Workflows with0 码力 | 30 页 | 3.01 MB | 1 年前3基于 Kubernetes 构建标准可扩展的云原生应用管理平台-孙健波、周正喜
1 阿里云 — 云原生应用平台团队 孙健波/周正喜 基于 Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品? 我的工作内容? • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的? PaaS Serverless Operator Platform 生态“无限”的应用基础设施能力 不停构建“PaaS”平台不是“银弹” 与其 基于 K8s 构建平台 不如 把 K8s 变成面向开发者的平台 构建一个具备“以应用为中心的 API 抽象”、“用户友好” 且“高度可扩展”的 K8s! 以应用为中心的 API 抽象 • 应用的工作负载和运维能力的抽象程度越高,用户体验越好 抽象程度 学习曲线 高 低 低 高 Deployment Pod Service run $ rio scale $ rio weight/promote $ rio route $ rio up riofile 抽象程度 vs 可扩展性 • 随着抽象程度的增高可以显著降低学习曲线,但是却不得不在扩展性上妥协 抽象程度 可扩展性 高 低 低 高 CRD + Controllers = Everything 通过编写遵循严格限制 的 Buildpack 和 Addon0 码力 | 27 页 | 3.60 MB | 9 月前3《TensorFlow 2项目进阶实战》3-方案设计篇:如何设计可落地的AI解决方案
方案设计篇:如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景:AI新零售是什么? • 用户需求:线下门店业绩如何提升? • 长期⽬目标:货架数字化与业务智能化 • 短期目标:自动化陈列审核和促销管理 • 方案设计:基于深度学习的检测/分类的AI流水线 • 方案交付:支持在线识别和API调用的 AI SaaS 目录 行业背景:AI新零售是什么0 码力 | 49 页 | 12.50 MB | 1 年前3Kubernetes开源书 - 周立
Introduction 01-什么是Kubernetes 02-安装单机版Kubernetes 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群(1.11.2) 04-K8s组件 05-Kubernetes API 06-理解K8s对象 07-Name 08-Namespace 09-Label和Selector 10-Annotation 11-K8s架构及基本概念 使⽤Kubernetes,您可以快速有效地回应客户需求: 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统,提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 ⾃愈: ⾃动放置、⾃动重启、⾃动复制、⾃动缩放 寻找你为啥要使⽤容器 的原因? 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式,存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像,从⽽实现可预测的升级和回滚,但VM是重 量级、不可移植的。 新⽅法是部署容器,容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离:它们有0 码力 | 135 页 | 21.02 MB | 1 年前3OpenShift Container Platform 4.6 节点
2. 使用 Web 控制台创建 pod 横向自动扩展 2.4.3. 使用 CLI 根据 CPU 使用率创建 pod 横向自动扩展 2.4.4. 使用 CLI 根据内存使用率创建 pod 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 2.5. 使用垂直 POD 自动扩展自动调整 使用投射卷来映射卷 6.4.1. 了解投射卷 6.4.1.1. Pod specs 示例 6.4.1.2. 路径注意事项 6.4.2. 为 Pod 配置投射卷 6.5. 允许容器消耗 API 对象 6.5.1. 使用 Downward API 向容器公开 pod 信息 6.5.2. 了解如何通过 Downward API 消耗容器值 6.5.2.1. 使用环境变量消耗容器值 6.5.2 Container Platform 集群。 集群中有稳定健康的节点是托管应用程序的平稳运行的基础。在 OpenShift Container Platform 中,您可 以通过代表节点的 Node 对象访问、管理和监控节点。使用 OpenShift CLI(oc)或 Web 控制台,您可以在 节点上执行以下操作。 读 读取操作 取操作 通过读取操作,管理员可以或开发人员获取有关 OpenShift0 码力 | 404 页 | 3.60 MB | 1 年前3OpenShift Container Platform 4.14 镜像
REGISTRY 仓库镜像 第 第 10 章 章 使用模板 使用模板 10.1. 了解模板 10.2. 上传模板 10.3. 使用 WEB 控制台创建应用程序 10.4. 使用 CLI 从模板创建对象 10.5. 修改所上传的模板 10.6. 使用即时应用程序和快速启动模板 10.7. 编写模板 第 第 11 章 章 使用 使用 RUBY ON RAILS 11.1. 先决条件 11.2 您可以将其视为一种打包技术。容器只能访问其镜像中定义的资源,除非创建时授予容器其他访问权限。 通过将同一镜像部署到跨越多个主机的多个容器内,并在它们之间进行负载平衡,OpenShift 容器平台可 以为镜像中打包的服务提供冗余和横向扩展。 您可以直接使用 podman 或 Docker CLI 构建镜像,但 OpenShift Container Platform 也提供了构建程序 (bui fd44297e2ddb050ec4f…),它通常会 被缩短为一个 12 位长的值(如 fd44297e2ddb)。 您可以创建,管理,并使用容器镜像。 1.3. 镜像 REGISTRY 镜像 registry 是一个可存储和提供容器镜像的内容服务器。例如: registry 包含一个或多个镜像存储库的集合,其中包含一个或多个标记的镜像。红帽在 registry.redhat.io 上为订阅者提供了一个 registry。OpenShift0 码力 | 118 页 | 1.13 MB | 1 年前3OpenShift Container Platform 4.14 Operator
高可用性或单节点集群检测和支持 5.14. 使用 PROMETHEUS 配置内置监控 5.15. 配置领导选举机制 5.16. 为多平台支持配置 OPERATOR 项目 5.17. 基于 GO 的 OPERATOR 的对象修剪工具 4 4 4 5 6 6 7 23 25 64 66 68 70 79 79 80 90 90 107 108 111 113 116 120 121 127 147 151 功能丰富,所有平台均有对应的客户端,并可插入到集群的访问控制/审核中。Operator 会 使用 Kubernetes 的扩展机制“自定义资源定义 (CRD)”支持您的自定义对象,如 MongoDB,它类似于 内置的原生 Kubernetes 对象。 Operator 与 与 Service Broker 的比 的比较? ? 服务代理(service broker)是实现应用程序的编程发现和部署的一个步骤。但它并非一个长时间运行 (OLM) 所支持的 Operator 打包格式。 2.2.1. 捆绑包格式 Operator 的 Bundle Format 是 Operator Framework 引入的新打包格式。为提高可伸缩性并为自行托管 目录的上游用户提供更好地支持,Bundle Format 规格简化了 Operator 元数据的发布。 Operator 捆绑包代表 Operator 的单一版本。磁盘上的捆绑包清单是容器化的,并作为捆绑包镜像提供,0 码力 | 423 页 | 4.26 MB | 1 年前3
共 266 条
- 1
- 2
- 3
- 4
- 5
- 6
- 27