OpenShift Container Platform 4.14 存储 在 OpenShift Container Platform 中配置和管理存储 Last Updated: 2024-02-17 OpenShift Container Platform 4.14 存储 在 OpenShift Container Platform 中配置和管理存储 法律通告 法律通告 Copyright © 2023 All other trademarks are the property of their respective owners. 摘要 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PLATFORM 存 存储 储概述 概述 1.1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储 第 第 3

OpenShift Container Platform 4.8 存储 在 OpenShift Container Platform 中配置和管理存储 Last Updated: 2023-06-12 OpenShift Container Platform 4.8 存储 在 OpenShift Container Platform 中配置和管理存储 法律通告 法律通告 Copyright © 2023 All other trademarks are the property of their respective owners. 摘要 摘要 本文档提供了使用不同存储后端配置持久性卷以及通过 pod 管理动态分配存储的信息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . PLATFORM 存 存储 储概述 概述 1.1. MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储

Ozone：Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com Ozone：Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接 口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个 砖，介绍Ozone的产生背景，主要架构和功能。 砖，介绍Ozone的产生背景，主要架构和功能。 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着 很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上 百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Name 有非常多的小文件，HDFS的元数据访问性能会受到影响。虽然可以通过各种Federation技术来扩 展集群的节点规模， 但单个HDFS集群仍然没法很好的解决小文件的限制。 基于这些背景，Hadoop 社区推出了新的分布式存储系统 Ozone，从构架上解决这个问题。 Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他 们对大数据有深刻的洞察力，清楚的了

KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver etcd K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe

求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 ⾃愈: ⾃动放置、⾃动重启、⾃动复制、⾃动缩放 Google于2014年启动了Kub 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码，并且不构建应⽤。持续集成（CI ⽔平扩展——也就是通过部署 更多实例来实现扩容。详⻅ Building High-Availability Clusters 。 etcd etcd ⽤作Kubernetes的后端存储。集群的所有数据都存储在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controlle

环境。 使用 Node Tuning Operator 管理需要一定级别的内核调整的高性能应用程序的节点级性能优化。 使用守护进程集在节点上自动运行后台任务。您可以创建并使用守护进程集来创建共享存储，在 每个节点上运行日志 pod，或者在所有节点上部署监控代理。 使用垃圾回收释放节点资源。您可以通过删除被终止的容器和任何正在运行的 pod 引用的镜像来 确保节点高效运行。 向一组节点添加内核参数。 读取操作 取操作 作为管理员，您可以通过以下任务获取项目中 pod 的信息： 列出与项目关联的 pod， 包括副本和重启数量、当前状态和年龄等信息。 查看 pod 使用量统计，如 CPU、内存和存储消耗。 管理操作 管理操作 以下任务列表概述了管理员如何管理 OpenShift Container Platform 集群中的 pod。 使用 OpenShift Container Platform 集中的所有容器使 用。容器存储是临时的；您可以使用卷来持久保留容器数据。 功能增 功能增强 强操作 操作 您可以使用 OpenShift Container Platform 中提供的各种工具和功能，更加轻松地高效地使用 pod。以下 操作涉及使用这些工具和功能来更好地管理 pod。 操作 操作 用 用户 户 更多信息 更多信息 创建和使用横向 pod 自动缩放器。 开发者 您可以使用 pod

化。 在节点上启用 TLS 安全配置集，以保护 kubelet 和 Kubernetes API 服务器之间的通信。 使用守护进程集在节点上自动运行后台任务。您可以创建并使用守护进程集来创建共享存储，在 每个节点上运行日志记录 pod，或者在所有节点上部署监控代理。 使用垃圾回收释放节点资源。您可以通过删除终止的容器以及任何正在运行的 pod 不引用的镜像 来确保节点高效运行。 在一组节点中添加内核参数。 列出与项目关联的 pod，包括副本数、重启、当前状态和年龄等信息。 OpenShift Container Platform 4.9 节 节点 点 10 查看 pod 用量统计，如 CPU、内存和存储消耗。 管理操作 管理操作 以下任务列表概述了管理员如何在 OpenShift Container Platform 集群中管理 pod。 使用 OpenShift Container Platform pod 如何使用 pod 控制器重启后的行为，然后重新启动策略。 限制 pod 上的出口和入口流量。 从具有 pod 模板的任何对象中添加和移除卷。卷是 pod 中所有容器使用的已挂载文件系统。容器 存储是临时的；您可以使用卷来持久保留容器数据。 增 增强 强操作 操作 您可以使用 OpenShift Container Platform 中提供的各种工具和功能，更轻松地使用 pod。以下操作涉及

2 加性注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 10.3.3 缩放点积注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 10.4 Bahdanau 注意力 内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 12.4.4 CPU 多机训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 12.7.4 键值存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547 13 计算机视觉 549

号 中信广场 7401 室 www.vmware.com/cn 目录 关于本文档 5 1 了解 VMware Data Recovery 7 备份虚拟机 7 卷影复制服务 8 删除重复存储的优点 8 2 安装 VMware Data Recovery 9 VMware Data Recovery 系统要求 9 安装客户端插件 9 安装备份设备 10 向备份设备中添加硬盘 提供。Data Recovery 插件需要安装 VMware vSphere Client。 备份可存储在任一由 VMware ESX™ 支持的虚拟磁盘上。您可以使用基于存储区域网络 (SAN)、网络附加存储 (NAS) 设备或公用 Internet 文件系统 (CIFS) 的存储器，如 SAMBA。所有备份的虚拟机都存储在删除重复的存 储中。 VMware Data Recovery 支持卷影复制服务 (VSS)，该服务可为特定 (VSS)，该服务可为特定 Windows 操作系统提供备份基础架构。 本章讨论了以下主题： n 第 7 页，“备份虚拟机” n 第 8 页，“卷影复制服务” n 第 8 页，“删除重复存储的优点” 备份虚拟机 备份期间，Data Recovery 会创建虚拟机的静止快照。每个备份操作中都会自动执行删除重复功能。 Data Recovery 可同时备份最多 8 个虚拟机。要开始多个备份，CPU

函数值增大的方向，那么梯度的反方向−∇?则指向函数值减少的方向。利用这一性质，只 需要按照 ?′ = ? − ? ∙ ∇? (2.1) 来迭代更新?′，就能获得越来越小的函数值，其中?用来缩放梯度向量，一般设置为某较小 的值，如 0.01、0.001 等。特别地，对于一维函数，上述向量形式可以退化成标量形式： ?′ = ? − ? ∙ d? d? 通过上式迭代更新?′若干次，这样得到的 手写数字图片数据集 机器学习需要从数据中间学习，因此首先需要采集大量的真实样本数据。以手写的数 字图片识别为例，如图 3.1 所示，需要收集较多的由真人书写的 0~9 的数字图片，为了便 于存储和计算，通常把收集的原始图片缩放到某个固定的大小(Size 或 Shape)，比如 224 个 像素的行和 224 个像素的列(224 × 224)，或者 96 个像素的行和 96 个像素的列(96 × 96)， 图片样本将作为输入数据 Set)，用来训练模型，剩 下 10000 张图片作为测试集?test(Test Set)，用来预测或者测试，训练集和测试集共同组成 了整个 MNIST 数据集。 考虑到手写数字图片包含的信息比较简单，每张图片均被缩放到28 × 28的大小，同时 只保留了灰度信息，如图 3.2 所示。这些图片由多人书写，包含了如字体大小、书写风 格、粗细等丰富的样式，使得数据集的分布与真实的手写数字图片的分布尽可能地接近， 从而保证了模型的泛化能力。