Power 的共享处理器池 IBM Power 有共享处理器池的概念。共享处理器池中的处理器可以在集群的节点之间共享。Red Hat OpenShift Data Foundation 所需的聚合计算容量应当是多个内核对。 6.5. 订阅要求 Red Hat OpenShift Data Foundation 组件可以在 OpenShift Container Platform worker 或基础架构节点 存储设备和消耗它的 pod 的充足资源。可以使用手动放置 规则覆盖默认放置规则，但这种方法通常仅适用于裸机部署。 7.5. 存储设备要求 使用本节了解在规划内部模式部署和升级时可以考虑的不同存储容量要求。我们通常建议每个节点 9 个设 备或更少。本建议可确保节点保持低于云供应商动态存储设备附加限制，以及限制使用本地存储设备的节 点故障后恢复时间。以三个节点（每个故障域中一个节点）来扩展集群是满足 磁盘用于 OpenShift Data Foundation 组件。 注意 注意 您只能根据安装时所选的容量递增来扩展存储容量。 7.5.1. 动态存储设备 Red Hat OpenShift Data Foundation 允许选择 0.5 TiB、2 TiB 或 4 TiB 容量作为动态存储设备大小的请 求大小。可以每个节点运行的动态存储设备数量取决于节点大小、底层置备程序限制和资源要求。

CONTAINER PLATFORM 节点可以容纳的 POD 数量 7.2.1. 了解 OpenShift Container Platform 集群容量工具 7.2.2. 在命令行中运行集群容量工具 7.2.3. 以 pod 中作业的方式运行集群容量工具 7.3. 使用限制范围限制资源消耗 247 248 249 249 255 257 258 260 260 261 264 265 270 predicates。 非关 非关键 键常 常规 规 predicates PodFitsResources predicate 根据资源可用性（CPU、内存和 GPU 等）决定适合性。节点可以声明其资 源容量，然后 pod 可以指定它们所需要的资源。适合性基于请求的资源，而非使用的资源。 必要常 必要常规 规 predicates PodFitsHostPorts predicate 决定节点是否有空闲端口用于请求的 时加上权重的总和。总和最高的节点是优先级最高的节点。 LeastRequestedPriority 优先级会优先选择请求资源较少的节点。它计算节点上调度的 pod 所请求的内 存和 CPU 百分比，并优先选择可用/剩余容量最高的节点。 {"name" : "MatchNodeSelector"} {"name" : "NodeAffinityPriority", "weight" : 1} {"name" :

CONTAINER PLATFORM 节点可以容纳的 POD 数量 7.2.1. 了解 OpenShift Container Platform 集群容量工具 7.2.2. 在命令行中运行集群容量工具 7.2.3. 以 pod 中作业的方式运行集群容量工具 7.3. 使用限制范围限制资源消耗 7.3.1. 关于限制范围 7.3.1.1. 关于组件限制 7.3.1.1.1. 容器限制 7.3 PodFitsResources predicate 根据 根据资 资源可用性（ 源可用性（CPU、内存和 、内存和 GPU 等）决定适合性。 等）决定适合性。节 节点可以声 点可以声 明其 明其资 资源容量，然后 源容量，然后 pod 可以指定它 可以指定它们 们所需要的 所需要的资 资源。适合性基于 源。适合性基于请 请求的 求的资 资源，而非使用的 源，而非使用的资 资源。 源。 {"name" 的内存和 CPU 百分比，并 百分比，并优 优先 先选择 选择可用 可用/剩余容量最高的 剩余容量最高的节 节点。 点。 BalancedResourceAllocation 优 优先 先级 级会 会优 优先 先选择资 选择资源使用率均衡的 源使用率均衡的节 节点。它以占容量比形式 点。它以占容量比形式计 计算 算 CPU 和内存已使用量的差 和内存已使用量的差值

模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 层)等模型相继被提出，同时输入图 片的大小也从28 × 28逐渐增大，变成224 × 224、416 × 416等，这些变化使得网络的总参 数量可达到千万、上亿级别，如图 1.13 所示。 网络规模的增大，使得神经网络的容量也相应增大，从而能够学习到复杂的数据模 态，模型的性能也会随之提升；另一方面，网络规模的增大，意味着更容易出现过拟合现 象，训练需要的数据集和计算代价也会变大。 4 4 8 8 19 22 （a）表达能力偏弱 （b）表达能力与数据模态匹配 （c）表达能力过强 图 3.8 模型表达能力与数据模态示意图 选择一个合适容量的模型非常重要，目前所采用的多神经元模型仍是线性模型，只有 一层，表达能力偏弱，类似于图 3.8(a)的情况，接下来将扩大模型容量来解决这两个问 题。 3.5 非线性模型 既然线性模型不可行，那么可以给线性模型嵌套一个非线性函数，即可将其转换为非 线性

请求本地临时存储。 本地临时存储的限制。 pod 规格中的此设置会影响调度程序对调度 pod 的决定，以及 kubelet 如何驱除 pod。首先，调度程序确 保调度容器的资源请求总和小于节点的容量。在这种情况下，只有在可用临时存储（可分配资源）超过 4GiB 时，pod 才能分配给节点。 其次，在容器级别上，因为第一个容器设置了资源限值，kubelet 驱除管理器会测量此容器的磁盘用量， 并在此容器的存储使用量超过其限制时驱除 项定义，它代表了开发人员对存储的一个请求。它与一个 pod 类 似，pod 会消耗节点资源， PVC 消耗 PV 资源。例如：pod 可以请求特定级别的资源，比如 CPU 和内 存，而 PVC 可以请求特定的存储容量和访问模式。例如：它们可以被加载为“只允许加载一次，可读写”， 或“可以加载多次，只读”。 3.2. 卷和声明的生命周期 PV 是集群中的资源。PVC 是对这些资源的请求，也是对该资源的声明检查。PV 每个 PV 都会包括一个 spec 和 status，它们分别代表卷的规格和状态，例如： PersistentVolume 对 对象定 象定义 义示例 示例 持久性卷的名称。 卷可以使用的存储容量。 访问模式，用来指定读写权限及挂载权限。 重新声明策略，指定在资源被释放后如何处理它。 3.3.1. PV 类型 OpenShift Container Platform 支持以下持久性卷插件：

controller与Node失联40秒以上，则为“ Unknown MemoryPressure 如果node的内存存在压⼒，则为 True ——即node内存容量低；否则为 False DiskPressure 如果磁盘存在压⼒，则为 True ——即磁盘容量低；否则为 False NetworkUnavailable 如果Node的⽹络未正确配置，则为 True ，否则为 False node taints）的Pod可被调度到该Node。 请注意，由于延迟时间⼩，通常少于1秒，在观察condition和产⽣污点的时间段内，启⽤此功能可能会稍微增加成功调 度但被kubelet拒绝的Pod的数量。 Capacity（容量） 描述Node上可⽤的资源：CPU、内存，以及可调度到该Node的最⼤Pod数。 Info（信息） 关于Node的⼀般信息，如内核版本、Kubernetes版本（kubelet和kube-p 。 Node容量 Node的容量（CPU数量和内存⼤⼩）是Node对象的⼀部分。 通常来说，Node在创建Node对象时注册⾃身，并报告其 容量。如果您正在进⾏ manual node administration ，则需要在添加Node时设置Node容量。 Kubernetes调度程序可确保Node上的所有pod都有⾜够的资源。它会检查节点上容器的请求总和不⼤于Node容量。它 包括由

a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求 ~~ 100% ???????????? = ???? 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request

a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100% 慢请求开始大量增加 分布式系统雪崩 容量不足，单机热点 问题的本质： 可用性无限接近100% 可靠性无限接近100% 可用性 > 可靠性 1.4万亿 双十一当天高可用要求 ~~ 100% ???????????? = ???? 每条消息发布平均响应时间 不超过3ms 1.4万亿 分布式慢请求带来的挑战 1.4万亿 消息中间件分布式慢请求解法 01 02 低延迟分布式存储系统 在线熔断机制，秒级隔离 03 容量保障，限流 1.4万亿 低延迟分布式存储系统 – RocketMQ存储 Java Heap Lock Page Cache Disk Request Request Request Request

Reloads 的优化 第 第 9 章 章 扩 扩展集群指 展集群指标 标 9.1. 概述 9.2. 针对 OPENSHIFT CONTAINER PLATFORM 的建议 9.3. 集群指标的容量规划 9.4. 扩展 OPENSHIFT CONTAINER PLATFORM 指标 POD 9.4.1. 先决条件 9.4.2. 扩展 Cassandra 组件 第 第 10 章 章 扩 扩展 MONITORING OPERATOR 10.1. 概述 10.2. 针对 OPENSHIFT CONTAINER PLATFORM 的建议 10.3. CLUSTER MONITORING OPERATOR 的容量规划 10.3.1. 实验室环境 10.3.2. 先决条件 第 第 11 章 章 测试 测试每个集群的最大 每个集群的最大值 值 11.1. OPENSHIFT CONTAINER PLATFORM 它与一个原始分区（没有 文件系统）删除回环设备 不同。 负载和高密度方 面具有可测量的 性能优势。 它为每个容器提 供容量限制（默 认为 10G）。 您必须有一个专 用的分区。 默认情况下，在 Red Hat Enterprise Linux(RHEL)中 不会设置它。 所有容器和镜像 共享相同的容量 池。在销毁和重 新创建池的情况 下无法调整它的 大小。 设备映射器 loop-lvm 使用设备映射器精简配置

路由为集群中的服务提供入口流量。路由提供了标准 Kubernetes Ingress Controller 可能不支持的高级功能，如 TLS 重新加密、TLS 直通和为蓝绿部署分割流量。 扩 扩展 展 增加或减少资源容量。 service 在一组 pod 上公开正在运行的应用程序。 单 单根 根 I/O 虚 虚拟 拟化 化 (SR-IOV) Network Operator Single Root I/O 器，并配置 Ingress Controller 以将日志写入容器。管理员 应该配置一个自定义日志记录解决方案，从该容器读取日 志。使用容器日志意味着，如果日志速率超过容器运行时 或自定义日志解决方案的容量，则可能会出现日志丢失的 问题。 Syslog 指定日志发送到 Syslog 端点。管理员必须指定可 以接收 Syslog 消息的端点。管理员应该已经配置了一个 自定义 Syslog 实例。 container 54 您可以配置 Ingress Controller 以启用访问日志。如果您的集群没有接收许多流量，那么您可以将日志记 录到 sidecar。如果您的集群接收大量流量，为了避免超出日志记录堆栈的容量，或与 OpenShift Container Platform 之外的日志记录基础架构集成，您可以将日志转发到自定义 syslog 端点。您还可以指 定访问日志的格式。 当不存在 Syslog