Kubernetes开源书 - 周立求: 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统,提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 ⾃愈: ⾃动放置、⾃动重启、⾃动复制、⾃动缩放 Google于2014年启动了Kub 也会被销毁并 重新创建。 14-Pod 41 Pod的动机 管理 Pod是⼀个服务中多个进程的聚合单位,通过更⾼级别的抽象来简化应⽤程序的部署和管理。 在K8s中,Pod是部署, 横向缩放和复制的单位。Pod中的容器可⾃动处理托管(共同调度)、共享命运(例如终⽌)、协调复制,资源共享和 依赖关系管理。 资源共享和通信 Pods中的成员之间可进⾏数据共享和通信。 Pod中的应⽤ kubectl delete 删除ReplicaSet及其所有pod。Kubectl将ReplicaSet缩放为零,并等待它删除每个Pod,然后再 删除ReplicaSet本身。 如果这个kubectl命令被中断,可以重启。 当使⽤REST API或Go语⾔客户端库时,需要明确执⾏这些步骤(将副本缩放为0,等待Pod删除,然后删除 ReplicaSet)。 15-Replica Set 510 码力 | 135 页 | 21.02 MB | 1 年前3
OpenShift Container Platform 4.6 节点更多信息 创建和使用横向 pod 自动缩放器。 开发者 您可以使用 pod 横向自动扩展来指定您要 运行的 pod 的最小和最大数量,以及 pod 的目标 CPU 使用率或内存使用率。通过使 用 pod 横向自动扩展,您可以 自动扩展 pod。 OpenShift Container Platform 4.6 节 节点 点 10 安装和使用垂直 pod 自动缩放器。 管理员和开发人员 作为管理员,通过监控资源和工作负载的 作为管理员,通过监控资源和工作负载的 资源要求,使用垂直 pod 自动缩放器来更 好地利用集群资源。 作为开发人员,使用垂直 pod 自动缩放 器,通过将 pod 调度到每个 pod 有充足资 源的节点,来确保 pod 在高需求期间保持 运行。 利用设备插件提供对外部资源的访问权 限。 Administrator 设备插件 是在节点上运行的 gRPC 服务 (kubelet 外部),用于管理特定的硬件资 根据内存使用率自动缩放仅是一项技术预览功能。 在创建了 pod 横向自动扩展后,OpenShift Container Platform 会开始查询 pod 上的 CPU 和/或内存资 源指标。当这些指标可用时,pod 横向自动扩展会计算当前指标使用率与所需指标使用率的比率,并相应 地扩展或缩减。查询和缩放是定期进行的,但可能需要一到两分钟时间才会有可用指标。 对于复制控制器,这种缩放直接与复制控制0 码力 | 404 页 | 3.60 MB | 1 年前3
OpenShift Container Platform 4.9 节点横向自动扩展来指定您要 运行的 pod 的最小和最大数量,以及 pod 的目标 CPU 使用率或内存使用率。通过使 用 pod 横向自动扩展,您可以自动扩展 pod。 安装和使用垂直 pod 自动缩放器。 管理员和开发人员 作为管理员,通过监控资源和资源要求, 使用垂直 pod 自动扩展来更好地利用集群 资源。 作为开发人员,使用垂直 pod 自动扩展来 确保 pod 在高负载时可以继续工作,方法 并相应 地扩展或缩减。查询和缩放是定期进行的,但可能需要一到两分钟时间才会有可用指标。 对于复制控制器,这种缩放直接与复制控制器的副本对应。对于部署配置,缩放直接与部署配置的副本计 数对应。注意,自动缩放仅应用到 Complete 阶段的最新部署。 OpenShift Container Platform 会自动考虑资源情况,并防止在资源激增期间进行不必要的自动缩放,比 如在启动过程中。处于 unready autoscaling/v2beta2 重要 重要 对于基于内存的自动缩放,内存用量必须与副本数呈正比增大和减小。平均而言: 增加副本数一定会导致每个 pod 的内存(工作集)用量总体降低。 减少副本数一定会导致每个 pod 的内存用量总体增高。 使用 OpenShift Container Platform Web 控制台检查应用程序的内存行为,并确保应用程 序在使用基于内存的自动缩放前满足这些要求。 第 第 2 章 章0 码力 | 374 页 | 3.80 MB | 1 年前3
动手学深度学习 v2.02 加性注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395 10.3.3 缩放点积注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 10.4 Bahdanau 注意力 虑的大小(size)概念不涉及维度,而是分量的大小。 在线性代数中,向量范数是将向量映射到标量的函数f。给定任意向量x,向量范数要满足一些属性。第一个 性质是:如果我们按常数因子α缩放向量的所有元素,其范数也会按相同常数因子的绝对值缩放: f(αx) = |α|f(x). (2.3.10) 第二个性质是熟悉的三角不等式: f(x + y) ≤ f(x) + f(y). (2.3.11) 第三个性质简单地说范数必须是非负的: true_w) labels += np.random.normal(scale=0.1, size=labels.shape) 同样,存储在poly_features中的单项式由gamma函数重新缩放,其中Γ(n) = (n − 1)!。从生成的数据集中查 看一下前2个样本,第一个值是与偏置相对应的常量特征。 # NumPy ndarray转换为tensor true_w, features0 码力 | 797 页 | 29.45 MB | 1 年前3
【PyTorch深度学习-龙龙老师】-测试版202112函数值增大的方向,那么梯度的反方向−∇?则指向函数值减少的方向。利用这一性质,只 需要按照 ?′ = ? − ? ∙ ∇? (2.1) 来迭代更新?′,就能获得越来越小的函数值,其中?用来缩放梯度向量,一般设置为某较小 的值,如 0.01、0.001 等。特别地,对于一维函数,上述向量形式可以退化成标量形式: ?′ = ? − ? ∙ d? d? 通过上式迭代更新?′若干次,这样得到的 机器学习需要从数据中间学习,因此首先需要采集大量的真实样本数据。以手写的数 字图片识别为例,如图 3.1 所示,需要收集较多的由真人书写的 0~9 的数字图片,为了便 于存储和计算,通常把收集的原始图片缩放到某个固定的大小(Size 或 Shape),比如 224 个 像素的行和 224 个像素的列(224 × 224),或者 96 个像素的行和 96 个像素的列(96 × 96), 图片样本将作为输入数据 Set),用来训练模型,剩 下 10000 张图片作为测试集?test(Test Set),用来预测或者测试,训练集和测试集共同组成 了整个 MNIST 数据集。 考虑到手写数字图片包含的信息比较简单,每张图片均被缩放到28 × 28的大小,同时 只保留了灰度信息,如图 3.2 所示。这些图片由多人书写,包含了如字体大小、书写风 格、粗细等丰富的样式,使得数据集的分布与真实的手写数字图片的分布尽可能地接近, 从而保证了模型的泛化能力。0 码力 | 439 页 | 29.91 MB | 1 年前3
VMware Data Recovery 管理员指南Inc. 19 VMware Data Recovery 20 VMware, Inc. 索引 A 安装 备份设备 10 客户端 9 数据恢复 9 B 备份 过程 7 缩放 7 备份设备 安装 10 配置 14 启动 13 备份作业 创建 15 选项 15 备份作业向导, 使用 15 C 创建, 备份作业 15 存储器, 添加 10 F 另请参见 VSS K 客户端, 安装 9 P 配置 备份设备 14 数据恢复 13 R 入门向导, 使用 14 S 删除重复 缩放 8 最佳做法 8 使用, 入门向导 14 数据恢复 必备条件 9 配置 13 缩放 9 缩放 备份 7 删除重复 8 数据恢复 9 T 添加 存储器 10 网络共享 16 V VSS 了解 8 优点 8 支持0 码力 | 22 页 | 663.62 KB | 1 年前3
Keras: 基于 Python 的深度学习库Arguments • x: 输入数据,Numpy 数组或列表(如果模型有多输入)。 • y: 标签,Numpy 数组。 • class_weight: 将类别映射为权重的字典,用于在训练时缩放损失函数。 • sample_weight: 样本权重,Numpy 数组。 返回 标量训练误差(如果模型没有评估指标)或标量列表(如果模型计算其他指标)。属性 model.metrics_names 的偏移量加到标准化的张量上。如果为 False,beta 被忽略。 • scale: 如果为 True,乘以 gamma。如果为 False,gamma 不使用。当下一层为线性层(或者 例如 nn.relu),这可以被禁用,因为缩放将由下一层完成。 • beta_initializer: beta 权重的初始化方法。 • gamma_initializer: gamma 权重的初始化方法。 • moving_mean_initializer: Dropout 是一种 Dropout,它保持输入的平均值和方差与原来的值不变,已在 dropout 之后仍然保证数据的自规范性。通过随机将激活设置为负饱和值,Alpha Dropout 非常适合按比 例缩放的指数线性单元(SELU)。 参数 • rate: float,丢弃概率(与 Dropout 相同)。这个乘性噪声的标准差为 sqrt(rate / (1 - rate))。 • seed:0 码力 | 257 页 | 1.19 MB | 1 年前3
OpenShift Container Platform 4.9 构建应用程序值。 并发利用率 决定了在 Knative 扩展额外 pod 前必须满足并发请求限制的百分比,以处理额外 的流量。 自动扩展窗口定义了平均时间窗口,以便在自动扩展器不处于 panic 模式时提供缩放决策的输 入。如果在此窗口中没有收到任何请求,服务将缩减为零。autoscale 窗口的默认持续时间为 60s。这也被称为 stable 窗口。 资源限值 点击 Resource Limit 链接,设置容器在运行时保证或允许使用的 Topology 视图。部署应用程序后,您会自动定向到 Graph view,从中可查看应用程序 pod 状态,快速访问公共 URL 上的应用程序,访问源代码以进行修 改,以及查看上一次构建的状态。您可以缩放视图来查看特定应用程序的更多详情。 Topology 视图也为您提供了使用 List 视图监控应用程序的选项。使用 List 视图 图标 查看所有应 用程序的列表,并使用 图形视图 图标( Overview 面板中提供所部署组件的详情。您可以使用 Overview 和 Resources 选项卡 来缩放应用程序 pod,以及检查构建状态、服务和路由等,如下所示: 点击组件节点,以查看右侧的 Overview 面板。使用 Overview 选项卡可以: 使用向上和向下箭头缩放 pod,手动增加或减少应用程序的实例数。对于无服务器应用程 序,pod 数在空闲时会自动缩减为零,而且能根据频道流量扩展。0 码力 | 184 页 | 3.36 MB | 1 年前3
OpenShift Container Platform 4.10 构建应用程序决定了在 Knative 扩展额外 pod 前必须满足并发请求限制的百分比,以处理额外 的流量。 自 自动扩 动扩展窗口 展窗口定义了平均时间窗口,以便在自动扩展器不处于 panic 模式时提供缩放决策的输 入。如果在此窗口中没有收到任何请求,服务将缩减为零。autoscale 窗口的默认持续时间为 60s。这也被称为 stable 窗口。 资 资源限 源限值 值 OpenShift Container Topology 视图。部署应用程序后,您会自动定向到 Graph view,从中可查看应用程序 pod 状态,快速访问公共 URL 上的应用程序,访问源代码以进行修 改,以及查看上一次构建的状态。您可以缩放视图来查看特定应用程序的更多详情。 Topology 视图为您提供了使用 List 视图监控应用程序的选项。使用 List 视图 视图 图标 查看所有应用 程序的列表,并使用 图 图形 形视图 Overview 和 Resources 选项卡 来缩放应用程序 pod,以及检查构建状态、服务和路由等,如下所示: 点击组件节点,以查看右侧的 Overview 面板。使用 Overview 选项卡可以: OpenShift Container Platform 4.10 构 构建 建应 应用程序 用程序 34 使用向上和向下箭头缩放 pod,手动增加或减少应用程序的实例数。对于无服务器应用程0 码力 | 198 页 | 3.62 MB | 1 年前3
OpenShift Container Platform 3.11 扩展和性能指南的数量。但是,如 果 Cassandra 部署有动态置备的 PV,则不需要这一步。 9.4.2. 扩展 Cassandra 组件 Cassandra 节点使用持久性存储。因此,无法使用复制控制器进行缩放或缩减。 扩展 Cassandra 集群需要修改 openshift_metrics_cassandra_replicas 变量,然后重新运行 部署。默 认情况下,Cassandra 集群是一个单节点集群。 Pod 数 数 每天增加的 每天增加的 Prometheus 存 存 储 储 每 每 15 天增加的 天增加的 Prometheus 存 存 储 储 RAM 空 空间 间(每 (每 个 个缩 缩放大小) 放大小) 网 网络 络(每个 (每个 tsdb 块 块) ) 50 1800 6.3 GB 94 GB 6 GB 16 MB 100 3600 13 GB 195 GB 10 GB 26 infra nodes (VM) - 40 个内核,157 GB RAM。 CNS 节点 (VM) - 16 个内核、62GB RAM 、nvme 驱动。 10.3.2. 先决条件 根据您的缩放目的地,计算并为 Prometheus 数据存储设置相关 PV 大小。由于默认的 Prometheus pod 副本为 2,因此对于具有 3600 个 pod 的 100 个节点,您将需要 188 GB。0 码力 | 58 页 | 732.06 KB | 1 年前3
共 32 条
- 1
- 2
- 3
- 4













