题。 • cgroup v2 特性：cgroup v2 相比 v1，具有统一的层级结构、更完善的线程模式管理、更安全的子树委派以及更丰富的特性支持。 1）统一层级结构： 简化 cgroup 的层级管理，用户不需要为不同的资源管理配置多个独立的 cgroup 树，降低多个控制器协同工作控制难度。提 供了更一致和简化的接口，使得配置更简单易懂。更高的安全性，避免父子 cgroup 资源竞争：cgroup 新增只有父 cgroup 内部无进程时才能启用子 cgroup 控制器的限制。 2）更完善的线程模式管理： cgroup-v2 引入线程模式（threaded），对可线程化管理的子系统进行限制。线程可以被独立于进程其他线程分配到不同的 cgroup 中，对单个线程的资源使用进行更精细的控制。 3）更安全的子树委派： 通过委派机制允许非特权用户创建和管理自己的 cgroup 层次结构。通 QoS 负载均衡，进一步降低离线业务 QoS 干扰。 • SMT 驱离优先级反转特性：解决混部 SMT 驱离特性的优先级反转问题，减少离线任务对在线任务 QoS 的影响。 • 混部多优先级：允许 cgroup 配置 -2~2 的 cpu.qos_level，即多个优先级，使用 qos_level_weight 设置不同优先级权重，按照 CPU 的使用比例进行资源的划分，并提供唤醒抢占能力。 •

Technologies in Docker 可配额/可度量 Control Groups (cgroups) cgroups 实现了对资源的配额和度量。cgroups 提供类似文件的接口，在/cgroup目录下 新建一个文件夹即可新建一个group，在此文件夹中新建task文件，并将pid写入该文件， 即可实现对该进程的资源控制。groups可以限制blkio、cpu、cpuacct、cpuset、devices、 等。 cpu 这个子系统使用调度程序为cgroup任务提供cpu的访问。 cpuacct 产生cgroup任务的cpu资源报告。 cpuset 如果是多核心的cpu，这个子系统会为cgroup任务分配单独的cpu和内存。 devices 允许或拒绝cgroup任务对设备的访问。 freezer 暂停和恢复cgroup任务。 memory 设置每个cgroup的内存限制以及产生内存资源报告。 net_cls net_cls 标记每个网络包以供cgroup方便使用。 ns 名称空间子系统。 Refer to: https://www.kernel.org/doc/Documentation/cgroups/ Technologies in Docker 典型Linux启动运行需要两个FS：bootfs + rootfs bootfs (boot file system) 主要包含bootloader和kernel，

实例的OOM有时很频繁，同时OOM很难提前监控 我们的办法 利用外部脚本监控cgroup中的内存统计 发生内存水位较高时，将实例移入公共 cgroup；同时发出cancel query信号给内核 水位下降时移回实例的cgroup 2016Postgres中国用户大会 Linux Box CGroup backend backend backend CGroup backend backend backend backend 2016Postgres中国用户大会 Linux Box CGroup backend backend backend CGroup backend backend backend CGroup Public CGroup Kill –USR2 2016Postgres中国用户大会 未来规划 满足客户需求！ 列存优化 – 某些场景下提高数倍性能 CPU优化

type=podsandbox io.kubernetes.container.restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX 做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时，优先级高的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup ◼报文决策： 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式： ECN标记 + TCP滑窗 + 丢包 可靠 短信 Email

⽽容器⾥⼜分为
cgroup v1
和
cgroup v2 ，所以总的有三类需要处理：
• 虚机（不同云⼚商有不同的叫法，⽐如
ECS,
EC2
等）
• 容器
cgroup
v1
• 容器
cgroup
v2
这⾥有个特别需要关注的点是：容器是否设置了
cpu limit ，如果没设，就只能⽤可以调度的
cpu
个数来计算，⽐如
cgroup v2
⾥可以读取

⾥可以读取
/sys/fs/cgroup/cpuset.cpus.effective
⽂ 件。 这⾥详细读取
cgroup
和
/proc
下⽂件的⽅法我就不细述了，详⻅
go-zero
代码。
3.1.2
CPU
使⽤率计算⽅法（以
cgroup v2
为例）
3.1.2.1
实时
CPU
使⽤率的计算
• ⽅法⼀ • ⽅法⼆ go-zero使⽤了⽅法⼀，因为我考虑到

2，也称为 cgroup v2、cgroup2 或 cgroupsv2。此功能增强包括很多 bug 修复、性能改进，以及与新功能集成的功能。在 OpenShift Container Platform 4.14 发 发行注 行注记 记 24 OpenShift Container Platform 4.14. cgroup v1 之前，仍可以使用 cgroup v1。cgroup v1 仍可通过将 仍可通过将 node.config 对象中的 cgroupMode 字段改为 v1 来使用。 如需更多信息，请参 在节点上配置 Linux cgroup 版本 。 1.3.18.6. Cron Job 时 时区正式 区正式发 发布 布 为 cron 任务调度设置时区现已正式发布。如果没有指定时区，Kubernetes 控制器管理器会解释相对于其 本地时区的调度。 如需更多信息，请参阅创建 cron OPENSHIFT CONTAINER PLATFORM 4.14 发 发行注 行注记 记 49 功能 功能 4.12 4.13 4.14 Linux Control Group 版本 2 (cgroup v2) 技术预览 公开发行 公开发行 crun 容器运行时 技术预览 公开发行 公开发行 Cron job 时区 技术预览 技术预览 公开发行 MaxUnavailableStatefulSet

发 执行的查询数量，内存的消耗量，以及CPU的使用量。GP提供了两种资源管理的方案， 资源组和资源队列。 注意：在RedHat6或者CentOS6中使用资源组是有问题的，这是因为早期的 cgroup有缺陷，最好将Kernel升级到2.6.32-696或者更高的版本以修复已知问题， 从而可以更好的使用资源组功能。这些问题在Redhat7或者CentOS7中已经修复。 资源队列或者资源 +86 18616691889) 编写：陈淼 - 48 - 跃事务的数量，当然，也可以用于压制 CPU 和内存资源的使用量。 基于角色的资源组通过 Linux Kernel 的 cgroup 来管理 CPU 资源，GP 数据库 使用名为 vmtracker 的内存管理模式为基于角色的资源组进行内存的管理。 当执行一个事务时，数据库会根据 ROLE 所属的资源组的资源配额进行评估，当所 队。 使用基于外部组件的资源组来管理外部组件的 CPU 和内存资源。这种资源组，使 用 cgroup 来管理外部组件的 CPU 和内存的使用总量。 注意：GP 的容器化部署，例如 Greenplum for Kubernetes(GP4K)，可能会创建 一组嵌套的 cgroup 配置来管理系统资源，这可能会影响 GP 的资源组管理 CPU 的使 用率、Core 数量和内存使用量

cgroupsV2 在集群中的特定节点上启用 Linux 控制 组群版本 2 (cgroups v2)。启用 cgroup v2 的 OpenShift Container Platform 进 程会禁用所有 cgroup 版本 1 控制器和层 次结构。OpenShift Container Platform cgroup 版本 2 功能是一个开 发者预览（Developer Preview）功能， 目前还不被红帽支持。 cgroupsV2 在集群中的特定节点上启用 Linux 控制 组群版本 2 (cgroups v2)。启用 cgroup v2 的 OpenShift Container Platform 进 程会禁用所有 cgroup 版本 1 控制器和层 次结构。OpenShift Container Platform cgroup 版本 2 功能是一个开 发者预览（Developer Preview）功能， 目前还不被红帽支持。 cgroupsV2 在集群中的特定节点上启用 Linux 控制 组群版本 2 (cgroups v2)。启用 cgroup v2 的 OpenShift Container Platform 进 程会禁用所有 cgroup 版本 1 控制器和层 次结构。OpenShift Container Platform cgroup 版本 2 功能是一个开 发者预览（Developer Preview）功能， 目前还不被红帽支持。

开始对 Docker 进行支持；Google 也在其 PaaS 产品中广泛应用 Docker。 Docker 使用 Google 公司推出的 Go 语言 进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 AUFS 类的 Union FS 等技术，对进程进行封装隔离，属于 操作 系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容 器。最初实现是基于 Swarm mode ，详细内容请查看 Swarm mode 一节。 Compose 模板文件 172 cgroup_parent 指定父 cgroup 组，意味着将继承该组的资源限制。 例如，创建了一个 cgroup 组名称为 cgroups_1 。 cgroup_parent: cgroups_1 container_name 指定容器名称。默认将会使用 项目名称_服务名称_序号 采用 CFS 进行带宽限制时候对 CPU 资源进行限制，默认为 false； --cgroups_hierarchy=VALUE cgroups 的目录根位置，默认为 /sys/fs/cgroup ； --[no-]cgroups_limit_swap 限制内存和 swap，默认为 false，只限制内存； --cgroups_root=VALUE 根 cgroups 的名称，默认为

www.jd.com docker 原理与应用实践 张成远 docker 原理与应用实践 Agenda • 容器系统整体架构 • Namespace • CGroup • Device Mapper • Pull Image • Start Container • Stop Container • Docker Image Storage 容器系统整体架构 Namespace Namespace 实现 Namespace 使用接口 • 创建新进程及 namespace • 加入当前进程到新建 namespace 中 • 改变当前进程的 namespace CGroup • 提供进程的资源管理功能 • 资源管理主要涉及内存 ,CPU,IO 等 • 不依赖于 Namespace ，可单独使用 • 管理功能通过 VFS 接口暴露 • CGroups 提供通用框架，各子系统负责实现 失败， start container 会失败 JD image storage system 小结 • 当前 Namespace 功能仍不完善，需要更多的隔离 • Docker 主要用到 CGroup 的一部分子系统 • Docker 存储端仍需做一些选择或工作 • 选择 DM thin-provision 时需要注意 data 及 metadata 的设置 • docker start/stop