内部的用户执行程序而非 Host 上的用户。| ## Technologies in Docker |可配额/可度量 Control Groups (cgroups)| |---| |cgroups 实现了对资源的配额和度量。cgroups 提供类似文件的接口，在 /cgroup 目录下新建一个文件夹即可新建一个 group，在此文件夹中新建 task 文件，并将 pid 写入该文件，即可实现对该进程的资源控制。groups 其他命令 docker [info|version] ## Libcontainer Libcontainer是Docker中用于容器管理的包，基于Go语言实现，通过管理namespace、cgroups、capabilities以及文件系统来进行容器控制。可以使用Libcontainer创建容器，并对容器进行生命周期管理。 Docker是一款基于LXC的开源容器管理引擎。把LXC复杂的容器创 ，它开始有了更为远大的目标，那就是反向定义容器的实现标准，将底层实现都抽象化到Libcontainer的接口。这就意味着，底层容器的实现方式变成了一种可变的方案，无论是使用namespace、cgroups技术抑或是使用systemd等其他方案，只要实现了Libcontainer定义的一组接口，Docker都可以运行。这也为Docker实现全面的跨平台带来了可能。 Linux Container ###

and resolving memory problems. Single-thread porting performance optimized for control groups (cgroups): openEuler 21.03 eliminates the dependence on the read and write semaphores of thread groups. It

Docker运维&Golang Docker运维经验： 1. 尽量减少与 Docker Daemon 的通信 2. Docker 版本的选择 3. 可以利用 Docker Root 4. 建议利用 cgroups filesystem ## Docker运维&Golang ### 1. 便捷的进程管理 // SetupCgroups applies the cgroup restrictions SetupCgroups(container *libcontainer.Config, nspid int) (cgroups.ActiveCgroup, error) { if container.Cgroups != nil { c := container.Cgroups if systemd.UseSystemd() { return

Swarm mode 一节。 ## cgroup_parent 指定父 cgroup 组，意味着将继承该组的资源限制。 例如，创建了一个 cgroup 组名称为 cgroups_1。 cgroup_parent: cgroups_1 ## container_name 指定容器名称。默认将会使用项目名称服务名称序号这样的格式。 container_name: docker-web-container 大家虽然都共用一个内核和某些运行时环境（例如一些系统命令和系统库），但是彼此却看不到，都以为系统中只有自己的存在。这种机制就是容器（Container），利用命名空间来做权限的隔离控制，利用 cgroups 来做资源分配。 ## 基本架构 Docker 采用了 c/s 架构，包括客户端和服务端。Docker 守护进程（Daemon）作为服务端接受来自客户端的请求，并处理这些请求（创建、运行、分发容器）。 每个容器可以有不同的用户和组 id, 也就是说可以在容器内用容器内部的用户执行程序而非主机上的用户。 $ ^{*} $ 注：更多关于 Linux 上命名空间的信息，请阅读 这篇文章。 ## 控制组 控制组（cgroups）是 Linux 内核的一个特性，主要用来对共享资源进行隔离、限制、审计等。只有能控制分配到容器的资源，才能避免当多个容器同时运行时的对系统资源的竞争。 控制组技术最早是由 Google 的程序员在

|kepler\_container\_cgroups\_cpu\_usage\_us\_total|容器从控制组统计读取的总CPU时间。| |kepler\_container\_cgroups\_memory\_usage\_bytes\_total|容器从控制组统计读取的总内存（以字节为单位）。| |kepler\_container\_cgroups\_system\_cpu\_usage \_us\_total|容器从控制组统计读取的内核空间总数。| |kepler\_container\_cgroups\_user\_cpu\_usage\_us\_total|容器从控制组统计中读取的用户空间的总CPU时间。| |kepler\_container\_bpf\_net\_tx\_irq\_total|传送到使用BPF跟踪的容器的网卡的数据包总数。| |kepler\_contai

### 3. Cgroups Cgroups是Control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（Process Groups）所使用的物理资源（如CPU、Memory、IO等）的机制。最初由Google的工 程师提出，后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段，可以说没有Cgroups就没有LXC。Cgroups内容非常 丰富，展开讨论完全可以单独写一章，这里我们简单谈一下Cgroups在Ceph中的应用。 说到Cgroups，就不得不说CPU的架构，以E5-2620 v3为例（如图9-5所示）：整个CPU共享L3缓存，每个物理核心有独立的L1和L2缓存，如果开启超线程，两个逻辑CPU会共享同一块L1和L2，所以，在使用Cgroups的时候，需要考虑CPU的缓存命中的问题。 ![Image](/uploads/d PCI 8086:10fb Net L#13 "enp129s0f1" 从上面的代码可以看出，操作系统识别的CPU号和物理核心是一一对应的关系，在对程序做CPU绑定或者使用Cgroups进行隔离时，注意不要跨CPU，以便更好地命中内存和缓存。另外，不同HostBridge对应的PCI插槽位置不一样，管理着不同的资源，CPU中断设置时也需要考虑这个因素。 下面是CPU的Cgroup绑定脚本。

Enforcement passes Pod -> container runtime -> Linux OS Cgroups are used to map Pod CPU and Memory Resources • Note: Two Cgroups Drivers exist (cgroups [default], systemd) CPU Requests CPU Limits Kubernetes

Enforcement passes Pod -> container runtime -> Linux OS Cgroups are used to map Pod CPU and Memory Resources • Note: Two Cgroups Drivers exist (cgroups [default], systemd) CPU Requests CPU Limits MEM Requests

事务结束时一定会释放slot ## • PANIC – Count + LWLock + Latch – Decouple with lock manager ## Resource Group ## • CGroups控制CPU – 目录： cpu/gpdb/rg1/，cpu/gpdb/rg2/ ... – 设置cpu/gpdb/cpu.cfs_quota_us – cpu/gpdb/cpu.shares足够大 – rg1和rg2的cpu.shares按比例配置 – 空闲group配额会被抢占 - 精确控制 ## Resource Group ## • Memory – Not using CGroups – 重构resource queue内存管理 - 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection ##

不依赖于Namespace，可单独使用 • 管理功能通过 VFS 接口暴露 • CGroups 提供通用框架，各子系统负责实现  ## CGroups IO 子系统 • blkio — 块设备 I/O 限制 • cpu — CPU 限制