内部的用户执行程序而非 Host 上的用户。| ## Technologies in Docker |可配额/可度量 Control Groups (cgroups)| |---| |cgroups 实现了对资源的配额和度量。cgroups 提供类似文件的接口，在 /cgroup 目录下新建一个文件夹即可新建一个 group，在此文件夹中新建 task 文件，并将 pid 写入该文件，即可实现对该进程的资源控制。groups 其他命令 docker [info|version] ## Libcontainer Libcontainer是Docker中用于容器管理的包，基于Go语言实现，通过管理namespace、cgroups、capabilities以及文件系统来进行容器控制。可以使用Libcontainer创建容器，并对容器进行生命周期管理。 Docker是一款基于LXC的开源容器管理引擎。把LXC复杂的容器创 ，它开始有了更为远大的目标，那就是反向定义容器的实现标准，将底层实现都抽象化到Libcontainer的接口。这就意味着，底层容器的实现方式变成了一种可变的方案，无论是使用namespace、cgroups技术抑或是使用systemd等其他方案，只要实现了Libcontainer定义的一组接口，Docker都可以运行。这也为Docker实现全面的跨平台带来了可能。 Linux Container ###

and resolving memory problems. Single-thread porting performance optimized for control groups (cgroups): openEuler 21.03 eliminates the dependence on the read and write semaphores of thread groups. It

快速上手 o 通过一个简单的Web应用例子，带你快速体验Docker的核心流程：构建镜像、运行容器。 什么是 Docker 介绍 Docker 的起源、发展历程以及其背后的核心技术 (Cgroups，Namespaces，UnionFS，以及 containerd 引擎的演进)。 为什么要用 Docker ○ 了解 Docker是如何改变软件交付方式的。 对比传统虚拟机技术，阐述D 但各自独立）。 1.2.4 Docker的技术基础 Docker 使用 Go 语言开发，基于 Linux 内核的以下技术： Namespace：实现资源隔离（进程、网络、文件系统等） Cgroups：实现资源限制（CPU、内存、I/O等） Union FS：实现分层存储（如 OverlayFS） 如果你对这些底层技术感兴趣，可以阅读本书的底层实现章节。 Docker架构演进 Docker的底层实现经历了多次演进： 本章小结 Docker是一种轻量级虚拟化技术，核心价值是环境一致性 与虚拟机相比，Docker更轻量、更快速、资源利用率更高 Docker 基于 Linux 内核的 Namespace、Cgroups 和 Union FS 技术 Docker推动了容器技术的标准化（OCI）和生态发展 Docker的核心价值可以用一句话概括：让应用的开发、测试、部署保持一致，同时极大提高资源利用效率。

快速上手 o 通过一个简单的Web应用例子，带你快速体验Docker的核心流程：构建镜像、运行容器。 什么是 Docker 介绍 Docker 的起源、发展历程以及其背后的核心技术 (Cgroups，Namespaces，UnionFS，以及 containerd 引擎的演进)。 为什么要用 Docker 。了解 Docker 是如何改变软件交付方式的。 对比传统虚拟机技术，阐述D 但各自独立）。 1.2.4 Docker的技术基础 Docker 使用 Go 语言开发，基于 Linux 内核的以下技术： Namespace：实现资源隔离（进程、网络、文件系统等） Cgroups：实现资源限制（CPU、内存、I/O等） Union FS：实现分层存储（如 OverlayFS） 如果你对这些底层技术感兴趣，可以阅读本书的底层实现章节。 Docker 架构演进 Docker的底层实现经历了多次演进： 本章小结 Docker是一种轻量级虚拟化技术，核心价值是环境一致性 与虚拟机相比，Docker更轻量、更快速、资源利用率更高 Docker 基于 Linux 内核的 Namespace、Cgroups 和 Union FS 技术 Docker推动了容器技术的标准化（OCI）和生态发展 Docker的核心价值可以用一句话概括：让应用的开发、测试、部署保持一致，同时极大提高资源利用效率。

快速上手 o 通过一个简单的Web应用例子，带你快速体验Docker的核心流程：构建镜像、运行容器。 什么是 Docker 介绍 Docker 的起源、发展历程以及其背后的核心技术 (Cgroups，Namespaces，UnionFS，以及 containerd 引擎的演进)。 为什么要用 Docker ○ 了解 Docker是如何改变软件交付方式的。 对比传统虚拟机技术，阐述D 但各自独立）。 1.2.4 Docker的技术基础 Docker 使用 Go 语言开发，基于 Linux 内核的以下技术： Namespace：实现资源隔离（进程、网络、文件系统等） Cgroups：实现资源限制（CPU、内存、I/O等） Union FS：实现分层存储（如 OverlayFS） 如果你对这些底层技术感兴趣，可以阅读本书的底层实现章节。 Docker架构演进 Docker的底层实现经历了多次演进： 本章小结 Docker是一种轻量级虚拟化技术，核心价值是环境一致性 与虚拟机相比，Docker更轻量、更快速、资源利用率更高 Docker 基于 Linux 内核的 Namespace、Cgroups 和 Union FS 技术 Docker推动了容器技术的标准化（OCI）和生态发展 Docker的核心价值可以用一句话概括：让应用的开发、测试、部署保持一致，同时极大提高资源利用效率。

Docker运维&Golang Docker运维经验： 1. 尽量减少与 Docker Daemon 的通信 2. Docker 版本的选择 3. 可以利用 Docker Root 4. 建议利用 cgroups filesystem ## Docker运维&Golang ### 1. 便捷的进程管理 // SetupCgroups applies the cgroup restrictions SetupCgroups(container *libcontainer.Config, nspid int) (cgroups.ActiveCgroup, error) { if container.Cgroups != nil { c := container.Cgroups if systemd.UseSystemd() { return

Swarm mode 一节。 ## cgroup_parent 指定父 cgroup 组，意味着将继承该组的资源限制。 例如，创建了一个 cgroup 组名称为 cgroups_1。 cgroup_parent: cgroups_1 ## container_name 指定容器名称。默认将会使用项目名称服务名称序号这样的格式。 container_name: docker-web-container 大家虽然都共用一个内核和某些运行时环境（例如一些系统命令和系统库），但是彼此却看不到，都以为系统中只有自己的存在。这种机制就是容器（Container），利用命名空间来做权限的隔离控制，利用 cgroups 来做资源分配。 ## 基本架构 Docker 采用了 c/s 架构，包括客户端和服务端。Docker 守护进程（Daemon）作为服务端接受来自客户端的请求，并处理这些请求（创建、运行、分发容器）。 每个容器可以有不同的用户和组 id, 也就是说可以在容器内用容器内部的用户执行程序而非主机上的用户。 $ ^{*} $ 注：更多关于 Linux 上命名空间的信息，请阅读 这篇文章。 ## 控制组 控制组（cgroups）是 Linux 内核的一个特性，主要用来对共享资源进行隔离、限制、审计等。只有能控制分配到容器的资源，才能避免当多个容器同时运行时的对系统资源的竞争。 控制组技术最早是由 Google 的程序员在

|kepler\_container\_cgroups\_cpu\_usage\_us\_total|容器从控制组统计读取的总CPU时间。| |kepler\_container\_cgroups\_memory\_usage\_bytes\_total|容器从控制组统计读取的总内存（以字节为单位）。| |kepler\_container\_cgroups\_system\_cpu\_usage \_us\_total|容器从控制组统计读取的内核空间总数。| |kepler\_container\_cgroups\_user\_cpu\_usage\_us\_total|容器从控制组统计中读取的用户空间的总CPU时间。| |kepler\_container\_bpf\_net\_tx\_irq\_total|传送到使用BPF跟踪的容器的网卡的数据包总数。| |kepler\_contai

### 3. Cgroups Cgroups是Control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（Process Groups）所使用的物理资源（如CPU、Memory、IO等）的机制。最初由Google的工 程师提出，后来被整合进Linux内核。Cgroups也是LXC为实现虚拟化所使用的资源管理手段，可以说没有Cgroups就没有LXC。Cgroups内容非常 丰富，展开讨论完全可以单独写一章，这里我们简单谈一下Cgroups在Ceph中的应用。 说到Cgroups，就不得不说CPU的架构，以E5-2620 v3为例（如图9-5所示）：整个CPU共享L3缓存，每个物理核心有独立的L1和L2缓存，如果开启超线程，两个逻辑CPU会共享同一块L1和L2，所以，在使用Cgroups的时候，需要考虑CPU的缓存命中的问题。 ![Image](/uploads/d PCI 8086:10fb Net L#13 "enp129s0f1" 从上面的代码可以看出，操作系统识别的CPU号和物理核心是一一对应的关系，在对程序做CPU绑定或者使用Cgroups进行隔离时，注意不要跨CPU，以便更好地命中内存和缓存。另外，不同HostBridge对应的PCI插槽位置不一样，管理着不同的资源，CPU中断设置时也需要考虑这个因素。 下面是CPU的Cgroup绑定脚本。

Enforcement passes Pod -> container runtime -> Linux OS Cgroups are used to map Pod CPU and Memory Resources • Note: Two Cgroups Drivers exist (cgroups [default], systemd) CPU Requests CPU Limits Kubernetes