type=podsandbox io.kubernetes.container.restartCount改为 annotation.io.kubernetes.container.restartCoun • Cgroup目录结构发生变化，新增Pod层级 平台容灾 应用容灾 数据容灾 企业内部各个集群灰度运营。 可靠 资源管 理 CPU Memory Disk Space Network TX 做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时，优先级高的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列： 不增加队列， 对每个报文直接在正常代码路径上进行决策 ◼Cgroup区分(标记)： 在正常处理流程中，报文查找到目标socket结构之 后，根据socket的owner process来确定cgroup ◼报文决策： 令牌桶 + 共享令牌池 + 显式借令牌 ◼限速方式： ECN标记 + TCP滑窗 + 丢包 可靠 短信 Email

cluster resource utilization. Ø If a node load is high, VWA can quickly adjust offline containers‘ cgroup to ensure the SLA of online tasks without breaking offline tasks. Key Features: Ø In-Place Update �������������������������� ������������ ����������������� SyncLoop resource update container cgroup Update pod cgroup Kubelet Node Cadvisor VWA ������������ VWA CHECKPOINT ��������������������������������

★k8s初始化报错（树莓派） CGROUPS_MEMORY: missing [ERROR SystemVerifica�on]: missing required cgroups: memory 因为树莓派系统默认未启动cgroup_memory，解决方法： # vi /boot/firmware/cmdline.txt #如果有这个文件就编辑此文件 # vi /boot/cmdline.txt 115200 console=�y1 root=/dev/mmcblk0p3 roo�stype=ext4 elevator=deadline rootwait 这行后面添加 cgroup_enable=memory cgroup_memory=1 #是在行尾添加，不是另起一行 # reboot #重启后生效 ★第4章、K8S高可用集群搭建

L&W GRPC RPC: VTRON RPC: VTRON RPC Resource management VTRON: Virtual Total Resources Of Node cgroup �������� ������� Kubernetes YARN Online service usage Offline job resource usage Online service

broad performance effects. (e.g interleaving get predictable albeit reduced performance) • A cgroup aware version (e.g. Java jre v10) can be deployed • This is often not available – many were developed

potentially broad performance effects. (e.g interleaving get predictable albeit reduced performance) • A cgroup aware version (e.g. Java jre v10) can be deployed • This is often not available – many were developed

介绍 LXC (Linux Container) 介绍 在单一系统的内核层通过一套 API 在应用层提供硬件及软 件环境隔离的 Linux 环境（containers 。在内核层，通过 cgroup 来提供硬件环境的隔离（例如 CPU，Memory， Block I/O，网络等等 和通过 namespace 来提供软件层面 的隔离（例如 process tree，网络，user IDs 和挂载的文件