Kubernetes全栈容器技术剖析 陈弘 华为云PaaS解决方案架构师 3 华为云应用服务：让企业应用上云更简单，运行更高效 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS FunctionGraph 4 什么是容器技术？ • 对比虚机的优势： • 通过共享操作系统内核，细粒度资源隔离。（降低资源成本） • 定义了环境无关的标准的交付、部署规范（提高交付效率） • 秒级快速启动和停止（适合敏捷扩缩容场景） • 一台ECS实例/物理机上可以运行多个容器。 • 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高 灵活性等特点。 • CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证

针对当今科技领域发展的前沿指南 技术雷达 第 29 期 | 2023 年 9 月 © Thoughtworks, Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 酷爱技术。我们致力于建造技 术，研究技术，测试技术，开源技术，书写技术， 并不断改进技术。支持卓越软件并掀起 IT 革命是 我们的使命，Thoughtworks 技术雷达就是为了 完成这一使命。它由 Thoughtworks 中一群资深 技术领导组成的技术顾问委员会，通过定期讨论 Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映

为什么纯粹的eBPF方法不行 • 不够成熟 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf NF postrouting -> ip_finish_output • 修改成： • 对kenel 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听 Jianmingfan 腾讯云 了解更多云原生技术和动态，请关注腾讯云原生公众号

发起⼈人� Outline� ➔ 边缘计算 & 应⽤用场景 & ⾯面临的挑战� ➔ Why KubeEdge & 基础架构 & 设备管理理 & 实战� ➔ 后续规划 & 社区贡献 & 技术交流� 边缘计算� 云计算是集中化的，离终端设备（如摄像头、传感器器等）和⽤用户较远，对于实时性要求⾼高的计算需求，把计算放在云上会引起较⻓长的⽹网络延 时、⽹网络拥塞、服务质量量下降等问题。 云边协同才能够最⼤大程度的发挥作⽤用。连上云的边才有强⼤大的能⼒力力和灵活性。连上边的云才有数据引流上云和应⽤用服务落地点。� 边缘计算——快速发展的四⼤大因素� Gartner公布的2019年年⼗十⼤大技术趋势，边缘计算位列列其中。Gartner认为从云到边缘被视为未来科技发展的重要趋势。� 推动边缘计算快速发展的四⼤大因素：� ➔ 低时延：为满⾜足低时延的要求，需要在离业务现场最近的边缘构建解决⽅方案，减少业务处理理时延。� 管理理：边缘节点的资源管理理与边缘应⽤用⽣生命周期管理理。� ➔ 扩展：⾼高度分布和⼤大规模的可扩展性。� ➔ 异构：边缘侧异构AI硬件接⼊入。� Why KubeEdge� KubeEdge通过更更优的架构和技术实现，完美应对边缘计算遇到的挑战：� ➔ 通过将AI能⼒力力、⼤大数据能⼒力力等延伸到边缘，解决与云上服务的数据协同、任务协同、管理理协同、安全协同诉求。� ➔ 通过数据本地化处理理、边缘节

护。转载、摘编或利用其它方式使用本白皮书文字或者观 点的，应注明“来源：中国信息通信研究院”。违反上述声 明者，本院将追究其相关法律责任。 前 言 党的二十大报告提出，要构建新一代信息技术等一批新的增长 引擎，打造具有国际竞争力的数字产业集群。云计算是信息技术发 展和服务模式创新的集中体现，是信息化发展的重大变革和必然趋 势，是信息时代国际竞争的制高点和经济发展新动能的助燃剂。云 计算引发了软件开发部署模式的创新，成为承载各类应用的关键基 头厂商在全球化布局基础上，纷纷调整发展重心，并聚焦热点区域、 热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 产业的新发展新变化，总结梳理国内外云计算政策、市场、技术、 应用等方面的发展特点，并对未来发展进行展望。 目 录 一、全球云计算发展概述................................................................................

190510-1033_v20 k8s镜像构建过程 domain/path namespaces app-name date-time git-ver 镜像地址规范 镜像地址组成 你好我是分享标题 我是作者名称 每个控制平面节点运行的一个 实例kube-apiserver，kube- scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy 从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表; 你好我是分享标题 我是作者名称 flannel vs calico 采用万兆网卡的虚拟机，测试方法是不同node节点开启qperf测试 结论： tcp延迟:calico-bgp技术在中国的布道者和领航者。 社区官网：https://www.servicemesher.com

部署在同⼀拓扑域。应⽤⾮亲和 性调度的场景包括： 将⼀个服务的 Pod 分散部署到不同的拓扑域（如不同主机）中，提⾼服务本身的稳定性。 给予 Pod ⼀个节点的独占访问权限来保证资源隔离，保证不会有其它 Pod 来分享节点资源。 把可能会相互影响的服务的 Pod 分散在不同的主机上。 说明：应⽤⾮亲和性调度的设置⽅式与亲和性调度相同，但相同的调度规则代表的意思不同，请按需进 ⾏选择。 设置调度容忍（Tol 部署在同⼀拓扑域。应⽤⾮亲和 性调度的场景包括： 将⼀个服务的 Pod 分散部署到不同的拓扑域（如不同主机）中，提⾼服务本身的稳定性。 给予 Pod ⼀个节点的独占访问权限来保证资源隔离，保证不会有其它 Pod 来分享节点资源。 41 把可能会相互影响的服务的 Pod 分散在不同的主机上。 说明：应⽤⾮亲和性调度的设置⽅式与亲和性调度相同，但相同的调度规则代表的意思不同，请按需进 ⾏选择。 设置调度容忍 点击Nodes查看仪表盘，这⾥默认数据源已关联⾄prometheus，⽤户⽆需操作，可查看当前集群对应 实例 左侧导航为Grafana功能栏，功能丰富，可⾃定义仪表盘等操作。 右上⻆为其他功能，如全屏，分享，打星，设置当前仪表盘显示时间范围，刷新当前仪表盘等功能 ⾃定义仪表盘，点击左侧功能导航栏的+，点击Dashboard,⻚⾯转换为下图右侧NewPanel 60 点击上图右侧中的AddQuery

设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时，其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时，优先级高的优先； 优先级相同 时， 配额大的占用多，配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。