10.99.1.62 k8s-node02.cof-lee.com k8s-node02 EOF ★k8s初始化时要求系统里有/etc/resolv.conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p #加载配置 ⑧防火墙放行端口 TCP: 6443， .yml指定vxlan使用的 底层网络接口，所以它根据ip route show去查找default via这行的网卡（有默认 路由的网络接口），但我们测试环境的服务器没有配置网关，所以它找不到默 认路由，导致flannel启动失败 解决方法是给服务加个网关（默认路由）或者在kube-flannel.yml里指定vxlan绑 定的网卡设备（不建议直接绑定网络接口名，因为不同的服务器接口名称可能 不一样，可匹配ip网段所在的网络接口）

r相关联。 以下控制器存在云提供商依赖： Node Controller：⽤于检查云提供商，从⽽确定Node在停⽌响应后从云中删除 Route Controller：⽤于在底层云基础设施中设置路由 Service Controller：⽤于创建、更新以及删除云提供商负载均衡器 Volume Controller：⽤于创建、连接和装载Volume，并与云提供商进⾏交互，从⽽协调Volume probes）。 在必要时创建mirror pod ，从⽽将pod的状态报告回系统的其余部分。 将节点的状态报告回系统的其余部分。 kube-proxy kube-proxy 在主机上维护⽹络规则并执⾏连接转发，从⽽来实现Kubernetes服务抽象。 docker 04-K8s组件 16 docker ⽤于运⾏容器。 rkt rkt 是⼀个Docker的替代品，⽀持在实验中运⾏容器 ice。 apiserver - > kubelet 从apiserver到kubelet的连接⽤于： 获取Pod的⽇志。 通过kubectl连接到运⾏的Pod。 提供kubelet的端⼝转发功能。 这些连接终⽌于kubelet的HTTPS端点。默认情况下，apiserver不验证kubelet的证书，这使得连接可能会受到中间⼈的 攻击，并且在不可信/公共⽹络上运⾏是不安全的。 要验证此连接，请使⽤

年） 34 （二）功能方面，云计算持续驱动算力服务创新发展 算力服务中，算力资源从接入到分发给用户产生计算价值，已 经形成较为清晰的算力分配链条。云计算的发展促进算力分发链条 中感知接入、路由转发和融合调度等方面创新升级。 感知接入方面，云计算助推异构算力泛在接入，加速算力并网 演进。随着应用场景的不断丰富，通用计算已难满足日益增长的用 户诉求，智算、超算等异构资源需求高涨，如何实现广泛、高效地 供商之间的壁垒，形成算力资源一张网，有效促进算力资源的流动。 路由转发方面，云计算打破网络与应用的边界，支撑可编程网 络实现算力路由的精准度量。当前，云网业务模式下的算力和网络 仍然相对独立，无法完成统一交付，造成大量的资源浪费。以 SRv6 为代表的网络可编程路由技术能够将业务需求与算力信息随数据包 携带进入网络，改变了传统网络只能基于 IP 地址的转发模式，充分 发挥网络在云边端多级算力资源分布环境下的调度优势，推动算网 深度融合。一是提高网络调度精度，网络充分感知业务与资源信息， 将需求解构匹配合适的算力资源节点，提高网络基于算力的度量精 度；二是优化网络转发路径，结合 SDN 管控与编排能力制定基于全 云计算白皮书（2023 年） 35 局信息的网络转发策略，实现网络路径可视、可管、可控，提升端 到端的网络服务质量；三是增强网络内生算力，网络同时作为计算 节点保障业务数据传递效能。网络可编程能力提高了网络计算的颗

应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes cluster HA etcd cluster node2的eth0,经过内部路由进行传输; 5.内部路由到达docker-0网关，流量经由flanneld下发的子 网到达pod容器; 工作原理： Flannel负责在容器集群中的多个节点之间提供第3层IPv4网 络。 工作模式： 1.vxlan 通过封装协议解包收发包mtu1450，vxlan可以在分 布多个网段的主机间构建2层虚拟网络 。 2.host-gw 通过宿主机路由同步收发包，必需工作在二层。

Master API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 集群网络 网络配置静态检测 • 集群外部网络安全组、路由表 • 节点 iptables、路由、网卡配置 网络动态异常巡检 • 全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot Engine 诊断任务

框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 提供示例代码，便于新手快速使用客户端编程消费该配置，降低新手使用门槛。 微服务网关 微服务网关肩负管理微服务南北流量管控的重要作用，提供 API 管理、接口 限流、多种策略安全认证、黑白名单、路由转发、MockAPI 等能力，同时提供 企业级高性能和高扩展的云服务能力。 ➢ 多网关管理：原生支持对容器管理模块中的多集群、多命名空间的网关实例进行管 理，支持网关实例的全生命周期管理。 ➢

macOS 上替代 Docker Desktop 的首选方案。我们持续在几个项目中使用它来提供 Docker 容器运行时的 Lima VM，在 macOS 上配置 Docker CLI，并处理端口转发和挂载卷。Colima 可以配置 为使用 containerd 作为其运行时，这也是大多数托管的 Kubernetes 服务上的运行时，可以提高重要的开发到 生产环境的一致性。 25. CloudEvents mesh without sidecar） 中的应用场景。Cilium 是一个为云原生环境如（Kubernetes 集群和其他容器编排平台）提 供网络、安全性和可观察性的开源项目。Cilium 为路由或覆盖网络提供了一个简单的第三层网络，并且还支 持 L7 协议。通过将安全性从寻址中解耦，Cilium 可以作为一种新的网络保护层发挥重要作用。我们已经看到 一些云服务提供商采用了 Cilium，我们的一些项目中也使用了 NET Core MVC 已经被证明是一种用于构建托管 APIs 的 Web 应用程序的强大而灵活的方法。然而，它的 灵活性也带来了一定的复杂性，包括一些不明显的样板代码和约定。ASP.NET 提供的路由功能允许在单个应 用程序中托管多个服务，但在当今的无服务器函数和可独立部署的微服务的世界中，这种灵活性可能会显得 有些过剩。.NET Minimal APIs 在 .NET 生态系统中提供了一种简单的方法来实现

的服务类型，集群会⾃动创建⼀个 ClusterIp 类型 的服务，负责处理Node接收到的外部流量。集群外部的 Client 可以通过:的⽅式访问该服务。 创建服务 1.在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 2.选择所需的集群和命名空间，单击⻚⾯右上⻆的创建服务。 ⽹络管理 1.简介 2.操作说明 46 3.在弹出的创建服务对话框中，进⾏配置。 47 名称：输⼊服务的名称，本例中为hello。 在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 编辑服务 1.在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 2.选择集群和命名空间，选择所需的服务（本示例中选择hello），单击右侧的编辑。 3.在弹出的更新对话框中，进⾏配置修改，然后单击确认。 49 删除服务 1.在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 在弹出的对话框中点击确认，即可删除服务。 创建路由 1.在容器集群菜单下，单击左侧导航栏中的服务与路由 >路由，进⼊路由列表⻚⾯。 2.选择所需的集群和命名空间，单击⻚⾯右上⻆的创建路由。 50 3.在弹出的路由创建对话框中对路由规则进⾏配置。 路由规则是指授权⼊站到达集群服务的规则，⽀持 http/https 规则，配置项包括域名、服务名称、服

可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 应用诊断 微服务架构总览 https://www.jetbrains 全链路灰度 安全态Sec 发布态 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 高可用 • 服务鉴权 • 漏洞防护 服务治理的区分 服务治理中心 提供者 消费者 Agent Agent 用户 配置中心 治理规则 Dev-Sec-Ops 无损下线 离群实例摘除 标签路由 服务鉴权 链路跟踪 金丝雀发布 API管理 服务测试 限流降级 故障注入 • 服务鉴权: 保护你的敏感业务 AZ 标 Region 标 压测标 版本标 场景标 自定义标 标签路由 金丝雀发布 全链路流控 场景链路 同 AZ 优先路由 容灾路由 全链路压测 自定义标 tag1 tag2 Provider Consumer 标签路由 可灰度 可监控 可回滚 变更管控 安全变更三板斧 故障应急 发布封网 故障复盘 紧急发布 稳定性分

kubelet：主节点代理，负责Pod对应的容器的创建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 能。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker 口如8080端口，并且将这些Pod的EndPoint列表加入到8080的 转发列表中，服务端就可以通过负载均衡器的对外IP+服务端口号访问此服务，而客户端的请求最后会转发到哪个Pod， 是由负载均衡器的算法所决定。 运行在Node节点上的kube-proxy进程其实就是一个智能的负载均衡器，他负责把Service的请求转发到后端的某个 Pod实例上，并在内部实现服务的负载均衡与会话保持机制。 但