10.99.1.62 k8s-node02.cof-lee.com k8s-node02 EOF ★k8s初始化时要求系统里有/etc/resolv.conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <生成默认的docker0网桥，不修改iptables规则 # cat > /etc/docker/daemon.json < /etc/containerd/config.toml #生成containerd的配 置文件 # vi /etc/containerd/config.toml #修改以下2行配置 SystemdCgroup

OpenAI 的 ChatGPT，Google Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险

应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service node2的eth0,经过内部路由进行传输; 5.内部路由到达docker-0网关，流量经由flanneld下发的子 网到达pod容器; 工作原理： Flannel负责在容器集群中的多个节点之间提供第3层IPv4网 络。 工作模式： 1.vxlan 通过封装协议解包收发包mtu1450，vxlan可以在分 布多个网段的主机间构建2层虚拟网络 。 2.host-gw 通过宿主机路由同步收发包，必需工作在二层。 cker启动获 取子网配置生成docker0 生成gateway网卡; 2.node1，node的kubelet收到指令创建一个新的pod容器; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表; 你好我是分享标题

• 目录 2018 2019 2020 2021 K8S多环境 • 基于jenkins的传统发布 K8S多环境发布一期方案 • 一期通过K8S发布，一键master • 新增服务模版，自动生成deployment K8S多环境二期优化实战 • 一套代码，支持多种环境 • 物理隔离的多环境 • 共享资源的多环境 收益总结 • 降低服务器使用成本40% • 运维100%自动化 • 多云部署，高可用 一键拉起master镜像新环境 ‣ 如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 如何做到激增流量时，全链路联动扩缩容 ‣ 如何通过共享减少资源占用 ‣ 如何识别流量，智能路由 • 资源隔离，逻辑隔离，物理隔离 逻辑隔离多环境共享一个K8S（线下） 问题1 多环境物理隔离（线下，线上） 问题2 推荐做法 • 资源严格隔离：独占K8S，根据引入流量区分线上，线下 • 资源逻辑隔离：线下环境，通过智能路由，解决多环境 • 多云部署的目的 目的一 目的二 目的三 多K8S集群严格隔离

的云成本进行汇总并合理分配至每一个成本中心，提升云成本账单 在企业财务层面的可见性。其次，在云成本预测场景下，智能预测 技术结合企业云成本及资源使用和成本支出历史数据对未来云资源 费用情况进行智能化预测，通过机器学习、AI 等技术生成可供企业 参考的云成本优化建议，帮助企业提前规划并控制云成本支出。第 三，在云成本计量计费场景下，虚拟计费技术能够帮助企业对自建 私有云等资源进行虚拟计费，通过自定义计费策略及支出模式，为 系统技术 依赖性强、二次开发难度高，难以实现应用现代化改造，如石油化 工涉及生产维护、炼化生产、供应链协调等多个系统，整合改造门 槛高。二是存在数据孤岛现象，云上安全流通受阻。传统工业数据 生成速度快，管理难度大，来源包括生产各个环节的传感器、监测 设备、计量仪表等设备，需边缘计算、大数据等技术融合应用管理， 成本高难度大。同时，上下游经销商业务数据敏感，数据难以在云 上安全流通。三 年） 34 （二）功能方面，云计算持续驱动算力服务创新发展 算力服务中，算力资源从接入到分发给用户产生计算价值，已 经形成较为清晰的算力分配链条。云计算的发展促进算力分发链条 中感知接入、路由转发和融合调度等方面创新升级。 感知接入方面，云计算助推异构算力泛在接入，加速算力并网 演进。随着应用场景的不断丰富，通用计算已难满足日益增长的用 户诉求，智算、超算等异构资源需求高涨，如何实现广泛、高效地

Master API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM Policy Executor Task Node Node Node Global Job Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型（阿里云容器服务） Master Master X 集群网络 网络配置静态检测 • 集群外部网络安全组、路由表 • 节点 iptables、路由、网卡配置 网络动态异常巡检 • 全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot

rights reserved. 企业级容器云设计与思考 • 技术的抉择 Console 前端 Console 后端 Router Builder 用户界面 后端Restful API 路由 API Gateway 镜像构建 10 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 • What? – 多个K8S容器云集群统一管理 app02.xpaas.lenovo.com 172.19.228.2 … … 2017 Lenovo Internal. All rights reserved. 容器云设计—网络和路由 • 网络方案及路由设计—简单，低侵入 Router K8S Service Pod Pod DNS app01.xpaas.lenovo.com Flannel网络 *.xpaas.lenovo Internal. All rights reserved. 容器云设计—部署和回滚 • 部署流程 or 回滚流程 console • 配置请求 • 部署请求 builder • 准备构建环境 • 生成Dockerfile • Build镜像 • Push镜像 kubernetes • 部署服务 1 3 4 Docker Registry 2 5 Deployment StatefulSet

Feign Springcloud： • 相对封闭 • 技术栈比较重 • 需额外维护注册中心 • 一些场景在容器平台中已不复存在 海尔框架： • Quickstart工具支持，填写应用名称，快速生成代码框架 • 充分借助容器平台功能 海尔工业互联网 - 微服务之负载均衡 V IP node node LB node pod node node E.P. E.P. E.P io/a caicloud.io/b 负载均衡器（LB）: • 支持私有云LVS, 公有云SLB • 支持X.509证书 路 由： • Ingress控制器+Nginx • 支持子域名到服务路由 海尔工业互联网 - 微服务之配置管理 配置中心 应用-A 应用-B 应用-C 应用-D 配置中心优势 : • 配置简单 • 易用的用户界面 • 批量动态更新配置到应用 • 编程接口简单 Auth N Auth Z 协议适配: • 提供常用协议服务的接入、转换（Dubbo，XML） • 灵活定制化的数据变换 控制能力: • 认证鉴权机制 • 流量控制 • 黑白名单 • 服务路由 可靠高效: • 分布式，高可用 • 高性能，低延迟 • 线性扩容 海尔工业互联网 –微服务之监控日志 Node PrometheusServer（Pod） Retrieval Storage

CPU、内存、存储、网络等监控指标 ➢ 集成 Grafana，提供精选的开源仪表盘 ➢ 支持集群工作负载日志，系统日志和 Kubernetes 事件的采集和查询 ➢ 支持单条日志的上下文查询 ➢ 以集群为维度生成服务拓扑，查看服务间调用关系 ➢ 侵入式链路采集，支持查询服务的实时 RPS、错误率、时延等关键指标 ➢ 提供开源的聚合链路查询 ➢ 提供开箱即用的告警规则 ➢ 支持自定义指标、日志等告警 提供示例代码，便于新手快速使用客户端编程消费该配置，降低新手使用门槛。 微服务网关 微服务网关肩负管理微服务南北流量管控的重要作用，提供 API 管理、接口 限流、多种策略安全认证、黑白名单、路由转发、MockAPI 等能力，同时提供 企业级高性能和高扩展的云服务能力。 ➢ 多网关管理：原生支持对容器管理模块中的多集群、多命名空间的网关实例进行管 理，支持网关实例的全生命周期管理。

r相关联。 以下控制器存在云提供商依赖： Node Controller：⽤于检查云提供商，从⽽确定Node在停⽌响应后从云中删除 Route Controller：⽤于在底层云基础设施中设置路由 Service Controller：⽤于创建、更新以及删除云提供商负载均衡器 Volume Controller：⽤于创建、连接和装载Volume，并与云提供商进⾏交互，从⽽协调Volume 名称（Name） 名称通常由客户提供。对于给定类型的对象，⼀次只有⼀个对象可以有⼀个给定的名称（即：它们在空间上是唯⼀ 的）。但是，如果您删除⼀个对象，则可使⽤相同的名称创建⼀个新对象。名称⽤于引⽤资源URL中的对象，例 如 /api/v1/pods/some-name 。按照惯例，Kubernetes资源的名称最多可达253个字符，由⼩写字⺟、数字、 - 和 . 组 成，但某些资源有更具体的限制。有关名称的精确语法规则，详⻅： 09-Label和Selector 27 LIST和WATCH操作可指定Label选择器，这样就可以使⽤查询参数过滤返回的对象集。两种requirement都是允许的 （在这⾥表示，它们将显示在URL查询字符串中）： equality-based requirement： ?labelSelector=environment%3Dproduction,tier%3Dfrontend set-based