Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19 for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19

载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023 年） 7 发布第五代虚拟化芯片 Amazon 正逐步成为中小企 业数字化转型的突破口。 三、云计算正向数字世界操作系统转变 数字世界通过数字记录、描绘并模拟现实世界，是现实世界的 数字映射。数字技术实现了对现实世界的数据采集、存储，并能提 供分析处理数据所需的算力。云计算作为链接数字世界计算资源与 数字应用的纽带，能够有效整合海量、泛在的算力资源，加速数字 应用的感知、判断和执行。 （一）数字应用方式与算力资源供给的变革，推动云计 算作用转变 CPU 集群的标 准化封装，保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等，且数据类型各异，也需要云计算平台提供的存储 方案，实现复杂数据的统一调度和处理。计算芯片多样化、异构数 据复杂化也加速云计算向能够一体化调度、处理计算、网络、存储 资源的操作系统方向演进。 向上来看，数字应用呈现出分布式、多模态、超大量级的特点。

applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 在此。请为你Kubernetes集群的etcd数据提供备份计划。 kube-controller-manager kube-controller-manager 运⾏Controller，它们是处理集群中常规任务的后台线程。逻辑上来讲，每个Controller都是⼀ 个单独的进程，但为了降低复杂性，它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括： Node Controller：当节点挂掉时，负责响应。 化数据来污染Label。 ⾮识别信息应使 ⽤ annotation 记录。 动机 Label使⽤户能够以松耦合的⽅式，将⾃⼰的组织结构映射到系统对象上，客户端⽆需存储这些映射。 服务部署和批处理流⽔线通常是多维实体（例如：多个分区或部署、多个发布轨道、多个层、每层有多个微服务）。管 理往往需要跨部⻔才能进⾏，这打破了严格层级表现的封装，特别是由基础设施⽽⾮⽤户确定的刚性层次结构。 示例Label：

⽣命周期：为容器的⽣命周期配置容器启动执⾏、启动后处理和停⽌前处理。具体参⻅ https://kubernetes.io/docs/tasks/configure-pod-container/attach-handler-lifecycle- event/。 启动执⾏：为容器设置预启动命令和参数。 启动后处理：为容器设置启动后的命令。 停⽌前处理：为容器设置预结束命令。 数据卷：⽀持配置本地存储和云存储。 ⽣命周期：为容器的⽣命周期配置容器启动执⾏、启动后处理和停⽌前处理。具体参⻅ https://kubernetes.io/docs/tasks/configure-pod-container/attach-handler-lifecycle- event/。 启动执⾏：为容器设置预启动命令和参数。 启动后处理：为容器设置启动后的命令。 停⽌前处理：为容器设置预结束命令。 数据卷：⽀持配置本地存储和云存储。 ⼀个集群内部的 IP 地址，只能在集群内部被访问。 NodePort 在每台 Node 的固定端⼝上暴露服务，选择 NodePort 的服务类型，集群会⾃动创建⼀个 ClusterIp 类型 的服务，负责处理Node接收到的外部流量。集群外部的 Client 可以通过:的⽅式访问该服务。 创建服务 1.在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 2.选择所需的集群和命名空间，单击⻚⾯右上⻆的创建服务。

自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化 册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（kube-schedule 址。 22 www.h3c.com Confidential 秘密 22 22 K8s基本概念和术语介绍（Job） Job（任务）： Job是K8s用来控制批处理型任务的API对象。批处理业务与长期伺服业务的主要区别是批处理业务的运行有头有尾， 而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完 成的标志根据不同的spec.com

低时延：为满⾜足低时延的要求，需要在离业务现场最近的边缘构建解决⽅方案，减少业务处理理时延。� ➔ 海海量量数据：物联⽹网时代边缘数据爆炸性增⻓长，难以直接回传⾄至云端且成本⾼高昂，数据在本地进⾏行行分析和过滤，节省⽹网络带宽。� ➔ 隐私安全：数据涉及到企业⽣生产和经营活动安全，在边缘处理理企业保密信息和个⼈人隐私。� ➔ 本地⾃自治：不不依赖云端的离线处理理能⼒力力和⾃自我恢复能⼒力力。� 低时延 海海量量数据 边缘计算应⽤用场景——智能家居� ➔ 基于边缘计算打造⾼高效、舒适、安全、便便利利、环保的智能家居环境。� ➔ 云端推送边缘应⽤用，实现应⽤用全⽣生命周期管理理和边缘设备托管。� ➔ 端侧涵盖多种智能设备，边缘侧就近处理理隐私数据，回传必要数据到云端。� 端� 边� 云� 容器器� 摄像头� 语⾳音设备� 红外设备� 应⽤用推送、应⽤用管理理、边缘设备托管� …...� 数据上传� 容器器� 容器器� KubeEdge通过更更优的架构和技术实现，完美应对边缘计算遇到的挑战：� ➔ 通过将AI能⼒力力、⼤大数据能⼒力力等延伸到边缘，解决与云上服务的数据协同、任务协同、管理理协同、安全协同诉求。� ➔ 通过数据本地化处理理、边缘节点离线⾃自治，解决了了云和边缘之间的⽹网络可靠性和带宽限制的问题。� ➔ 通过⼤大幅优化边缘组件的资源占⽤用(⼆二进制⼤大⼩小约46MB，运⾏行行时内存占⽤用约10MB)，解决了了边缘资源的约束问题。�

开发管理 持续部署 持续测试 持续集成 持续监控 需求提出 需求管理场景 需求完成 需求处理 需求规划排期 ü 需求管理⼯具量化跟踪 ü 需求分级处理 ü 统⼀需求管理流程 ü 需求⾯板跟踪 ü 需求分级管理 ü 责任到⼈ ü 处理状态跟踪 ü 知识管理⼯具对知识协 同共享 ü 需求处理过程全链路追 溯 ü 及时通知 开发测试场景 任务完成 构建集成 部署⾃测 编码实现 14. 05-14-数据库设计规范V1.0 15. 05-15-微服务开发规范框架V1.0 § 1、项⺫管理 § 2、查看报表 § 1、浏览项⺫ § 2、任务查看 § 3、添加评论 § 4、任务处理 § 5、任务跟踪 § 6、浏览空间 § 7、部署应⽤，管理配额 § 8、管理PVC § 1、浏览项⺫ § 2、分配任务 § 2、Bug跟踪 § 3、Bug统计 § 1、部署应⽤，管理配额 § 2、设置Pipeline

优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 • 为什么DPDK不行？ • 独占cpu，不适合分布式的lb • 为什么纯粹的eBPF方法不行 • 不够成熟 IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf pre-routing • skb的路由指针是NULL • 处理分片 • 出报文 • 本来的逻辑： • Nf local out -> ip_output -> NF postrouting -> ip_finish_output 使得cpu成为瓶颈点 • cpu和网卡pps的比例关系 < 1/50w pps • Target server pool /client pool 的配置要足够强大。 测试拓扑 测试数据 • 处理每一个req耗费的指令数 目降低了38% 05 解决的BUG IPVS conn_reuse_mode = 1性能低 • 原因 • conn_reuse_mode的本意是当ip_vs_co

Kubernetes on AWS高可用架构 • 高可用性 • 容灾容错 • 监控报警 • 日志收集 • 轻量级框架 Flask提供REST API • Celery实现任务分发与请求异步处理， 并通过RabbitMQ消息传输� • 通过uWSGI配合Nginx反向代理实现 更好的性能 • 使用Helm进行复杂容器编排 基于Kubernetes平台技术架构 基于Kubernetes的应用部署最佳实践 K8s服务编排唯一开源子项目，K8s包管理工具 • 用于部署复杂K8s应用，处理复杂的服务间依赖 • 查看发布历史与某一次发布的具体配置 • 基于Go模板语言，实现应用快速部署到K8s集群 基于Helm的应用模板抽象 • 模板+配置 • 参数化配置支持多个环境 • 管理应用的发布 • 复杂服务间依赖处理 基于Kubernetes的 CI/CD� 从持续集成到持续交付过程图示

独立的调度模式 * 不依赖 Scheduler * 无视 unschedulable Kubernetes 控制器 CronJob CronJob Job Pod 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 一个简单的编排案例 Client API DB API Proxy StatefulSet DaemonSet Job CronJob = 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 重新审视这个例子 Client API DB API Proxy DB Proxy DB Backup Monitoring 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 应用编排架构 API Gateway APP API Service