长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 的数据目录实现数据产品的可发现性，为了建立信任，我们发布数据质量和服务等级指标，比如数 据产品的及时性、完整性和一致性，并使用 Soda Core 和 Great Expectations 等工具自动化数据质量检查。 数 据可观测性可同时通过 Monte Carlo 等平台实现。 我们已经看到数据产品随着时间的推移，演变为多个用例的可重用构建块。随着我们在识别和构建价值驱动的 数据产品上的进 RAG，你会先从非参数记忆中去检索相关文档集 （一般是通过在向量数据库中的相似性搜索），再使用 LLM 中的参数记忆生成与检索出的文档一致的输出。我们 发现 RAG 对各种需要大量知识的 NLP 任务十分有用，包括问答，总结和故事生成。 技术 © Thoughtworks, Inc. All Rights Reserved. 15 11. 基于风险的故障建模 试验 基于风险的故障建模是

础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 ），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 6 www.h3c.com Confidential 秘密 66 Kubernetes基础结构介绍 Kubernetes架构： 7 www.h3c 授权、访问控制、API注册和发现等机制 Controller Manager控制管理器（kube-controller-manager）：k8s里所有资源对象的自动化控制中心，可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。 Scheduler调度器（k

检测框架 Ver.1 { 自动化 Ver.1 自动化 Autopilot Engine Command Policy Executor Task Node Node Node Global Job Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver version > 1.0.9.14 Checkpoint terway.version terway.status Ver.2 动态扩展 Report Executor • 不同检测策略动态扩展检测任务 • KCQL + Data Driver = 泛化调用 Policy cluster.addon.terway.version > 1.0.9.14 Expression Engine VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf 注入 trace 读取 集群升级 集群异常检测闭环 • 集群升级前置检查 • 集群升级 • 集群升级后置检查 Autopilot Engine 诊断任务 前置检查 检测通过 检测未通过 修复 升级 1.12

腾讯大数据云 通用云平台 目录 • 架构简介 • 企业级容器云解决方案 • Next 企业级容器云架构 产品功能 企业级容器云解决方案 企业级 场景 易用 • 全组件自动化部署、统一配置管理、多策略灰度升级 • 提供可视化、自动化的运维能力，降低使用者的人力成本和学习成本 可靠 • 所有组件无单点； • 平台本身支持热升级； • 组件自身HA机制，如docker； • 多地域多可用区的容灾设计 支持在线扩容、quota管理、权限管理 • 共享云盘基于cephFS • 内置云盘基于cephRBD • 腾讯内部ceph版本，微信同款 能力扩展：GPU支持 分布式存储Ceph 海量小数据读写优化 不同用户配额管理 任务带盘迁移 智能拓扑感知 GPU卡拓扑感知 资源访问代价树决策 资源调度算法解决碎片化 异构GPU统一管理 多种调度策略，多租户管理GPU卡 与CPU核自动绑定 支持单机多卡和多机多卡 仅支持内存资源的共享且仅处理单个GPU 容器使用GPU的问题： • 需要特定的硬件设备 • 不支持容器共享 • 仅支持内存资源虚拟化 • 仅支持单个GPU卡 采用Device Plugin： • GPU资源的发现 • 为任务分配相应的硬件 资源及配置容器运行时环境 transparent. GaiaGPU不应修改Kubernetes代码或容器镜像以共享GPU。使用共享GPU执行应用程序应该就像 在物理GPU上执行一样。

无视 unschedulable Kubernetes 控制器 CronJob CronJob Job Pod 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 一个简单的编排案例 Client API DB API Proxy DB Proxy DB Backup Monitoring CronJobs? 容器编排的困境 Kubernetes 为我们带来了什么？ 1. 提供了多种多样的基础资源封装：Service，Controllers，ConfigMap，Batch … 2. 自动化的运维机制：HPA，“VPA”，Rollback，Rolling Update 3. 极简的部署方式：YAML + Image Kubernetes 的现状 1. 对于大型应用而言，需要组合使用大量的 DaemonSet Job CronJob = 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 重新审视这个例子 Client API DB API Proxy DB Proxy DB Backup Monitoring 无状态应用 有状态应用 守护型应用 批处理任务 应用编排架构 应用编排架构 API Gateway APP API Service

Kubernetes on AWS高可用架构 • 高可用性 • 容灾容错 • 监控报警 • 日志收集 • 轻量级框架 Flask提供REST API • Celery实现任务分发与请求异步处理， 并通过RabbitMQ消息传输� • 通过uWSGI配合Nginx反向代理实现 更好的性能 • 使用Helm进行复杂容器编排 基于Kubernetes平台技术架构 从持续集成到持续交付过程图示 • 将源代码、配置、脚本放于Git做 版本控制 • 各Repo做定期同步 • 通过promote tag筛选发布候选 版本 • 服务部署后做自动化post check 服务在混合云上的部署架构 � 混合云部署应用演示 基于Consul的混合云服务发现 服务在Kubernetes中部署时会通过Consul client将新启动的服务通过环境变量 触发集成流水线� • 集成流水线拉取各服务稳定 版本� • 流水线自动触发实现集成测 试无感知� • 集成包括：� • 环境准备� • 数据准备� • 用例执行� • 结果分析� 系统集成自动化测试框架方案 � 后续工作计划展望 • Docker file合规性检查: docker run --rm -i hadolint/hadolint < Dockerfile� • 资源动态伸缩

区块链等技术的跨境贸易。 云计算白皮书（2023 年） 12 浙江 2023.3 《2023 年宁波市中小企业发展专 项资金因素法分配专项资金海曙 区使用管理办法》 完成市对区上云任务考核，对获评 省级制造业“云上企业”给予 15 万元的奖励，其中已评为省级标杆 上云企业的减半奖励。 2022.6 《加强科技创新助力经济稳进提 质的若干政策措施》 支持平台企业技术创新。支持平台 和系统分析的能力，完善的系统可观测性相当于人体的“神经系统”， 感知系统状态、定位系统故障，协助进行容量治理及性能调优，并 通过建立基线模型和监测系统的行为模式，来检测和预测异常情况， 实现自动化运维和自愈能力。三是机器学习与人工智能提升稳定性 保障的建设成效。人工智能和机器学习技术将在系统稳定性保障技 术体系中发挥越来越重要的作用，并进一步提升落地成效。通过对 云计算白皮书（2023 向下来看，算力资源呈现出计算异构、算网融合的特点。以 GPT-4 为例，其模型训练借助公有云能力在通用 CPU 的基础上整合 上万个 GPU 芯片，通过云计算平台实现 GPU 集群和 CPU 集群的标 准化封装，保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等，且数据类型各异，也需要云计算平台提供的存储 方案，实现复杂数据的统一调度和处理。计算芯片多样化、异构数

Agent Container Container Kernel containerd ACK on ECI • ECS + ECI混合部署：将long run应用运行在ECS上， 弹性和任务应用运行在ECI上。 • “无限”容量 • 极致弹性 • ECI 和 ECS Pod之间 互联互通（支持ClusterIP） ACK 集群 Pod Pod ECS Pod Pod Pod 更大的弹性规模：与传统ECS节点扩容不同，一个大规模容器应用动辄需要数万核的弹性算力。 • 持平的计算性能：ECI计算效能需要和同规格ECS有一致的性能表现 • 更低的迁移成本：与现有容器应用生态完美集成 • 更低的使用成本：全自动化安全和运维能力 ECI关键技术选择 - 基于 Pod 的基本调度单位和标准、开放的API接口 ECI ASK ACK 云上k8s集群 线下k8s集群 Creae/Delete/Updat

平台的基 础软件开发商. KubeBlocks 基于 K8s 的多云、混合云DBPaaS管理平台 ，支持MySQL、 PostgreSQL、Redis、MongoDB、Kafka等开源数据库的自动化 运维。 云猿生于2022年5月份成立，总部坐落于杭州，并同期设立 北京分公司。公司是云原生计算基金会（CNCF）会员企业， 信通院数据库应用创新实验室成员，并入选杭州市2023准 独角兽企业榜单。 SetControllerReference 配合，保证收到所有事件 实战：build an operator from scratch 实验描述： Kubernetes 中有一个支持用 Cron 表达式运行定时任务的对象叫 CronJob，本次实验会用 Kubebuilder 构建一个 Operator，重新实现 CronJob 的 功能（实验链接）。本次实验目标： 1. 通过实验，对 Operator 有一个真实体感，加深基础知识理解