分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 基于 Kubernetes 的 Kafka 集群 13 个， 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 多集群 • ⾼高可⽤用 为什什么采⽤用 Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 优化磁盘调度算法 • 运⽤用 Kafka 机架感知特性 服务注册和客户端 注册 Topic 的集群信息 • Broker, Zookeeper • Status 是否启⽤用 客户端 • 业务易易⽤用 • 标准客户端，降低集群⻛风险 集群容错 • 灾备集群 • 保证重要 Topic ⾼高可⽤用 • 客户端与服务器器注册联动 指标维度 举例例 Kubernetes 3 容器器内存、CPU、运⾏行行状态

过去一年，全球和我国云计算产业保持快速发展，并呈现出以 下特点： 一是云计算战略价值在全球范围内持续提升。美国继“云优先” （Cloud First）、“云敏捷”(Cloud Smart)之后，又出台多个战略文件， 将云计算应用至相关领域，并明确提出通过云战略获取全球优势， 以确保其在经济、军事、科技等领域的领先地位。欧洲、亚洲等主 要国家纷纷发布国家战略或计划，推动云计算在各行业的应用布局， 深度挖掘云计算 ................................................................................... 1 （一）各国加速推进云计算战略，聚焦云计算赋能行业价值........................ 1 （二）云市场进入稳定增长阶段，行业巨头进一步扩大领先优势................ 3 （三）云计算产业竞争全面升级，云服务商开启新一轮角逐 2022 年全球各区域云计算市场规模占比.........................................................4 图 3 2022 年全球主要厂商的云计算业务营收（亿美元）.....................................5 图 4 中国云计算市场规模及增速（亿元）................................

我们的使命，Thoughtworks 技术雷达就是为了 完成这一使命。它由 Thoughtworks 中一群资深 技术领导组成的技术顾问委员会，通过定期讨论 Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 Thoughtworks 的首席技术官 Rachel Laycock 和名誉首席技术官 Rebecca Parsons 提供咨询建议。 作为一个综合型组织，TAB 能够审视影响 Thoughtworks 技术战略和技术人员的各种主题。本期技术雷达内容 基于 2023 年 8 月的 TAB 线上会议创建。 中国区技术雷达汉化组： 边晓琳、陈亮、程显通、樊田、樊卓文、冯炜、符雨菡、高晓、管英杰、何蜜、何蔚、何向东、纪扬、郏李鹏、 见， 这一个透明的协作过程。快节奏的环境往往会导致设计决策的推理过程丢失，从而让负责实施决策的团队感到 困惑。RFCs 提供了一个决策审计记录，有利于未来的团队成员查看，与此同时记录了组织技术和业务的演进过 程。RFCs 可以成为促进演化架构的宝贵工具。不过，为了获得最佳效果，我们建议组织采用轻量级的 RFCs 方 法。如果不限定范围并明确要点，这些文件往往会随着时间的推移而变得越来越长，类似于传统的解决方案架

TensorFlow 中文社区运营者 • tensorflowers.cn • Kubeflow Chinese community initiator • 企业级产品与解决方案 • Compass: 打通业务与数据、从数字化到智能化转 型 • Clever: 基于容器的 AI PaaS 平台（AI Devops、资 源管理任务调度） 工业互联网平台 - 制造业大势所趋 • 全球工业互联网平台数量 发布参考架构IIRA. 基于云的开放式物联网操作系统，实现全 面的系统集成和数据融合，打破数据孤岛 Mindsphere平台 德国联邦政府支持相关行业协会建设工业4.0平台，负 责工业4.0国家战略的宣传推广，标准制定，人才培养 和技术研发。 以工业大数据为驱动，以云计算，大数据， 物联网技术为核心的工业互联网开放平台， 实现产品，机器，数据，人的全面互联互 通和综合集成 INDICS平台 东芝 日立 索尼 富士通 富士 三星 ETRI infosys Tata 工业互联网 - Predix 海尔工业互联网 - COSMOPlat 海尔工业互联网 - COSMOPlat 海尔集团业务转型 - 机遇与挑战 • 传统工业应用：SCADA, MES, ERP, SAP, ORACLE • 互联网类应用：顺逛，海尔商 城，巨商会，海尔服务，好空 气，海尔洗衣机，海尔优家， 嗨付，够花

需求驱动，勿求大而全，没有银弹 从用户的角度思考 简单，学习成本低，改变成本小 从技术的角度评估 从成本方面衡量 资源利用率，人力成本，投入产出比 从长远技术方向考虑 未来方向，新技术潮流，公司战略 高效，稳定，可扩展 9 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 技术的抉择 Console 前端 Console 功能/资源 修改系统配置 增加服务模板 创建服务 * * * * 17 2017 Lenovo Internal. All rights reserved. 容器云设计-- 企业权限设计 • 业务权限/数据权限：允许或拒绝用户进行某个数据的增删改查操作 Service Project Owner Master Developer Guest 增 删 查 改 18 2017

紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 ：更快的弹性，更高的资源利用率 持续发布： 小时级->分钟级 弹性伸缩： 分钟级->秒级 应用交互性能提 升1~2倍 资源利用率提 升50% 挑战 收益 传统虚机应用上线慢 业务扩容时间长 同业务压力下资 源利用率低 传统虚机应用交 互性能低 • 应用可以基于容器镜像一站式自动化“构建发布上线” • 应用快速上线、扩容、升级，秒级弹性扩缩容 • 基于容器更细粒度共享，提升资源利用率 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR ：支持镜像自动化构建，实现源码到镜像的自动化流程 第三方代码库对接 多租户、多用户权限隔离 17 案例：高性能容器服务，助力图灵生物

来自应用开发者的“灵魂拷问” “ Kubernetes 让 Devops 更复杂了！” Kubernetes 对于应用开发复杂在哪里 1. 关注点不同 业务研发 2. 语义与抽象程度不同 业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • 当 RT 上升 10% 时，自动扩容 100 个实例 发布策略 • Deployment Service Node Custom Resource 一组容器 一组 Pod 副本 Pod 的访问入口 节点 自定义对象 声明式 API 对象 基础设施层能力 业务运维 平台工程师 业务研发 扩容策略 发布策略 分批策略 访问控制 流量配置 应用管理平台 （Openshift、Cloudfoundry、阿里内部、腾讯内部 …） 应用 CI/CD 流水线 K8s PaaS 目标一：一个面向用户，应用为中心 CI/CD 流水线 应用 扩容策略 发布策略 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom Resource 业务运维 业务研发 按需绑定 关键词：用户友好，应用层语义和抽象 平台工程师 Controller 目标二：一个高可扩展的应用管理平台 关键词：可插拔，可扩展，模块化，没有抽象程度锁定 应用 Deployment

.com/kubernetes/kubernetes） Kubernetes 的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 组合完成服务。 每个Pod都有一个特殊的称之为“根容器”的Pause容器。Pause容器对应的镜像属于k8s平台的一部分，除了Pause容 器外，每个Pod还包含一个或多个紧急相关的用户业务容器。他为每个业务容器提供如下功能：①在pod中担任Linux命 名空间共享的基础。②启用pid命名空间，开启init进程。 引入这种方式的原因： 1. 一组容器运行的pod中，很难对整体进行判断，引入pasue作为根容器， 中副本数增加到理想状态，将旧RS中 的副本数减小到0的复合操作；这样一个复合操作用一个RS是不太好描述的，所以用一个更通用的Deployment来描述。 以K8s的发展方向，未来对所有长期伺服型的的业务的管理，都会通过Deployment来管理。 Deployment的几个使用场景： 1. 创建一个Deployment 对象来生产对应的Replicas Set并完成Pod副本的创建过程。 2

ai-dc-web ai-prod ai-dc-api ai-dc-api ai-dc-api 业务线名称 ai dt ad 现有环境名 test preview prod 统一规划环境名和业务应用名，适配标准自动化运维。 业务线名称采用拼音首字母缩写 k8s-namespaces 环境名称定义采用业务线缩写名加环境名组成 k8s-service名称、app名称和应用名称包名保持一致 通过配置文件关键字dev/test/prod等声明应用所属的环境，隔离不同环境业务，通过特定标识来识别业务线。 k8s-service k8s-dns注册服务名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用docker容器化之后，ci-cd由运维平台集中控制，git版本和容器镜像必需保持一致关联性，方便问题回溯。 git master dev checkout v20 dev

和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实、可靠的数字底座，帮助企业定义数字边界，释放云原生生产 力。 DCE 5.0 的各个产品模块独立解耦，灵活升级，业务无感知，开放对接超百家 云原生生态产品，形成完整的解决方案体系，经近千家行业客户生产场景锤 DaoCloud 第 6 页 应用商店 收录来自大数据、AI、中间件等十大领域生态伙伴的软件产品，实现生态技术、产 品、运营服务等能力的整合，提供开箱即用的生态应用软件，面向企业实际业务需 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户 集群高可用，内置集群容灾、备份能力，保障业务系统在主机故障、机房中断、自然 灾害等情况下可恢复，提高生产环境的稳定性，降低业务中断风险。 ➢ 集群的全生命周期管理，实现自建云原生集群的全生命周期管理。 ➢ 开放式 API 能力，提供原生的 Kubernetes OpenAPI 能力。 应用管理 ➢ 一站式部署，解耦底层 Kubernetes 平台，一站式部署和运维业务应用，实现应用的 全生命周期管理。