Serverless Kubernetes 理想，现实和未来 张维 阿里巴巴高级技术专家 观看视频回放 Serverless：关注应用而非基础设施 敏捷开发 极致弹性 成本优化 • 无需购买和安装机器 • 无需管理服务器 • 无需升级和更新OS • 快速部署和更新应用 • 快速发布 • “无限”容量 • 秒级弹性 • 更好的扩展性 • 更好的灵活性 • 按需创建 • 没有语言和库的限制 连接Kubernetes生态 连接Cloud Native生态 无厂商绑定风险 Serverless Container Landscape Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless AI Serverless 大数据计算 CI/CD • 30s 500pod • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto Container Kernel containerd ACK on ECI • ECS + ECI混合部署：将long run应用运行在ECS上， 弹性和任务应用运行在ECI上。 • “无限”容量 • 极致弹性 • ECI 和 ECS Pod之间 互联互通（支持ClusterIP） ACK 集群 Pod Pod ECS Pod Pod Pod Pod ECI ECI ECI

Kubernetes的统一资源模型和 丰富的标签选择器 Kubernetes的架构 Ø Pod： 最小部署单元，可支持多容器镜像 Ø RC：控制Pod的个数和Pod的生命周期 Ø Service：服务入口，由Kube-proxy支持负载均衡 Ø 原生负载均衡，高可用方案 Kubernetes所支持的存储卷类型 Kubernetes最新支持的资源类型 OpenStack和K8s的集成系统 支持跨IaaS部署K8s集群 Compute Node Compute Node Controller Nodes Compute Node Compute Node Storage Nodes 多租户隔离的容器和 虚拟机组合网络 kube-proxy的负载均衡原理 对外发布服务——浮动IP模式 对外发布应用服务 利用端口映射节省IP 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） 可行方案 IaaS层网络 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求 较高 Overlay Calico 需要多租户隔离，对容器网络的管理独立于虚拟 机网络 Overlay Overlay 需要多租户隔离，对容器网络的管理独立于虚拟

论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks 评估：为了确认它将如何影响你所在的企业，值 得作一番探究。 暂缓：谨慎推行。 新的 挪进 / 挪出 没有变化 雷达一览 技术雷达持续追踪有趣的技术是如何发展的，我们将其称之为条目。在技术雷达中，我们使用象限和环对其进 行分类，不同象限代表不同种类的技术，而圆环则代表我们对它作出的成熟度评估。 软件领域瞬息万变，我们追踪的技术条目也如此，因此您会发现它们在雷达中的位置也会改变。 © Thoughtworks 每年召开两次面对面会议，每两周召 开一次视频会议。其主要职责是为 Thoughtworks 的首席技术官 Rachel Laycock 和名誉首席技术官 Rebecca Parsons 提供咨询建议。 作为一个综合型组织，TAB 能够审视影响 Thoughtworks 技术战略和技术人员的各种主题。本期技术雷达内容 基于 2023 年 8 月的 TAB 线上会议创建。 中国区技术雷达汉化组： 边晓

K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） Watch 机制本质上是一个消息队列系统 1. 可靠性 - 不重复、不丢失 不重复、不丢失 2. 顺序性 - 保证最终状态的一致性 3. 实时性 - 高性能 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event

Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

知乎基于 Kubernetes 的 Kafka平台 探索和实践 知乎 ⽩白瑜庆 ⾃自我介绍 知乎技术平台⼯工程师 负责 Kafka 和数据库平台 曾在新浪和⾦金金⼭山云负责镜像流量量分析项⽬目 纲要 Kafka 在知乎的应⽤用 为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 基于 Kubernetes 的 Kafka 集群 13 个， 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 平台概览 Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率

k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service k8s-app-name app-name ai-test ai-dc-server ai-dc-server ai-dc-servedr 业务线名称 ai dt ad 现有环境名 test preview prod 统一规划环境名和业务应用名，适配标准自动化运维。 业务线名称采用拼音首字母缩写 k8s-namespaces 环境名称定义采用业务线缩写名加环境名组成 k8s-service名称、app名称和应用名称包名保持一致 k8s-api配置对象 作用 k8s-namespace 通过配置文件关键字dev 应用名称，保持应用和k8s之间的关联。 k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。

（2）自由使用：任何人可以出于任何目的而自由地 阅读/链接/打印/转载/引用/分发/再创作 此文档，无 需任何附加条件 若您 阅读/链接/打印/转载/引用/分发/再创作 本文档，则说明接受以上2个条 款。 作者：李茂福 更新日期：2023-12-29 ★第0章、K8S集群搭建准备工作 相关单词原义： docker 码头工人 pod 集装箱 kubernetes 61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname k8s-master1.cof-lee.com #设置主机名称，所有结 ab里 取消挂载 # vi /etc/fstab # swapoff -a #取消所有swap挂载 ⑥NTP服务需要开启，使用集群内的ntp server，确保集群时间的一致性 # yum install chrony -y # systemctl enable chronyd # systemctl start chronyd # cat >

TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) • 调度算法比较少，仅仅支持random的 • iptables rule 不容易调试 IPVS mode • 使用hashtable IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id 传给IPVS内核模块 • 在ip_vs_new_conn 时，插入eBPF map • (protocol, clientip:cport