Confidential AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 周琦，AWS 解决方案架构师 Amazon Elastic Kubernetes Service (EKS) 初探秘 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Elastic Container Registry 管理 容器化应用的部署，调度，扩 展和管理 Amazon Elastic Container Service Amazon Elastic Container Service for Kubernetes 主机 容器在哪里运行 Amazon EC2 AWS Fargate 服务注册发现 云端服务的黄页 AWS Cloud New Amazon EKS Region: Paris, London, Mumbai - CNI v1.5.0 - New Regions: Hong Kong 即将发布 - Service linked role for Amazon EKS - EKS Support for K8s version 1.13 + ECR AWS PrivateLink - EKS-optimized

TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 post-routing阶段做SNAT • 每个service 添加一条或多条rules。使用数组管理rules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) • 调度算法比较少，仅仅支持random的 • iptables rule 不容易调试 IPVS mode • 使用hashtable 管理service • IPVS 仅仅提供了DNAT，还需要借用 iptables+conntrack 做SNAT • 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟

Zhiguohong (honkiko@github) Bypassing conntrack: Optimizing K8s Service By Enhancing IPVS with eBPF Agenda 目录 01 Problems with K8s Service How to optimize 02 Comparison with industry Performance measurement measurement 03 04 Future work 05 06 Lessons from eBPF What is K8s Service • It exposes a set of pods via VIP using a load balancer • Two types • ClusterIP provides in-cluster access • NodePort not use DPDK? • DPDK performs busy polling even when network is idle. • Why not use a pure eBPF service? • Not mature enough eBPF brief • Write C • Compile into eBPF assembly code • Inject to kernel

������Kubernetes Service�������� �� ��Cloud BU - PaaS��� Github: @m1093782566 Kubernetes�Service�� Iptables��Service���� ��Iptables������� IPVS��Service���� Iptables vs. IPVS Kubernetes�Service ����onl��a�o� ����onl��a�o� - ��������������t� - ���������� - �����IP�n������� - �������� - ��������� Kubernetes Service�Endpoints Label Selector Label: app=backend IP: 172.17.10.1 Port: 80 Label: app=MyApp Container 80 Label: app=MyApp Container Container Replication Controller Label: app=MyApp Replicas: 2 Service <10.0.0.11>:<9376> Label: app=MyApp Endpoints: track backend pod changes <172.17.10.1>:<80> <172

com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname k8s-master1.cof-lee.com set-�mezone Asia/Shanghai #设置时区 # systemctl restart chronyd # chronyc sources -v ⑦设置网络参数 #首先加载模块 # cat > /etc/modules-load.d/br_ne�ilter.conf <service.d # docker info ★docker会修改防火墙规则，导致pod网络不通 # vi /usr/lib/systemd/system/docker.service #在[Service]下的ExecStart=/usr/bin/dockerd -H fd:// 这行下面再添加一行：

(CNCF)并把Kubernetes作为种子技术来提供。目前最新的 版本是1.16版本。（https://github.com/kubernetes/kubernetes） Kubernetes 的目标旨在消除编排物理/虚拟计算，网络和存储基础设施的负担，并使应用程序运营商和开发人员完全将重点放 在以容器为中心的业务上进行自助运营。Kubernetes 也提供稳定、兼容的基础（平台），用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 能。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker Engine（docker）：docker引擎，负责本机的容器创建和管理工作。

ServiceAccount：SS NS: PP Think in Cloud . 北北京 IPv6 on KUN ⽅方案 • IPv6(Pod, Node, Service) • 6to4 Tunnel • Bridge 特性 • 核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 • Calico/Flannel: 基于 BGP、IPIP、VXLAN IPv4 --- IPv6 集群外 服务器器 Core Core 接⼊入交换机 6to4 tunnel 接⼊入交换机 6to4 tunnel Core 接⼊入 交换机 Service eth0 eth0 veth veth Pod veth Pod veth ⽹网 桥 eth0 veth veth Pod veth Pod veth ⽹网 桥 Cloud . 北北京 IPv6 on KUN Service全⽹网可访问 ClusterIP 在 K8s 集群 外部可以直接访问 分配⼀一个 IPv4地址，在Kuberntes集群下的所有接⼊入交换机上宣 告。该IPv4地址对应的6to4 IPv6地址作为该Kubernetes集群 Service IP的地址段 Bgpd 负责将 Service IPv6 地址段通过 BGP 路路由协议宣告给接⼊入交换机

社区（众筹） 货币 无 BTC 比特币 Ether 以太币 挖矿 无 有 有 状态数据方式 键值数据、文档数据 交易数据 帐号数据 共识网络 PBFT等 PoW PoW, PoS 网络 公开或私有 公开 公开 隐私性 有 无 无 智能合约 Go, Java等多种开发语言 无 Solidity SACC2017 超级账本项目生命周期 LoadBalancer • 服务发现 – DNS – 环境变量 25 Worker Node Service Pod 1 Pod 2 Pod N Node IP: 192.168.10.10 IP: 10.2.3.14 DNS: service1.cluster.local Port: 9443 NodePort: 31233 Protocol: TCP 在Kubernetes中部署Fabric SACC2017 • Fabric的应用面临几个问题： – 大量配置文件，繁琐且容易出错。 – 开发人员无法专注于应用开发。 – 基于Fabric身份管理的设计，网络中节点增减的步骤繁多。 – 节点的状态不易监控，节点宕机后需手动重启。 • 降低使用门槛，提高易用性成为区块链应用落地的 首要条件。 28 机遇与挑战 SACC2017 29

容器管理 9 全局管理 10 可观测性 10 应用工作台 11 多云编排 11 微服务引擎 12 服务网格 13 中间件 14 镜像仓库 14 云原生网络 15 存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5. 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 版权 ©

基于kubernetes的微服务实践 涂小刚 2019.8.11 Service Mesh Meetup #6 广州站 物理机 虚拟机 容器集群管理 私有云 容器 服 务 治 理 基 础 设 施 自动恢复 监 控 报 警 harbor 容 器 引 擎 存 储 管 理 编 译 发 布 软件定义网络跨节点通讯 统 一 集 中 运 营 管 理 gitlab jenkins 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx nginx 流 量 入 口 k8s平台组件 k8s平台接入流程 k8s环境空间和应用名规范 k8s-namespace k8s-service k8s-app-name k8s-namespaces 环境名称定义采用业务线缩写名加环境名组成 k8s-service名称、app名称和应用名称包名保持一致 k8s-api配置对象 作用 k8s-namespace 通过配置文件关键字dev/test/prod等声明应用所属的环境，隔离不同环境业务，通过特定标识来识别业务线。 k8s-service k8s-dns注册服务名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。