0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助您洞察集群、节点、应用和服务的详细指标，并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式，可以实现应用交付的全流程标准化 和自动化，并集成 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实、可靠的数字底座，帮助企业定义数字边界，释放云原生生产 力。 DCE 5.0 的各个产品模块独立解耦，灵活升级，业务无感知，开放对接超百家 云原生生态产品，形成完整的解决方案体系，经近千家行业客户生产场景锤 这些模块就像乐高搭积木一样，糅合社区最优秀的几十种开源技术，经过众多 辩证选型、攻坚克难、编码调试、海量测试，“十年磨一剑，一朝试锋芒，全新 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 维能力，实现多云应用高效管控，提供基于集群资源的应用弹性扩缩，实现全局负载 均衡，具备故障恢复能力，有效解决多云应用灾备问题，助力企业构建多云、混合云

Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 酷爱技术。我们致力于建造技 术，研究技术，测试技术，开源技术，书写技术， 并不断改进技术。支持卓越软件并掀起 IT 革命是 我们的使命，Thoughtworks 技术雷达就是为了 完成这一使命。它由 Thoughtworks 中一群资深 技术领导组成的技术顾问委员会，通过定期讨论 Thoughtworks 采用更加细致入微的方法来衡量软件的创造过程，但这仍 然不够。幸运的是，业界已经不再使用代码行数作为产出衡量标准。然而，衡量框架 SPACE 中 A（Activity，活 动）的替代方法，例如拉取请求的数量或已解决的问题的数量，仍然不足以成为衡量生产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力，而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱

# reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1.24版本开 始移除了dockerShim组件，不再支持docker，从而默认使用containerd作为底层 的容器运行时。 k8s 1.23及之前版本： kubelet→dockerShim→dockerd→containerd→runC 默认调用的cri-socket： 备工作。 ①安装并配置docker-ce # yum install docker-ce docker-ce-cli containerd.io -y #k8s v1.23支持的docker 最新版本为20.10.x # systemctl enable docker # systemctl start docker # docker info ★配置doc 行工具为ctr，而k8s v1.24之后版本又新 增额外的辅助工具crictl crictl是遵循CRI接口规范的一个命令行工具，通常用它来检查和管理kubelet节点 上的容器运行时和镜像。（支持containerd/docker/crio） ★安装crictl工具 默认随kubeadm一起安装了，在cri-tools-xxxx.x86_64.rpm这个包里，如果想单独 安装，则直接装这

ules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时，修改rule耗时超过半小时。 • 数据平面的时间复杂度是O(N) • 调度算法比较少，仅仅支持random的 • iptables IPVS 仅仅提供了DNAT，还需要借用 iptables+conntrack 做SNAT • 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf pre-routing • skb的路由指针是NULL • 处理分片 • 出报文 • 本来的逻辑： • Nf local out -> ip_output

Kubernetes基础介绍 综合产品支持部——李树兵 2 www.h3c.com Confidential 秘密 22 Kubernetes基础架构介绍 01 03 Kubernetes常见命令介绍 02 Kubernetes基本概念和术语介绍 04 Kubernetes技术在H3Cloud OS中的应用介绍 3 www.h3c.com Confidential 秘密 33 Kubernetes基础架构介绍 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, K8s基本概念和术语介绍（Pod） Pod： Pod是一组紧密关联的容器集合，它们共享PID、IPC、Network和UTS namespace，是Kubernetes调度的基本单位。 Pod的设计理念是支持多个容器在一个Pod中共享网络和文件系统，可以通过进程间通信和文件共享这种简单高效的方式 组合完成服务。 每个Pod都有一个特殊的称之为“根容器”的Pause容器。Pause容器对应的镜像属于k8s平台的一部分，除了Pause容

容器云设计--多集群支持的容器云 • What? – 多个K8S容器云集群统一管理 • Why？ 技术和管理难度大 跨数据中心 2 物理机，VMWare，OpenStack，AWS，Azure 混合基础架构 多集群统一管理，无需切换平台系统 统一用户体验 11 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 • 多集群，一平台 Dev/Ops 13 2017 Lenovo Internal. All rights reserved. 容器云设计—部署和回滚 • 部署流程 or 回滚流程 console • 配置请求 • 部署请求 builder • 准备构建环境 • 生成Dockerfile • Build镜像 • Push镜像 kubernetes • 部署服务 1 3 4 Docker Registry 5 Deployment StatefulSet 14 2017 Lenovo Internal. All rights reserved. 容器云设计-- DevOps的支持 • 常用DevOps工具的支持，快速融入现有开发体系 Console Restful API K8S-1 K8S-2 XPlatform Push Upload Web Hook 15 2017

件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证 6 容器技术迅猛发展，Kubernetes主宰容器编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes 2017年10月17 日，在 DockerCon 欧洲大会上，容器供应商 Docker 宣布重磅消息，将拥抱容器编排对手Kubernetes。 在全球3大容器调度编排引擎 主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性

IBM, INTEL等企业组建工业互联网 联盟(IIC), 发布参考架构IIRA. 基于云的开放式物联网操作系统，实现全 面的系统集成和数据融合，打破数据孤岛 Mindsphere平台 德国联邦政府支持相关行业协会建设工业4.0平台，负 责工业4.0国家战略的宣传推广，标准制定，人才培养 和技术研发。 以工业大数据为驱动，以云计算，大数据， 物联网技术为核心的工业互联网开放平台， 实现产品，机器，数据，人的全面互联互 面向数据与智能 数据管理 大数据 机器学习 资源管理 深度学习 AI工具 API IOT中台 面向行业解 决方案 边缘计算 数据通道 数据分析 API 海尔工业互联网 - 微服务之框架支持 Netflix Config Server （git based） spring boot spring boot Kubernetes Eureka Ribbon Hystrix Zuul Trace Zuul Feign Springcloud： • 相对封闭 • 技术栈比较重 • 需额外维护注册中心 • 一些场景在容器平台中已不复存在 海尔框架： • Quickstart工具支持，填写应用名称，快速生成代码框架 • 充分借助容器平台功能 海尔工业互联网 - 微服务之负载均衡 V IP node node LB node pod node node E.P

个实例 容 器 平 台 运 维 平 台 容 器 平 台 运 维 平 台 Kubernetes 200 最大不可用数面向终态的应用管理 • 支持终态副本数保持 • 支持容器原地升级 • 保持 IP、卷 • 支持并发更新、容错暂停 • 支持镜像预热、按需下载镜像格式面向终态的风险控制 • 运维决策分散 - controllers - operators - rescheduler 镜像，一次定义多次运行 通过镜像提供的组装机制 打包应用镜像，包含业务 及运维基础设施进程 更进一步组合多个容器 为一个 Pod，Pod 一次 定义多次运行不可变基础设施 • 应用与运维基础设施容器分离 • 支持各自独立升级 • SidecarSetOpenKruise • AdvancedStatefulSet • SidecarSet • BroadcastJob • CloneSet • UnitedDeployment (coming soon) https://openkruise.iok8s 规模及性能优化实践性能优化 RT/QPS 资源使用率 链路RT/QPS 服务异常 队列长度 gRPC监控 长连接分布 请求分布 限流 Authorization Authenticatio n 序列化 压缩 版本转换 Admission Cache Storage Filter Chain API 存储

•… (剩余几十个) 方案一：Flannel网络方案 基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动态路由发现的网络模型，需要基础网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 Macvlan Wins！ •几乎是业界最快网络模型 •现状妥协导致服务发现链路变长 集群失败了 •没有办法操作K8S？ •基于假事件的重新调度 •灾难场景可迁移至备份集群 部署平台 •研发平台支持混合部署 •研发直接容器扩容完成迁移 •研发精确控制发版速度 •支持容器回滚到物理机 容器平台 •平台化的多集群管理 •清晰简单的运维操作 •灾难场景一健迁移 研发最关心的问题 •上容器性能有多大损失？ •容器集群稳定性多高？ 的过程分为两个阶段：调度周期 和 绑定周期 调度周期 • 选择符合条件的Node （硬性选择） • 给Node打分 （软性选择） 绑定周期 • 向binding接⼝发送Post请求，把结果告诉k8s
 基于CPU实时使⽤率的调度器 借助Scheduling Framework可以实现⾃定义的调度器 score=(1 - cpu_used_seconds / cpu_total