Big Oil on Kubernetes and DevOps Hui Chi , Kai Chen 今日话题 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 以容器平台功能为支撑， 实现应用的容器化托管， 解决环境一致性，部署 架构复杂等问题 通过租户体系保证租户 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX

• 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写 • 快照读 实现架构图 存储层 存储层 – 分布式 KV Store ByteKV • Multi Raft Goup • 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 单点写 -> 多点写 multi raft range 分片，增大写并发 Brain 层无磁盘 io，只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - 2

monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 新增 Dubbo Spring Cloud 模块 让 Spring Cloud 与 Dubbo 可以互相调用 2. 新增 Seata 模块，让 Spring Cloud 的服务调用拥有分布式事务能力 2019.4 1. 发布 GA 版本 2. Sentinel 成为官方推荐的 Circuit Breaker 实现 2019.7 Spring Cloud Alibaba 毕业 2019

务发现，不用它的负载均衡，不用它的配置中心。 （这些我们都有了） “当然可以” 技术方案 • 容器方案 • 网络方案 • 集群方案 • 服务发现方案 • 平台方案 容器方案 •Supervisord •Syslog •Sshd •业务二进制 •配置文件 容器方案 •Supervisord守护其它进程 •通过ssh登陆 •集成大量工具 •使用方式与物理机无异 开消 想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 琳琅满目的网络方案 •Flannel •Calico •Cilium •Kube-Router •Macvlan •… (剩余几十个) 方案一：Flannel网络方案 基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动 基于BGP做动态路由发现的网络模型，需要基础网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 Macvlan Wins！ •几乎是业界最快网络模型 •网络延迟几乎与物理机一致 •简单的设计，易掌控 集群方案 一个超大集群还是多个中小集群？ 集群方案 •超级部署屏蔽K8S的各类资源 •一个部署调度到多个集群

模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实、可靠的数字底座，帮助企业定义数字边界，释放云原生生产 力。 DCE 5.0 的各个产品模块独立解耦，灵活升级，业务无感知，开放对接超百家 云原生生态产品，形成完整的解决方案体系，经近千家行业客户生产场景锤 炼，构建坚实可靠的数字底座，释放云原生生产力，助力企业定义数字边界。 应用商店 收录来自大数据、AI、中间件等十大领域生态伙伴的软件产品，实现生态技术、产 品、运营服务等能力的整合，提供开箱即用的生态应用软件，面向企业实际业务需 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 DCE 5.0 所包含的各个模块可以像乐高积木一样灵活搭建。

Mesos and Swarm Ø 来自Google的简单一致的设计理念 Ø 原生为容器集群打造 Ø 原生服务发现 Ø 统一的资源模型 Ø 支持丰富的标签Label发现机制 Ø 原生负载均衡，高可用方案 Ø 原生的Rolling Update设计 Ø 为生产环境专门打造的容器集群 Ø 多镜像Pod Ø 多种业务类型：Service+RC/Job/DaemonSet Ø 自动伸缩：AutoScaler RC：控制Pod的个数和Pod的生命周期 Ø Service：服务入口，由Kube-proxy支持负载均衡 Ø 原生负载均衡，高可用方案 Kubernetes所支持的存储卷类型 Kubernetes最新支持的资源类型 OpenStack和K8s的集成系统 支持跨IaaS部署K8s集群 网络集成方案的演变 IaaS层的物理网络架构 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） Flannel 利用路由协议的SDN 方案——calico Kuryr 一个Docker远程驱动 网络集成方案比较 可以排除的组合 网络集成方案比较 可行方案 IaaS层网络 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay

彈性， 依據功能和需求的演進發展改用替代解決方案。 Canonical Kubernetes、Red Hat Openshift及SUSE Rancher都已獲得CNCF認證。 2. 生命週期作業 開始踏上Kubernetes的旅程時，如果沒有思考要如何長期維護叢集，很容易就會 在開發和部署期間遭遇困難。許多以Kubernetes為中心的解決方案，雖然處理了 Kubernetes生命週期的初 高可用度有助於盡量減少停機時間，並達到最高的可靠度及生產力，因此是所 有主要 Kubernetes 解決方案的標準特性。Canonical Kubernetes、Rancher 及OpenShift均提供高可用度叢集。 4. 叢集升級 由於每季都有新的Kubernetes版本，企業務必要確保解決方案具有可靠的升級策 略，跟隨上游保持最新狀態，並且無需犧牲穩定性或中斷持續營運。就此而言， Canonical 集。撰 寫本文時，Red Hat並未正式支援任何單節點OpenShift解決方案。 MicroK8及K3均允許將叢集延伸至多個節點。MicroK8提供方法讓使用者建構具自 我修復能力的高可用度叢集，只需要使用幾個指令，無需進行設定；K3如果要達到 相同成果，就需要進行更多手動作業。 8. 託管Kubernetes方案 為企業工作負載提供無可比擬的自動化程度及通用平台。不過Kubernetes本身是一

将继续呈爆发性增长。 远程交付解决方案日臻成熟 尽管远程软件开发团队多年来利用技术克服地理限制，但疫情的影响进一步推动了这一领域的创新，巩固了向 完全远程或混合工作演进的趋势。在本期技术雷达中，我们讨论了远程软件开发实践和工具的成熟，和团队们 如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有 程。RFCs 可以成为促进演化架构的宝贵工具。不过，为了获得最佳效果，我们建议组织采用轻量级的 RFCs 方 法。如果不限定范围并明确要点，这些文件往往会随着时间的推移而变得越来越长，类似于传统的解决方案架 构文件一样最终被归档和遗忘。 3. 具有可访问性意识的组件测试设计 试验 在软件交付进程中，可访问性要求是 Web 组件测试阶段的一种考察指标。尽管诸如 chai-a11y-axe 的测试框架 Inc. All Rights Reserved. 17 见解读抱有疑虑，因为部分解读包含不恰当的做法。例如，使用“环境分支”就可能导致雪花即代码的出现。此 外，“GitOps 是持续交付的一种替代方案”这个说法也令人困惑。在那之后，四个 GitOps 原则澄清了该技术的 范围和性质。当拨开炒作和混乱的迷雾，你会发现 GitOps 是一项基于 Kubernetes 集群功能的有用技术，为分 离

NS: PP Think in Cloud . 北北京 IPv6 on KUN ⽅方案 • IPv6(Pod, Node, Service) • 6to4 Tunnel • Bridge 特性 • 核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 • Calico/Flannel: 基于 BGP、IPIP、VXLAN 或⽤用户态程序 (Local File) Monitor Manager Custom Containers Custom Containers Think in Cloud . 北北京 监控系统⽅方案 • 监控基于 Prometheus 构建，Prometheus 部署于 K8s 集群中，使⽤用 HostPath 存储数据； • Metrics 采集： A. 采集 apiserver、 道包括邮件和微信； B. 告警组管理理； C. 互相监控探测功能； • 使⽤用 Grafana 实现 Web 可视化； Think in Cloud . 北北京 监控系统⾼高可⽤用⽅方案 • 冗余部署 A. 每个 AZ 下运⾏行行⼀一个 Prometheus，各个 Prometheus 独⽴立运⾏行行，采集同样的数据； B. 每个 AZ 下运⾏行行⼀一个 Alert Manager，每个

云服务商关注到上云企业对 ISV 等合作伙伴依赖突出，通过“赢得 伙伴”的战略赢得市场。随着数字化转型进入深水区，企业上云着 重于把数字技术与企业业务、运营、管理等深入结合，获得端到端 的解决方案和服务，这离不开细分领域解决方案提供商的深度支持。 AWS 推出全新合作伙伴计划，谷歌云公布八大合作战略以加强合作 伙伴的布局。二是云服务商加强合作伙伴认证与培训，通过汇聚生 云计算白皮书（2023 年） 9 鼓励企业“上云用数赋能”，对评 为四川省五星级、四星级、三星级 上云企业称号的，分别奖励 20 万 元、10 万元、5 万元。 重庆 2023.3 《关于印发推动川南渝西地区融 合发展总体方案的通知》 以电子信息、智能装备、新材料产 业为引领，推动战略性新兴产业融 合集群发展，加快传统产业改造升 级，协同发展智能终端、云计算等 产业。 来源：根据公开信息整理 （二）云计算市场处于快速增长阶段，运营商引领新一 应用现代化是一个长期的、持续演进的，通过应用的现代化建设不 断贴近从而最终实现业务价值、达成企业战略目标的过程，涵盖旧 应用的现代化改造和新应用的现代化构建。云原生是云时代背景下 构建现代化应用的最典型技术方案，但应用现代化并非单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 三重设计原则，通过微服务、Serverless、事件驱动和命令职权分离