Kubernetes全栈容器技术剖析 陈弘 华为云PaaS解决方案架构师 3 华为云应用服务：让企业应用上云更简单，运行更高效 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高 灵活性等特点。 • CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证 6 容器技术迅猛发展，Kubernetes主宰容器编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务

OpenStack + Kubernetes: 搭建容器虚拟机组合云平台 qingyuanos 王昕 2016-4-21 提供虚拟机服务的意义 Ø 客户的需求不仅仅是更多的计算能力 Ø 安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 Compute Node Compute Node Controller Nodes Compute Node Compute Node Storage Nodes 多租户隔离的容器和 虚拟机组合网络 kube-proxy的负载均衡原理 对外发布服务——浮动IP模式 对外发布应用服务 利用端口映射节省IP 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求 较高 Overlay Calico 需要多租户隔离，对容器网络的管理独立于虚拟 机网络 Overlay Overlay 需要多租户隔离，对容器网络的管理独立于虚拟 机网络，对性能要求不高；快速集成，用于测试

照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在 是一个专有的云安全平台，用于识别、优先级排序和修复安全风险和合规问题。它支持主流的云提供商和 混合设置。Orca 拥有广泛的安全查询和规则，以持续监控已部署的工作负载，检测配置错误、漏洞和合规性问 题。它支持云虚拟机、无服务器函数、容器以及已部署工作负载的 Kubernetes 上部署的应用。这些内置的安 全规则会定期更新，以跟上不断演进的合规标准和威胁向量。由于 Orca 无需代理，因此提供了良好的开发者 Wiz 是日渐成熟的云安全平台领域里又一竞争者，它能让用户在一个平台上预防、检测和应对安全风险和威胁。 Wiz 能对尚未部署到生产环境的构建产物（容器镜像、基础设施代码）以及生产工作负载（容器、虚拟机和云 服务）的错误配置、漏洞和泄漏的机密数据进行检测并发出警报。 它还能将发现的问题置于特定客户的云环境 的上下文中，使响应团队能够更好地了解问题并确定修复优先级。我们的团队在使用 Wiz 时获得了良好的体验。

我经久不衰 我一锅大杂烩 我高内聚高抽象 我装起来都费劲 我一键安装 我运行起来一堆问题 我小白都能稳定运行 我一堆模块 我大道至简海纳百川 不求最好，但求最贵 优秀还便宜 你真的需要虚拟机？真的需要 IaaS 层？ PaaS SaaS 有本质区别？鸭式辩型忘记了？ 云里面，一切皆应用才是王道。 系统架构与设计理念 通用的系统管理入口 所有应用自由安装卸载 极简、高内聚、高度抽象 麒麟 欧拉 ARM 裸金属/云服务器/私有云虚拟机 x86 除了 kubelet 其他都跑容器里 为了更好的兼容性，不用系统依赖如rpm 只 依赖内核如 systemd 借助集群镜像能力自动识别系统架构 自己实现控制器对接公有云对比其他方案 ，且不触发 API 调用限制 Apply 了这连个 yaml 就会自动在各种公有云上启动 虚拟机并按照要求安装好 Kubernetes 以上其他应用 Golang/typescripts Kubernetes go 生态最为成熟，ts 主要前端 框架 Kubebuiler/react/nextjs/go-restful/ 开发CRD 最好框架，follow k8s 技术栈 计算 Containerd/cloud hypervisor/firecracker 短链路/强隔离/高安全性 存储 Openebs/sealfs 块隔离同时享有本地存储性能 网络 cilium

01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不 系解锁了容器的全部优势。 使⽤容器，可以在构建/发布期间（⽽⾮部署期间）创建不可变的容器镜像，因为每个应⽤程序⽆需与其余的应⽤程序 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤ 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理 机以及虚拟机 “从主机为中⼼的基础设施转移到以容器为中⼼的基础设施”，从⽽提供容器固有的全部优势。 Kubernetes提供了构建以容器为中⼼的开发环境的基础架构。

全新的大数据、区块链、人工智能服务。2022 年谷歌提出开放、可 扩展的“数据云”愿景，构建信息统一化的“数据云”平台。百度 智能云践行“云智一体”发展路线，充分结合 AI 能力与自身云基础 设施能力，发布全栈自研的 AI 大底座。 安全防护方面，云原生安全成为厂商抢占市场的新赛道。近年 来，云原生采纳率大幅攀升，据 Gartner 预测，到 2025 年超过 95% 的应用将会采用云原生技术。与此同时，用户对云原生安全的需求 企业应用的全链交付能力；微软全新推出 MCPP（微软云合作伙伴 计划）取代 MPN(微软合作伙伴网络)，重新定义六大技术领域认证， 对合作伙伴业务和服务能力全面评估。三是云合作伙伴拓展服务边 界，云服务商更加关注全栈生态伙伴。单一化的能力难以满足企业 客户多元的云化需要，云合作伙伴开始兼任渠道分销、ISV、技术伙 伴等多重身份，创新求变，发展自身差异化优势。在原有赛道之外， 发展出新的增长潜能。 二、我国云计算发展概述 图 7 应用现代化架构图 架构层面，一云多芯既可以贴合多元算力新需求，又能够支撑 业务场景多形态。一云多芯作为云计算的全新技术架构，通常指用 一套云操作系统来管理不同类型芯片、架构、接口、技术栈等硬件 服务器集群。在如今算力需求爆炸的 AI 时代，一云多芯为各行各业 践行数字化转型提供了有力支持。一方面，它可以提供统一管理、 云计算白皮书（2023 年） 17 灵活便捷的算力资源，

舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 pair是成对的虚拟网络设备，一端连接自己的namespace的tcp/ip协议栈， 另一端互相连接；所以veth-pair常用于充当桥梁，连通2个不同的NameSpace网 络 NameSpace是Linux 2.6.x之后的内核版本支持的特性，主要用于资源的隔离，有 了NameSpace，一个Linux系统可以抽象出多个网络子系统，各子系统都有自己 的网络设备、协议栈等，且互不影响；Docker容器服务给每个容器组创建一个

A. 准备主机/虚拟机 安装 k8s 集群需要至少 4 台主机/虚拟机，下面是参考配置： 1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker 数据盘：80GB step1. 从模板上新建虚拟机 Step2. 配置虚拟机网络 打开虚拟机的控制台： 设置主机名： hostnamectl set-hostname k8s-master 设置网络： cd /etc/s NETMASK=255.255.255.0 DNS1=202.114.200.254 DNS2=114.114.114.114 IPV6INIT=no 打开虚机网络： Step3. 虚拟机磁盘 2 分区&格式化 fdisk -l fdisk /dev/sdb 依法选择 n,p,1,t,l,8e,w fdisk –l pvcreate /dev/sdb1 vgdisplay

基于kubernetes的微服务实践 涂小刚 2019.8.11 Service Mesh Meetup #6 广州站 物理机 虚拟机 容器集群管理 私有云 容器 服 务 治 理 基 础 设 施 自动恢复 监 控 报 警 harbor 容 器 引 擎 存 储 管 理 编 译 发 布 软件定义网络跨节点通讯 统 一 集 中 运 营 管 理 gitlab jenkins kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表; 你好我是分享标题 我是作者名称 flannel vs calico 采用万兆网卡的虚拟机，测试方法是不同node节点开启qperf测试 结论： tcp延迟:calico-bgp

0 码力 | 19 页 | 1.34 MB | 1 年前

3

快速部署应⽤ 快速扩展应⽤ ⽆缝对接新的应⽤功能 节省资源，优化硬件资源的使⽤ Minikube 简介 Minikube 可以实现⼀种轻量级的 Kubernetes 集群，通过在本地计算机上创建虚拟机并部署只包含单个节点的简单集群 MacOS 系统安装依赖 安装依赖 # 命令⾏⼯具 brew install kubectl brew install minikube # 如果遇到权限⽂图