OpenStack + Kubernetes: 搭建容器虚拟机组合云平台 qingyuanos 王昕 2016-4-21 提供虚拟机服务的意义 Ø 客户的需求不仅仅是更多的计算能力 Ø 安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择

A. 准备主机/虚拟机 安装 k8s 集群需要至少 4 台主机/虚拟机，下面是参考配置： 1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere BOOTPROTO=static DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=no NAME=Internet UUID=b23b1970-690d-4af5-b014-4ac822dfd42c DEVICE=ens160 ONBOOT=yes IPADDR=202.114.193.101 k8s-node2 202.114.193.103 k8s-node3 202.114.193.104 k8s-node4 Step3. 禁用防火墙 systemctl stop firewalld systemctl disable firewalld Step4. 关闭 selinux setenforce 0 sed -i "s/^SELINUX=.*/SELINUX=disabled/g"

based on its replicas and templates. 3. vk-scheduler get the “notification” of Pod from apiserver. 4. vk-scheduler chooses one host for the Pod of JobEx based on its policy. 5. kubelet gets the notification Job4 Driver Running pod Job3 4 executor Job4 4 executor Job1 4 executor Job2 4 executor Job7 4 executor Job8 4 executor Job5 4 executor Job6 4 executor Job11 4 executor Job12 4 executor executor Job9 4 executor Job10 4 executor Job15 4 executor Job16 4 executor Job13 4 executor Job14 4 executor Pending pod node1 Job9 Driver Job10 Driver Job11 Driver Job12 Driver node3

设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 3.操作说明 4 5 进⼊集群⻚⾯ -> 查看创建的集群，状态为正常代表创建成功 访问集群 进⼊集群⻚⾯ -> 选择集群，点击管理节点 选择要进⼊的节点 -> 点击控制台 删除集群 进⼊集群⻚⾯ -> 选择要删除集群，点击更多 aster和worker）均可访 问 ssh登录任意⼀台集群 创建⼀个新的⽬录： mkdir ~/nas 挂载NAS盘到本地： sudo mount -v -t nfs -o "vers=4,noresvport" :/nfsshare ~/nas 挂载后，/nas ⽬录即为NAS盘的所有内容，此时可以做任意操作 使⽤后，执⾏下述命令即可卸载本次挂载： 端⼝映射：添加服务端⼝和容器端⼝，容器端⼝需要与后端的 Pod 中暴露的容器端⼝⼀致。 注解：为该服务添加⼀个注解（annotation）。 标签：您可为该服务添加⼀个标签，标识该服务。 48 4.单击确认，hello 服务出现在服务列表中。 查看服务 在容器集群菜单下，单击左侧导航栏中的服务与路由 > 服务，进⼊服务列表⻚⾯。 编辑服务 1.在容器集群菜单下，单击左侧导航栏中的服务与路由

默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <4.gateway 10.99.1.1 # nmcli con up ens33 ③关闭seLinux 若不会配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 # sed bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p 入站 # firewall-cmd --add-rich-rule='rule family="ipv4" source address="10.99.1.0/24" accept' # firewall-cmd --add-rich-rule='rule family="ipv4" source address="10.244.0.0/16" accept' # firewall-cmd

ols/jib What did we do? 1. Write first Dockerfile 2. Reduce image size 3. Don’t run installs 4. Use better base image 5. Write .dockerignore 6. Improve incremental speed 7. Switch to use a Maven ols/jib What did we do? 1. Write first Dockerfile 2. Reduce image size 3. Don’t run installs 4. Use better base image 5. Write .dockerignore 6. Improve incremental speed 7. Switch to use a Maven ols/jib What did we do? 1. Write first Dockerfile 2. Reduce image size 3. Don’t run installs 4. Use better base image 5. Write .dockerignore 6. Improve incremental speed 7. Switch to use a Maven

在概念阶段完成产品⽴项评审 u 在迭代0阶段完成系统总体架构审 计，总体架构设计完成之后，启 动迭代启动评审。 u 在迭代阶段包含1.需求分析、2.应 ⽤设计、3.开发、4.测试、5.发布、 6.运维、7、迭代回顾7个阶段 u 每个迭代时间固定，⼀般为2-4周 整体过程框架 整体过程框架 开发 单次迭代开发交付过程 单次迭代开发交付过程 需求分析 工程活动 子过程 DevOps整体流程框架 生命周期 迭代3 迭代n 2.应用设计 3.开发 4.测试 1.需求分析 6.运维 5.发布 7.迭代回顾 系统总体架构 设计 系统总体架构 系统原型 持续集成 测试报告 版本发布 评审 产品立项 评审 迭代启动 评审 产品立项报告 实践 相关规范：《敏捷开发过程指南》 规范指南设计 规范与指南 GIT分⽀管理规范 4+1共5个分⽀，每个 分⽀具体的⽤途 版本发布规范 13个开源⼯ 具 7个插件 5套环境 13x5x71 13个成熟度领域 5个可量化领域 71个⼯具⾃动分 析指标 2x6x4x1 2⼤认证体系 6 个测试场景 4个课件 1个实验室环境 1 | 参考⽂档 2 | 阶段成果 6 | 操作⼿册 3 | 指南 4 | 规范 参考⽂档(2) 1. 01-01-DevOps-交付件_代码分⽀管理规范 2. 01-02-DevOps-交付件_应⽤持续部署规范

es建⽴在Google在⼤规模运⾏⽣产⼯作负载⽅⾯ ⼗⼏年的经验之 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 如何从A到C不要紧，集中控制也不需要；这种做法更类似于编排 。 这使系统更易⽤、更 强⼤，更具弹性和可扩展性。 译者按：编排和编制：https://wenku.baidu.com/view/ad063ef2f61fb7360b4c65cd.html Kubernetes的含义是什么？K8S呢？ Kubernetes源⾃希腊语，意思是舵⼿或⻜⾏员 ，是governor（掌舵⼈） 和cybernetic（控制论） 的根源。 K8s是将8 modprobe br_netfilter ~]# echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables ~]# sysctl -w net.ipv4.ip_forward=1 如果关闭了防⽕墙，则只需执⾏最下⾯三⾏。 在node机器上 ~]# firewall-cmd --permanent --add-port=10250/tcp ~]#

ServiceAccount：SS NS: PP Think in Cloud . 北北京 IPv6 on KUN ⽅方案 • IPv6(Pod, Node, Service) • 6to4 Tunnel • Bridge 特性 • 核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 • Calico/Flannel: 基于 数据需要进⾏行行单独的存储（etcd），整 体上⽐比较复杂、⽽而复杂往往和可靠性成反⽐比 Dual Stack IPv4 IPv6 CIDR /64 --- IPv4 --- IPv6 集群外 服务器器 Core Core 接⼊入交换机 6to4 tunnel 接⼊入交换机 6to4 tunnel Core 接⼊入 交换机 Service eth0 eth0 veth veth Pod veth Pod veth ⽹网 桥 6to4 tunnel Think in Cloud . 北北京 IPv6 on KUN Service全⽹网可访问 ClusterIP 在 K8s 集群 外部可以直接访问 分配⼀一个 IPv4地址，在Kuberntes集群下的所有接⼊入交换机上宣 告。该IPv4地址对应的6to4 IPv6地址作为该Kubernetes集群 Service

动云计算与实体经济融合走深。 二是全球云计算市场稳定增长，我国保持快速发展。2022 年， 全球云计算市场规模为 4,910 亿美元，增速 19%，预计在大模型、 算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 仍处于快速发展期，预计 年全球各区域云计算市场规模占比.........................................................4 图 3 2022 年全球主要厂商的云计算业务营收（亿美元）.....................................5 图 4 中国云计算市场规模及增速（亿元）.............................................. （二）云市场进入稳定增长阶段，行业巨头进一步扩大 领先优势 从整体来看，全球云计算市场规模增速放缓。Gartner 数据显示 1，2022 年以 IaaS、PaaS、SaaS 为代表的全球云计算市场规模为 4,910 亿美元，增速 19%，较 2021 年同比下降 13.5%。虽然受通胀压力和 宏观经济下行的双重影响，2022 年云计算市场增速下降明显，但对 比全球整体经济仅 3.4%的增长，云计算仍然是新技术融合和业态发