updates Monitoring resources Accessing and ingesting logs Debugging applications Providing authentication and authorization 这提供了PaaS的简单性，并具有IaaS的灵活性，并促进了跨基础架构提供商的可移植性。 Kubernetes是⼀个怎样的平台？ 尽管Kuber 注：撰写本⽂时，笔者临时租赁了⼏台海外阿⾥云机器，实现了科学上⽹。如果您的机器在国内，请： 考虑科学上⽹ 或修改Kubespray中的gcr地址，改为其他仓库地址，例如阿⾥云镜像地址。 主机规划 IP 作⽤ 172.20.0.87 ansible-client 172.20.0.88 master,node 172.20.0.89 master,node 172.20.0.90 node modprobe br_netfilter ~]# echo '1' > /proc/sys/net/bridge/bridge-nf-call-iptables ~]# sysctl -w net.ipv4.ip_forward=1 如果关闭了防⽕墙，则只需执⾏最下⾯三⾏。 在node机器上 ~]# firewall-cmd --permanent --add-port=10250/tcp ~]# firewall-cmd

10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1.cof-lee.com 10.99.1.51 k8s-master2 /etc/sysctl.conf <ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conf <ip_vs ip_vs_sh ip_vs_rr ip_vs_wrr nf_conntrack_ipv4 EOF # modprobe ip_vs # modprobe ip_vs_sh # modprobe ip_vs_rr # modprobe ip_vs_wrr # modprobe nf_conntrack_ipv4 #一般默认只用ip_vs_rr # lsmod

cat >> /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 vm.swappiness=0 EOF sysctl -p C. 安装 ipvs #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack modprobe -- ip_tables modprobe -- ip_set modprobe -- xt_set modprobe /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack D. 安装 docker-ce 和 k8s See https://cloud.tencent.com/developer/article/1627330

App 3 Bins/Libs Container Engine Docker Host What is Kubernetes? 13 OS App 1 Bins/Libs App 2 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave OS App 1 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave OS App 1 Bins/Libs App 2 Bins/Libs App 3 Bins/Libs Container Engine Docker Host Kubernetes Slave Kubernetes Master P1R3 P2R2 Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application Deployment File = Configuration File of desired state • Container

pod/chi-demo-01-demo-0-0-0 1/1 Running NAME TYPE CLUSTER-IP service/chi-demo-01-demo-0-0 ClusterIP None service/clickhouse-demo-01 LoadBalancer 10 pod/chi-demo-01-demo-1-0-0 1/1 Running NAME TYPE CLUSTER-IP service/chi-demo-01-demo-0-0 ClusterIP None service/chi-demo-01-demo-1-0 ClusterIP None configuration: users: demo/password: secret demo/profile: default demo/networks/ip: "::/0" clusters: - name: "demo-01" layout: shardsCount: 2 replicasCount:

Amazon Confidential Amazon EKS 服务路线图摘要 已发布 - Amazon EKS control plane logs - Support for public IP space in VPC - Amazon EKS: Deep Learning Benchmarking Utility - New Amazon EKS Region: Paris Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon EKS 支持高级网络架构 VPC – 多 IP 地址段 Subnet 1 – 10.0.0.0/16 Subnet 2 – 100.64.0.0/10 客户网 关 公司数 据中心 On-premises 10.1.0.0/16 每个通过 LoadBalancer（ELB或NLB）暴露出来 的Service获得自己的访问地址 • 可封装 L4 (TCP) 或 L7 (HTTP) 层Service • NLB 支持客户端访问IP地址透传到后端节点 Kubernetes ServiceType: LoadBalancer © 2019, Amazon Web Services, Inc. or its Affiliates

需通过⾸云集群管理⻚⾯进⾏上述操作 创建集群 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 3.操作说明 4 集群和存储间不能挂载和访问 创建挂载点 新创建的NAS盘，需要挂载后才能使⽤ 在挂载窗⼝中，请选择需要挂载的集群，此处的集群仅显示和该NAS所在区域相同的容 器集群 挂载成功后，会显示私⽹IP 挂载过程可能⽤时较⻓，3-5分钟 14 挂载NAS盘到本地机器 对于已经挂载好的NAS盘，该集群内的任何⼀台计算资源（master和worker）均可访 问 ssh登录任意⼀台集群 创建⼀个新的⽬录： 创建⼀个新的⽬录： mkdir ~/nas 挂载NAS盘到本地： sudo mount -v -t nfs -o "vers=4,noresvport" IP>:/nfsshare ~/nas 挂载后，/nas ⽬录即为NAS盘的所有内容，此时可以做任意操作 使⽤后，执⾏下述命令即可卸载本次挂载： sudo umount /nas NAS盘扩容 在⽂件存储NAS⻚⾯点击扩容，即可对该盘进⾏在线扩容

node 1 Worker node 2 Worker node 3 Master SACC2017 Pod的概念 • Pod是K8s中一个或多个容器组成的部署单位 • 容器共享一个IP地址和端口空间，互相之间用 localhost访问 • 容器间还共享数据卷Volumes • 有点类似虚拟机中的多个进程 22 SACC2017 Pod部署在K8s中 23 LoadBalancer • 服务发现 – DNS – 环境变量 25 Worker Node Service Pod 1 Pod 2 Pod N Node IP: 192.168.10.10 IP: 10.2.3.14 DNS: service1.cluster.local Port: 9443 NodePort: 31233 Protocol: TCP Port: • 自动恢复 • 手动扩展 • 滚动更新 • 多版本追踪 Worker (Container Host) P1R1 Worker (Container Host) P1R2 P2R1 P1R1 P2R1 Worker (Container Host) P1R3 P2R2 P2R2 Master API K K K Deployment_Y

Image Risk 登錄風險 Registry Risk 容器調度平台風險 Orchestrator Risk 容器風險 Container Risk 實體作業系統風險 Host OS Risk ©2019 VMware, Inc. 9 針對Kubernetes的安全強化實作參考: CIS Benchmark Source: https://www.cisecurity 如何實踐 • 透過User Account & Authentication (UAA) 服務達成PKS API 呼叫認證 • 透過 CredHub服務安全地自動化產生與 保存帳號權限 • 這幾項服務可以針對多個 Kubernetes 叢集個別指派授權 Centralized Authentication with RBAC Operator admin d. Process Security e. Minimization of Attack Surface f. Network Security g. Auditing h. Authentication and Authorization i. Compliance j. File System Permissions k. User Account Management

都擁有一個獨立的 IP 位址， 而且假設所有 Pod 都在一個可以直接連線的、扁平的網路空間中。所以不管它們是 否運行在同一個 Node（Host 主機）中，都要求它們可以直接透過對方的 IP 進行存 取。設計這個原則的主要原因是，使用者不需要額外考慮如何建立 Pod 之間的連 線，也不需要考慮將容器連接埠對應到主機連接埠等問題。 實際上在 Kubernetes 的世界裡，IP 是以 Pod Pod 為單位來進行分配的。一個 Pod 內部 的所有容器共用一個網路底層堆疊（實際上就是一個網路命名空間，包括它們的 IP 2-70 Kubernetes 核心原理 2 PREROUTING 鏈 PREROUTING 鏈 OUTPUT 鏈 PREROUTING 鏈 POSTROUTING 鏈 POSTROUTING 鏈 INPUT 鏈 OUTPUT 鏈 OUTPUT 鏈 FORW/ARD 透過 iptables 的 DNAT 傳送到 kube-proxy 外部 Client 叢集自動分派服務 的 IP 圖 2.29 Service 的負載平衡轉發規則 存取 Service 的請求，不論是用 Cluster IP + TargetPort 的方式，還是用節點主機 IP+ NodePort 的方式，都會被節點主機的 Iptables 規則重導向到 kube-proxy 監聽 Service