10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1.cof-lee.com 10.99.1.51 k8s-master2 /etc/sysctl.conf <ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conf <ip_vs ip_vs_sh ip_vs_rr ip_vs_wrr nf_conntrack_ipv4 EOF # modprobe ip_vs # modprobe ip_vs_sh # modprobe ip_vs_rr # modprobe ip_vs_wrr # modprobe nf_conntrack_ipv4 #一般默认只用ip_vs_rr # lsmod

proxy/#!/overview? namespace=default 参考： https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/ 02-安装单机版Kubernetes 9 使⽤Kubespray部署⽣产可⽤的Kubernetes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray 官⽅出品、部署较简单、懂Ansible就能上⼿ 不够透明 RKE 部署较简单、需要花⼀些时间了解RKE的cluster.yml配置 ⽂件 不够透明 ⼿动部署 第三⽅操作⽂ 档 完全透明、可配置、便于理解K8s各组件之间的关系 部署⾮常麻烦，容易出 错 其他诸如Kops之类的⽅案，由于⽆法跨平台，或者其他因素，被我pass了。 注：撰写本⽂时，笔者临时租赁了⼏台海外阿⾥云机器，实现了科学上⽹。如果您的机器在国内，请： 考虑科学上⽹ 或修改Kubespray中的gcr地址，改为其他仓库地址，例如阿⾥云镜像地址。 主机规划 IP 作⽤ 172.20.0.87 ansible-client 172.20.0.88 master,node 172.20.0.89 master,node 172.20.0.90 node

cat >> /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 vm.swappiness=0 EOF sysctl -p C. 安装 ipvs #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack modprobe -- ip_tables modprobe -- ip_set modprobe -- xt_set modprobe /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack D. 安装 docker-ce 和 k8s See https://cloud.tencent.com/developer/article/1627330

kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker Engine（docker）：docker引擎，负责本机的容器创建和管理工作。 12 www.h3c.com Confidential 秘密 12 作为根容器， 以他的状态代表整个容器组的状态。 2. pod中多个容器共享pasue容器的IP，共享pause容器挂载的volume。 这样简化了密切相连的容器之间的通信，也解决了他们之间文件共享的问题。 k8s为每一个pod都分配唯一的IP地址，称之为pod ip，一个pod中的多个容器共享 pod ip地址。k8s要求底层网络支持集群内任意两个pod之间网络通信，采用虚拟二 层技术实现，比如 ，服务之间通过TCP/IP进行通信，从而形成了我们强大而 又灵活的弹性网络，拥有了强大的分布式能力、弹性扩展能力、容错能力。 20 www.h3c.com Confidential 秘密 20 20 K8s基本概念和术语介绍（Service） Service（服务）： 每一个pod都会被分配一个单独的IP地址，每个Pod都提供一个独立的Endpoint（Pod IP+ContainerPort）能被客户

Wanted: Container Orchestrator! Kubernetes in 5 min https://youtu.be/PH-2FfFD2PU Kubernetes Cluster ​Docker ​Run One Container at a Time What is Kubernetes? 12 OS App 1 Bins/Libs App 2 Bins/Libs ContainerImage2 Replicas: 2 Kubernetes 101 at the Highest Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application Leader based clustering • Can be clustered across Master Nodes • Contains all state known about cluster • Kubernetes Front-end Control Plane • Provides RESTful interface • Returns state objects as JSON

K8s 集群 外部可以直接访问 分配⼀一个 IPv4地址，在Kuberntes集群下的所有接⼊入交换机上宣 告。该IPv4地址对应的6to4 IPv6地址作为该Kubernetes集群 Service IP的地址段 Bgpd 负责将 Service IPv6 地址段通过 BGP 路路由协议宣告给接⼊入交换机 P o d 返 回 的 包 ， 会 先 回 给 S e r v i c e Gateway，由于做了了SNAT，基于连接 追踪（conntrack），再返回给请求的 客户端。 每个接⼊入交换机下，选择两台节点作为Service Gateway，作为集群外部访问Service的⽹网关 Kube-proxy负责将发往 Service IP 的流量量转 发到对应的Pod。启动时将 kube-proxy的 masquerade-all 选项打开，这样 kube- proxy 转发给Pod的包会实现源地址转换 （SNAT） Service Server • redis-operator（⾃自研，考虑开源） Operator管理理有状态的服务 Kubernetes API Server redis cluster redis cluster redis cluster Manage Redis Operator service statefulset pvc deployment Create Update

需通过⾸云集群管理⻚⾯进⾏上述操作 创建集群 进⼊集群⻚⾯ -> 右上⻆点击创建集群 设置集群名称 -> 选择虚拟数据中⼼ -> 选择集群私⽹ip⽹段 -> 选择计费⽅式-> 设置master节点 - > 设置worker节点 -> 选择HA配置 -> 选择集群公⽹ip -> 设置集群ssh登录密码 -> 确认⽆误后点击 确认 2.使⽤须知 集群管理 1.简介 2.使⽤须知 3.操作说明 4 集群和存储间不能挂载和访问 创建挂载点 新创建的NAS盘，需要挂载后才能使⽤ 在挂载窗⼝中，请选择需要挂载的集群，此处的集群仅显示和该NAS所在区域相同的容 器集群 挂载成功后，会显示私⽹IP 挂载过程可能⽤时较⻓，3-5分钟 14 挂载NAS盘到本地机器 对于已经挂载好的NAS盘，该集群内的任何⼀台计算资源（master和worker）均可访 问 ssh登录任意⼀台集群 创建⼀个新的⽬录： 创建⼀个新的⽬录： mkdir ~/nas 挂载NAS盘到本地： sudo mount -v -t nfs -o "vers=4,noresvport" IP>:/nfsshare ~/nas 挂载后，/nas ⽬录即为NAS盘的所有内容，此时可以做任意操作 使⽤后，执⾏下述命令即可卸载本次挂载： sudo umount /nas NAS盘扩容 在⽂件存储NAS⻚⾯点击扩容，即可对该盘进⾏在线扩容

ClickHouseInstallation YAML file Лицензия: Apache 2.0, Распространяется как Docker image ClickHouse cluster resources kubectl apply K8S API Спецификация ClickHouse on Kubernetes – components Shard 1 Replica com/Altinity/clickhouse-operator/master/manifests/oper ator/clickhouse-operator-install.yaml Single-node “cluster” apiVersion: "clickhouse.altinity.com/v1" kind: "ClickHouseInstallation" metadata: name: "demo-01" STATUS pod/chi-demo-01-demo-0-0-0 1/1 Running NAME TYPE CLUSTER-IP service/chi-demo-01-demo-0-0 ClusterIP None service/clickhouse-demo-01 LoadBalancer

pods via VIP using a load balancer • Two types • ClusterIP provides in-cluster access • NodePort provides out-of-cluster access • Major modes • Iptables • IPVS Iptables mode • How it works bypass conntrack (con.) • Egress • Original way • Nf local-out -> ip_output nf post-route -> ip_finish_output • The new way • Call ip_finish_output directly Pre-route Conntrack Pre-route route IPVS eBPF map id is passed to IPVS module • Ip_vs_new_conn() inserts eBPF map • Key: (protocol, cip:cport , rsip:rsport) • Value: (protocol, lip:lport, rsip:rsport) • Ip_vs_conn_unlink() deletes entries in

命名空间（Namespaces） – 用于命名分隔资源的逻辑组 K8s Cluster Worker node 1 Worker node 2 Worker node 3 Master SACC2017 Pod的概念 • Pod是K8s中一个或多个容器组成的部署单位 • 容器共享一个IP地址和端口空间，互相之间用 localhost访问 • 容器间还共享数据卷Volumes Kubernetes 的存储：Persistent Volume Claim Pool of Persistent Volumes VSAN VMFS NFS Kubernetes Cluster 管理员 • 创建 • 注册PV • 回收PV Administrator Owned 开发者 • 申请 Volume Claim • 释放Volume Claim Pod 1 Pod 2 Pod N Node IP: 192.168.10.10 IP: 10.2.3.14 DNS: service1.cluster.local Port: 9443 NodePort: 31233 Protocol: TCP Port: 9443 SACC2017 K8s Cluster ReplicaSet.yaml ContainerImage1