de379/p52_1.jpg) ## Advanced StatefulSet を使う もともと Kubernetes では StatefulSet という仕組みがあり、tidb-operator も基本的にはこの StatefulSet を使って tidb や tikv のコンポーネントを作成します ☑ StatefulSet は Pod を指定された数だけシーケンシャルに作成します (mypod-0 [Image](/uploads/documents/8/b/2/a/8b2a438e9f4a37d5af876c1c987de379/p53_1.jpg) ## Advanced StatefulSet を使う ☑ StatefulSet だと、例えばこんな時困ることになります mypod-0 mypod-1 mypod-2 mypod-3 mypod-1 を消したいけど・・・ ![Image ## Advanced StatefulSet を使う つまり、通常の StatefulSet だとこういう状態にすることはできません mypod-0 mypod-2 mypod-3 mypod-4 ✓ 特定の番号の Pod (今回の例だと 1) だけ欠番にして通常通り運用したい・・・ ✓ そんな願いを叶えてくれるのが Advanced StatefulSet になります ![Im

mnt persistentVolumeClaim: claimName: test-pvc Step 2：创建应用工作负载（Pod、Deployment、StatefulSet等），关联PVC使用 ## 使用Init Container检查依赖服务 一个 Pod 中可以有多个 Container，也可以有多个 Init Container，Init Container 29a7036b6c/p25_3.jpg) ## 特殊对待有状态应用StatefulSet 对于无状态应用容器化前面有了全面的说明，而有状态应用的容器化部署却相对比较麻烦。Kubernetes提供了StatefulSet资源对象来稳定的管理有状态应用，稳定意味着Pod调度或重调度的整个过程是有持久性的，StatefulSet的目标应用一般具备以下特点： - 稳定的、唯一的网络标识符，即Pod ，下一个Pod运行前所有之前的Pod必须都是Running或Ready状态 有序收缩、有序删除，即Pod时有序的，从N-1到0，与扩容相反 注：对于一般的比较简单的有状态应用，可以通过StatefulSet方式来部署，但对于复杂的场景，还需要提供自动备份、故障检测、恢复自愈等自动化运维能力时，建议通过Operator方式来部署管理，例如Etcd Operator ![Image](/uplo

12-Master与Node的通信 1.13 13-Node 1.14 14-Pod 1.15 15-Replica Set 1.16 16-Deployment 1.17 17-StatefulSet 1.18 18-Demon Set 1.19 19-配置最佳实践 1.20 20-管理容器的计算资源 1.21 21-Kubernetes资源分配 1.22 22-将Pod分配到Node 清晰地将Kubelet级的功能与集群级的功能组合——Kubelet实际上是“Pod控制器” - 高可用性应用，Pod可在其终止或删除之前被替换，例如在计划的驱逐，图像预取或Pod实时移植的情况下 #3949 StatefulSet 控制器（目前处于Beta测试阶段），支持有状态Pod。该功能在1.4中是alpha测试阶段，被称为PetSet。对于先前版本的Kubernetes，有状态Pod的最佳做法是创建一个replication 名Pod。在Node上，被设为立即终止的Pod在被强制杀死之前仍然会有一个较小的优雅关闭时间。 强制删除对于某些Pod可能是危险的，应慎用。在StatefulSet Pod的情况下，请参阅`deleting Pods from a StatefulSet`。 ## Pod phase Pod的 status 字段是一个PodStatus对象，它有一个 phase 字段。 Pod的phase

helm search repo emqx helm fetch emqx/emqx tar xvf emqx-4.2.0.tgz Step2. 修改 StatefulSet.yaml vi emqx/templates/StatefulSet.yaml spec: volumes: - name: host-time hostPath: fetch bitnami/redis-cluster tar zxvf redis-cluster-3.2.5.tgz Step2. 修改 values.yaml 以及 redis-statefulset.yaml vi redis-cluster/values.yaml usePassword:true password: "redis123" persistence: storageClass: "ceph" accessModes: - ReadWriteOnce size: 500Mi vi redis-cluster/templates/redis-statefulset.yaml volumes: - name: host-time hostPath: path: "/etc/localtime" volumeMounts: //注意有多个

has pod, deployment, statefulset, etc. - But it does not know how to operate a TiDB cluster... ## Kubernetes Pattern - Declarative Model - Kubernetes has pod, deployment, statefulset, etc. - But it does tidb-scheduler other Pod other Pod other Pod PD Pod TiKV Pod TiDB Pod ## apiVersion: apps/v1 kind: StatefulSet spec: template: spec: schedulerName: tidb-scheduler containers: ## Scheduler Extender It’s ok to upgrade a High Availability system like TiDB directly. But, to avoid spikes we use StatefulSet partition to perform a phased roll out. - Upgrade PD - Upgrade TiKV - Upgrade TiDB status:

Pod管理 ☐ 无状态计算资源组：Deployment ☐ 有状态计算资源组：StatefulSet ● Pod持久存储 ☐ 通过PVC申请PV存储资源 ● StatefulSet ○ Pod网络地址不变 ○ Pod与PV映射关系不变 apiVersion: apps/v1 kind: StatefulSet metadata: name: web spec: selector: /2/6/a/1/26a11ccc3381a9b86766186614142f79/p22_2.jpg) Master StatefulSet (2) Primary Segment StatefulSet (N) Mirror Segment StatefulSet (N) Cluster PV (N) ## Greenplum on Kubernetes ## Master节点示例 |pv|-o|wide| |---|---|---|---|---|---|---| ## Greenplum on Kubernetes 存储计算分离 ☐ PV持久化存储资源 ☐ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ☐ 所有节点地址名不变 ● 跨云能力

de59abe/p2_3.jpg) ## Caicloud ## Kubernetes Master Deployment Controllers Job CronJob StatefulSet DaemonSet ReplicationController? ReplicaSet PetSet (issue #27430)  Node Pod Pod Pod Deployment StatefulSet DaemonSet CronJob No/Scheduler ReplicaSet Job Pod 1. 支持指定副本数 2. 支持 Recreate 和 Rolling Update $ ^{*} $ statefulset-example-0.example 3. Pod 可具有独立的存储 4. 一切都是有序的 * 从 0 开始逐个创建（需等待 Ready） * 反向逐个删除（需等待 Terminated） 5. Update Strategy ( $ * $ v1.7) * 反向逐个删除并重建 Pod ## StatefulSet ![Image](/

kube-proxy 两部分。 ## Operator管理有状态的服务 StatefulSet - 直接管理的 Pod 的 hostname、名字等都是携带了编号，Pod 的创建，也是严格按照编号顺序进行 - 通过 Headless Service 为这些有编号的 Pod，在 DNS 服务器中生成带有同样编号的 DNS 记录 - StatefulSet 还为每一个 Pod 分配并创建一个同样编号的 PVC，保证了每一个 交互，Watch 全部的 Namespace 或者特定 Namespace 中对 CR 的创建、更新、删除事件 - Operator 处理这些事件，可以使用 k8s 中的pod、deployment、statefulset 对象构建应用 cr cr  可以对集群进行配置更新、删除等操作。 redis cluster redis cluster redis cluster Manage Redis Operator pvc statefulset deployment service Create Update Get Delete Kubernetes API Server ## Operator管理无状态的服务 特性

服务调度 状态保存 有状态服务集群 服务调度 状态保存 集群管理 ## 站在 Kubernetes 的肩膀上 服务调度 状态存储 集群管理 Deployment StatefulSet PV/PVC StorageClass 成员管理 扩缩容 故障迁移 ? ? 高可用 CoreOS 提出了 operator ## Operator 是什么 An Operator mysql-7c46782dr  StatefulSet mysql-577ck9s8f  917f8cd627e1bdc741/p21_1.jpg) VS StatefulSet 精养  MySQL 更像 “宠物”，使用 StatefulSet 调度 MySQL 容器 ## MySQL 容器化系统架构 REST 0

秒再检测，默认 0 秒 ## ★StatefulSet 控制器 在使用 deployment 时，创建的 pod 名称是没有顺序的，是随机字符串，在用 statefulset 管理 pod 时要求 pod 名称必须是有序的，每一个 pod 不能被随意取代，pod 重建后 pod 名称还是一样的（pod ip 会变）。 Deployment 称为无状态应用，StatefulSet 称为有状态应用 statefulset statefulset 管理 pod 的启停顺序： |有序部署|部署 StatefulSet 时，如果有多个 Pod 副本，它们会被顺序地创建（从 0 到 N-1）并且在下一个 Pod 运行之前，前面的所有 Pod 都必须是 Running 和 Ready 状态| |---|---| |有序删除|当 Pod 被删除时，它们被终止的顺序是从 N-1 到 0| |有序扩展|当对 Pod 执行扩展操作时，与部署一样，它前面的 #与目标 pod 的 labels 相同 type: NodePort - port: 2680 # service ip 的 port # kubectl apply -f nginx-statefulset.yml #应用 deployment ![Image](/uploads/documents/3/9/4/3/3943b9f2d8be64fc82a1385b517d4163/p53_1