Operations Key Qualifications ● 12+ years’ experience with development and operations ● Automating everything ● Been handling Kubernetes clusters in production for 2 years Jan-Erik Revsbech CTO Key Qualifications show - 9 weeks in a row Attempt to get people to sign up early - unsuccessful Hundreds of thousands users signing up during commercial break. Show-time !! First row winner Second row winner Final winner

的语义。Label可⽤于组织和选择对象的⼦集。Label可在创建时附加到对象，也可在创建后随时添加和修改。每个对象 都可定义⼀组Label。 对于给定的对象，Key必须唯⼀。 "labels" : { "key1" : "value1" , "key2" : "value2" } 我们最终会对Label进⾏索引和反向索引，以便于⾼效的查询、watch、排序、分组等操作。不要使⽤⾮标识的、⼤型的 "track" : "daily" , "track" : "weekly" 以上只是常⽤Label示例。可⾃由定制。请记住，给定对象的Label的key必须唯⼀。 语法和字符集 Label是键值对的形式。 有效Label的key分为两段： 名称段和前缀段，以 / 分隔。 名称段是必需的，不超过63个字符，以字⺟或数字（ [a-z0-9A-Z] ）开头和结尾，中间可包含 _ 、 . 、 字⺟或数字等字符。 前缀段是可选的。必须是DNS⼦域：⼀系列由 . 分隔的DNS Label，总共不超过253个字符，后跟 / 。 如省略前缀，则假定Label的Key对⽤户是私有的。 为最终⽤户对象添加Label的⾃动化系统组件（例如， kube-scheduler 、 kube-controller-manager 、 kube- apiserver

nodeRegistra�on: criSocket: /var/run/dockershim.sock name: k8s-master1 taints: - effect: NoSchedule key: node-role.kubernetes.io/master --- apiServer: �meoutForControlPlane: 4m0s apiVersion: kubeadm.k8s nodeRegistra�on: criSocket: /var/run/dockershim.sock name: k8s-master1 taints: - effect: NoSchedule key: node-role.kubernetes.io/master --- apiServer: �meoutForControlPlane: 4m0s apiVersion: kubeadm.k8s sha256:63b5f34842ec20db12f19f6f4ca535b03e498e95842b97b452a04f9dc94b1151 \ --control-plane --cer�ficate-key 9b77643809b701522a61c109d42dcc1b93edcd5a2e5d0c8677942171bbc0e619 kubeadm join 10.99.1.54:6443 --token

application-layer … then tries to decrypt it https://xkcd.com/538/, https://xkcd.com/license.html Key rotation “Keys are analogous to the combination of a safe. If a safe combination is known to an penetration. Similarly, poor key management may easily compromise strong algorithms.” NIST SP 800-57, Recommendation for Key Management Keys get old Key rotation ● Key rotation is meant to limit the the ○ ‘Blast radius’ if a single key is compromised ○ Time available for attempts to penetrate physical, procedural, and logical access ○ Time available for computationally intensive cryptanalytic attacks

repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF #安装 k8s 组件 yum install -y kubelet-1.18.2-0 kubeadm-1 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=k8s-dashboard.xxx.com" //生成 SSL 证书的 secret kubectl create secret tls k8s-dashboard-tls --cert=tls.crt --key=tls.key Step6: 重新配置 service -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=k8s-dashboard.xxx.com" //生成 SSL 证书的 secret kubectl create secret tls k8s-dashboard-tls --cert=tls.crt --key=tls.key Step8: ingressroute

Redis后端管理平台 应用1 get key1 set key1 abc Redis客户端（Jedis） get namespace1:key1 set namespace1:key1 abc 定时给Redis客户端下发配置 Redis虚机节点 应用2 get key2 sadd key2 aa bb cc Redis客户端（Jedis） get namespace2:key2 Sadd namespace2:key2 namespace2:key2 aa bb cc Redis Cluster1 Master 实例1 namespace1 key namespace1:key1 value(string)abc namespace2 key namespace2:key2 value(list)aa bb cc namespace n Redis Cluster2 Slave 实例2 • 跨云跨K8S调用治理

添加容器：⽀持添加多个容器 23 ii. 可选配置 端⼝映射：配置所启动容器使⽤的协议（⽀持TCP和UDP）、端⼝ 环境变量：配置所启动容器所需的环境变量（key/value的形式） 健康检查和就绪检查：⽀持健康检查（liveness）和就绪检查（Readiness）。健康检查⽤于 检测何时重启容器；就绪检查⽤于确定容器是否已经就绪，且可以接受流量。更多信息，请参 说明：应⽤⾮亲和性调度的设置⽅式与亲和性调度相同，但相同的调度规则代表的意思不同，请按需进 ⾏选择。 设置调度容忍（Toleration）。与节点设置的污点（Taints）配套使⽤，且Pod的 Toleration声明中的key和effect需要与Taint的设置保持⼀致。详情参⻅节点管理， https://kubernetes.io/docs/concepts/configuration/taint-and-toleration/ 添加容器：⽀持添加多个容器 34 ii. 可选配置 端⼝映射：配置所启动容器使⽤的协议（⽀持TCP和UDP）、端⼝ 环境变量：配置所启动容器所需的环境变量（key/value的形式） 健康检查和就绪检查：⽀持健康检查（liveness）和就绪检查（Readiness）。健康检查⽤于 检测何时重启容器；就绪检查⽤于确定容器是否已经就绪，且可以接受流量。更多信息，请参

• 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页  写 • K8s 乐观锁 resource version • 单 Key CAS  Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 (2) 全局有序 Range 分区 • 强一致性 • 支持多 key 事务 • 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key 读 逻辑层 – Range 读 逻辑层 – Range 读一致性 • Range 从 Leader 获取滑动窗 口当前 Committed Index 序 号 • 根据当前序号进行快照读

Sensitive information • Passwords • OAuth tokens • ssh keys etc. • Stored in etcd • distributed Key-Value data store • How about their security? • Default K8s setup • etcd contents not encrypted (only server & kms-plugin • Cron job backup for KEKs (from KMS) • Static key configuration support in kms-plugin • One click decryption • Key force update • Liveness probe • Monitoring • Integration w/ Prometheus Interfaces • https + connection reuse • certificate: similar to apiserver ó etcd (X.509) • Version-based key synchronization • Adaption • apiserver KMS provider endpoint to support https endpoint • KMS plugin

Create Your First Service in 10 Mins Run your cluster the way Google does GKE On-Prem ● Turn-key, production-grade, conformant Kubernetes with best-practice configuration ● Easy upgrade path to CA? [1] I'll provide CA certificate and key [2] Generate CA certificate and key Please enter your numeric choice [2]: 2 Enter the path to the SSH private key to use (leave empty to generate): /Users/karangoel/