Scheduling ○ Deployment ○ Healing ○ Discovery/load balancing ○ Scaling Scheduling Scheduler Scheduler Scheduling Scheduler Scheduling color=yellow Discovery Select color = yellow color=yellow Discovery [docker|rkt] - Start kubelet - Systemctl start kubelet Installation - master - SSH - Install scheduler - Install controller manager - Install API server - Config them correctly - Start them Installation kubelet ○ Systemctl start kubelet $ kubectl apply -f kube-apiserver.yaml $ kubectl apply -f kube-scheduler.yaml $ kubectl apply -f kube-controller-manager.yaml $ kubectl apply -f kube-proxy.yaml Simplify

imagePullSecrets: - name: default-dockercfg-5zrhb priority: 0 schedulerName: default-scheduler terminationGracePeriodSeconds: 30 nodeName: ip-10-0-140-16.us-east-2.compute.internal securityContext: describe PodMetrics openshift-kube-scheduler-ip-10-0-135-131.ec2.internal Name: openshift-kube-scheduler-ip-10-0-135-131.ec2.internal Namespace: openshift-kube-scheduler Labels: Annotations: metrics.k8s.io/v1beta1 Containers: Name: wait-for-host-port Usage: Memory: 0 Name: scheduler Usage: Cpu: 8m OpenShift Container Platform 4.9 节 节点 点 28 1 2 3 4 流程 流程 为 CPU

imagePullSecrets: - name: default-dockercfg-5zrhb priority: 0 schedulerName: default-scheduler terminationGracePeriodSeconds: 30 nodeName: ip-10-0-140-16.us-east-2.compute.internal securityContext: describe PodMetrics openshift-kube-scheduler-ip-10-0-135-131.ec2.internal Name: openshift-kube-scheduler-ip-10-0-135-131.ec2.internal Namespace: openshift-kube-scheduler Labels: Annotations: metrics.k8s.io/v1beta1 Containers: Name: wait-for-host-port Usage: Memory: 0 Name: scheduler Usage: Cpu: 8m Memory: 45440Ki Kind: PodMetrics Metadata: Creation Timestamp:

并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler ，这些API可由通⽤ command-line tool 定位。 这种 design 使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么？ Kuberne 提供商负载均衡器 Volume Controller：⽤于创建、连接和装载Volume，并与云提供商进⾏交互，从⽽协调Volume 04-K8s组件 15 kube-scheduler kube-scheduler 监视新创建的、还没分配Node的Pod，并选择⼀个Node供这些Pod运⾏。 addons（插件） Addon是实现集群功能的Pod和Service。Pod可由Deplo 分隔的DNS Label，总共不超过253个字符，后跟 / 。 如省略前缀，则假定Label的Key对⽤户是私有的。 为最终⽤户对象添加Label的⾃动化系统组件（例如， kube-scheduler 、 kube-controller-manager 、 kube- apiserver 、 kubectl 或其他第三⽅⾃动化组件）必须指定前缀。 kubernetes.io/

1）调优参数列表 （1）Resourcemanager 相关 yarn.resourcemanager.scheduler.client.thread-count ResourceManager 处理调度 器请求的线程数量 yarn.resourcemanager.scheduler.class 配置调度器 （2）Nodemanager 相关 yarn.nodemanager.resource （3）Container 容器相关 yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb 容器最大内存 yarn.scheduler.minimum-allocation-vcores 容器最小核数 yarn.scheduler.maximum-allocation-vcores memory.mb -1 The amount of memory to request from the scheduler for each map task. If this is not specified or is non-positive, it is inferred from mapreduce

Business 3 Business N … How to ensure load balancing of cluster nodes ？ Dynamic-Scheduler Node1 Node2 Kube-scheduler Pod Request Load Level Request Load Level Real Load Level Real Load Level Assigned but low load. Dynamic-Scheduler Node1 Node2 Kube-scheduler Pod Request Load Level Request Load Level Real Load Level Real Load Level Assigned to Node1 Dynamic-scheduler Node1 has a lower load Dynamic-Scheduler Node1 Node2 Dynamic-scheduler- node-annotator 5m Load Prometheus 1h Load 1d Load 5m Load 1h Load 1d Load telegraf Record to node annotation telegraf Dynamic-Scheduler Predicate

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2259 15.6.1 Scheduler· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · stall 流控机制。相比于 write stall 机制，新的流控机制 通过以下改进减少了流控对前台写入稳定性的影响： – 当 RocksDB compaction 压力堆积时，通过在 TiKV scheduler 层进行流控而不是在 RocksDB 层进行流控， 避免 RocksDB write stall 造成的 raftstore 卡顿并造成 Raft 选举超时导致发生节点 leader 迁移的问题。 中引入了慢节点检测机制，通过检测 TiKV Raftstore 的快慢来计算出一个分数，并通过 Store Heartbeat 上报给 PD。并且在 PD 上增加了 evict-slow-store-scheduler 调度器，能够自动驱逐单个变慢的 TiKV 节 点上的 Leader，以降低其对整个集群性能的影响。同时，还增加了慢节点相关的报警项，帮助用户快速 发现并处理问题。 用户文档，#10539

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2189 15.6.1 Scheduler· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · prepared-plan-cache.enabled: true tikv-client.max-batch-wait-time: 2000000 TiKV 参数配置 storage.scheduler-worker-pool-size: 5 raftstore.store-pool-size: 3 raftstore.apply-pool-size: 3 rocksdb.max-background-jobs: unified.min-thread-count: 5 rocksdb.max-background-jobs: 8 server.grpc-concurrency: 6 storage.scheduler-worker-pool-size: 20 server.enable-request-batch: false TiDB 全局变量配置 set global tidb_hashagg_

不可用），外部表方法可能不适用。Oracle 表函数提供了 从 Hadoop 中获取数据的替代方法。本文附带的示例展示了一种这样的方法。更深入地来 讲，我们用一个表函数来实现，这个表函数使用 DBMS_SCHEDULER 框架异步调用外部shell 脚本，然后由这个shell脚本提交一个Hadoop Map-Reduce 作业。该表函数与映射器 (mapper) 之 间使用 Oracle 高级队列特性进行通信。Hadoop 记录写入表的简单 机制。首个插入胜出，作为此进程的查询协调器 (QC)。请注意，QC 表函数调用同时也承担 着处理角色。 在第 2 步中，该表函数调用 (QC) 使用 dbms_scheduler（图 3 中的作业控制器）启动一个异步 作业，该作业接着在 Hadoop 集群上运行同步 bash 脚本。这个 bash 脚本就是图 3 中的启动程 序 (launcher)，它在 Hadoop launch_hadoop_job_async(in_directory IN VARCHAR2, id number) IS cnt number; BEGIN begin DBMS_SCHEDULER.DROP_JOB ('ExtScript'||id, TRUE); 8 Oracle 白皮书 — 通过 Oracle

Wong Hui Luo Presenter Bios 3 Abstract ​Kubernetes allows using topology labels to affect the scheduler’s placement of pods. This is used to spread pods across availability zones, while still respecting Kubernetes 5 Kubenetes scheduling What does the scheduler do: As pod are created, they are place in a queue. (priority available in Beta) The scheduler continuously pull pods off the queue, evaluates worker node. 6 Kubenetes scheduling What does the scheduler do: As pod are created, they are place in a queue. (priority available in Beta) The scheduler continuously pull pods off the queue, evaluates