2021年06月 机器学习-第十一章 关联规则 黄海广 副教授 2 本章目录 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 3 1.关联规则概述 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 4 1.关联规则概述 关联规则 关联规则（Association Rules）反映一个事物与其他事物之间的相互依存 一个事物就能够通过其他事物预测到。 关联规则可以看作是一种IF-THEN关系。假设 商品A被客户购买，那么在相同的交易ID下， 商品B也被客户挑选的机会就被发现了。 5 1.关联规则概述 有没有发生过这样的事：你出去买东西， 结果却买了比你计划的多得多的东西？这 是一种被称为冲动购买的现象，大型零售 商利用机器学习和Apriori算法，让我们倾 向于购买更多的商品。 6 1.关联规则概述 购物车分析是大型超市用来揭示商品之间关联的关 的 顾客，向他们提供报价，以便他们购买第三种商品，比如鸡蛋。 因此，如果顾客买了面包和黄油，看到鸡蛋有折扣或优惠，他们就会倾向于 多花些钱买鸡蛋。这就是购物车分析的意义所在。 7 1.关联规则概述 置信度： 表示你购买了A商品后，你还会有 多大的概率购买B商品。 支持度： 指某个商品组合出现的次数与总次 数之间的比例，支持度越高表示该组合出现 的几率越大。 提升度： 提升度代表商品A的出现，对商品

深入 Kubernetes 的“无人区” —— 蚂蚁金服双十一的调度系统 曹寅2/19 一、蚂蚁金服的Kubernetes现状 二、双十一Kubernetes实践 三、展望未来迎接挑战 目 录 contents 目录3/19 一、蚂蚁金服的Kubernetes现状 Part 1：4/19 发展历程与落地规模 Part 1：蚂蚁金服的Kubernetes现状 平台研发 灰度验证 单集群规模 90%+ 应用服务 数十万 应用 Pods业务 6/19 统一资源调度架构 Part 1：蚂蚁金服的Kubernetes现状 非云 资源 云化 资源 基础 服务 蚂蚁 k8s 核心 CRI Kubernetes API Server 极速交付 分时复用 弹性容量 资源画像 规模化调度 高可用容灾 可视化 服务 Cluster Control Panel 在线应用 资源分时调度 Part 2：双十一 Kubernetes 实践 快速腾挪的问题 1.实例上下线需要预热 2. 腾挪耗时不可控 3. 大规模腾挪的稳定性技术风险 9/19 资源分时链路切换 Part 2：资源分时调度 Kubernetes Node 分时调度 Agent Pod 资源 Node 分时调度 Agent Pod 资源 Node 分时调度 Agent

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 提纲 5 外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 外卖订单智能调度系统发展历程 6 人工派单模式 • 调度员根据订单地址和骑士 位置来进行订单分配 • 人力调度派单峰值为每人 800单/天 调度 系统 3 整体最优分配 调度 系统 4.0 深度学习智能模式 • 出餐时间估算更准，缩短 骑士到店等待时间，节省 运力，提升用户等餐体验 出餐时间预估 深度学习智能 调度 系统 2.0 系统派单模式 • 系统综合考虑配送距离、 骑士运力、期望送达时间 等因素来自动派单 配送距离 期望送达时间 骑士运力 订单相似度 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法

trademarks are the property of their respective owners. 摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . . . . . . . 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9.2. 了解 pod 抢占 2.9.2.1. Pod 抢占和其他调度程序设置 2.9.2.2. 安全终止被抢占的 pod 2.9.3. 配置优先级和抢占 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 POD 放置 3.2.1. 了解默认调度 3.2.1.1. 了解调度程序策略 3.2.2. 创建调度程序策略文件 3.2.3. 修改调度程序策略 3.2

trademarks are the property of their respective owners. 摘要 摘要 本文提供有关在集群中配置和管理节点、Pod 和容器的说明。它还提供有关配置 Pod 调度和放置、 使用作业（job）和 DaemonSet 来自动执行操作，以及确保集群保持高效性的其他任务信息。 . . . . . . . . . . . . . . . . . . . . . . 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9.2. 了解 pod 抢占 2.9.2.1. 非抢占优先级类（技术预览） 2.9.2.2. Pod 抢占和其他调度程序设置 2.9.2.3. 安全终止被抢占的 pod 2.9 POD 放置（ 放置（调 调度） 度） 3.1. 使用调度程序控制 POD 放置 3.1.1. 调度程序用例 3.1.1.1. 基础架构拓扑级别 3.1.1.2. 关联性 3.1.1.3. 反关联性 3.2. 配置默认调度程序以控制 POD 放置 3.2.1. 了解默认调度 3.2.1.1. 了解调度程序策略 3.2.2. 创建调度程序策略文件 3.2.3. 修改调度程序策略 51 51

点击控制台 删除集群 进⼊集群⻚⾯ -> 选择要删除集群，点击更多 -> 点击删除 6 仔细阅读提示后，点击确认执⾏删除 ⾸云⽀持 集群节点的⼿动管理，包括节点的增加、删除和设置节点是否可调度操作 需通过⾸云集群管理⻚⾯进⾏上述操作 添加master节点 进⼊集群⻚⾯ -> 选择需要操作的集群 -> 点击集群扩容 节点管理 1.简介 2.使⽤须知 3.操作说明 7 核对集群ID 点击删除后，仔细阅读提示后，没问题点击确认执⾏删除操作 进⼊节点查看⻚⾯ -> 选择对应集群，删除节点状态由删除中 -> 节点消失代表删除成功 11 设置节点调度 进⼊节点查看⻚⾯ -> 选择对应集群 -> 选择要设置的节点 -> 设置是否可调度 仔细阅读提示，没问题后点击确认 12 进⼊节点查看⻚⾯ -> 选择对应集群 -> 查看设置是否成功 ⾸云提供了NAS⽂件存储服务，并且针对Kube 更新Pod的过程中Pod总数超过Pod期望副本 数的百分⽐上限 27 可选：Pod标签和注解。设置容器组的标签和注解。可⽤于Pod的调度设置。 可选：调度设置（亲和性调度依赖节点和 Pod 标签，您可使⽤内置的标签进⾏调度；也可预先 为节点、Pod 配置相关的标签） 节点亲和性。通过已有节点 Node 的标签（键）、操作符和标签值（值）进⾏设置。 必须满⾜，即硬约束，⼀定要满⾜，对应

01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理 机以及虚拟机 “从主机为中⼼的基础设施转移到以容器为中⼼的基础设施”，从⽽提供容器固有的全部优势。 Kubernetes提供了构建以容器为中⼼的开发环境的基础架构。 群（1.11.2） 14 K8s组件 本⽂概述了Kubernetes集群中所需的各种组件。 Master组件 Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策（例如调度），以及检测和响应集群事件（例如：当 replication controller所设置的 replicas 不够时，启动⼀个新的Pod）。 Master可在集群中的任意节点上运⾏。然⽽，简单 probes）。 在必要时创建mirror pod ，从⽽将pod的状态报告回系统的其余部分。 将节点的状态报告回系统的其余部分。 kube-proxy kube-proxy 在主机上维护⽹络规则并执⾏连接转发，从⽽来实现Kubernetes服务抽象。 docker 04-K8s组件 16 docker ⽤于运⾏容器。 rkt rkt 是⼀个Docker的替代品，⽀持在实验中运⾏容器

管理警 管理警报 报 9.1. 在 ADMINISTRATOR 和 DEVELOPER 视角中访问 ALERTING UI 9.2. 搜索和过滤警报、静默和警报规则 9.3. 获取关于警报、静默和警报规则的信息 9.4. 管理警报规则 9.5. 管理静默 9.6. 将通知发送到外部系统 9.7. 应用自定义 ALERTMANAGER 配置 9.8. 后续步骤 第 第 10 章 章 查 查看 5 Prometheus Prometheus 是 OpenShift Container Platform 监控堆 栈所依据的监控系统。Prometheus 是一个时间序列数 据库和用于指标的规则评估引擎。Prometheus 将警报 发送到 Alertmanager 进行处理。 Prometheus Adapter Prometheus Adapter（上图中的 PA）负责转换 Kubernetes Fluentd（如果安装了 Logging） HAProxy 镜像 registry Kubelets Kubernetes API 服务器 Kubernetes 控制器管理器 Kubernetes 调度程序 OpenShift API 服务器 OpenShift Controller Manager Operator Lifecycle Manager (OLM) 注意 注意 每个 OpenShift

bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p #加载配置 ⑧防火墙放行端口 TCP: 6443，2379，2380，10250~10252，30000~32767 cgroupdriver=systemd" ] } # mkdir -p /etc/systemd/system/docker.service.d # docker info ★docker会修改防火墙规则，导致pod网络不通 # vi /usr/lib/systemd/system/docker.service #在[Service]下的ExecStart=/usr/bin/dockerd -H fd:// ★默认还加了DOCKER-USER这个forward链，默认全部return，导致不通，也得 放开，具体得看下iptables规则），以下操作目的为 在系统启动后等待60秒待 k8s把iptables规则设置完毕再在以下几个chain里放通所有流量，如果对防火墙 有自定义规则或对安全性要求较高场景无需配置以下这段，防火墙相关操作自 行按需处理！ # cat >> /etc/rc.d/rc.local

spec.volumes.containerDisk.path 字段 的值设置为绝对路径。然后您可以更新 OpenShift Virtualization。 如果单个节点包含超过 50 个镜像，pod 调度可能会在节点间进行平衡。这是因为节点上的镜像 列表默认简写为 50。(BZ#1984442) 作为临时解决方案，您可以通过编辑 KubeletConfig 对象，将 nodeStatusMaxImages VIRTUALIZATION 发 发行注 行注记 记 13 作为临时解决方案，未授权用户可以在创建虚拟机时使用 VM 向导时添加额外的网络接口。 非特权用户因为 RBAC 规则而无法向虚拟机添加磁盘。(BZ#2056421) 作为临时解决方案，请手动添加 RBAC 规则来允许特定用户添加磁盘。 web 控制台不显示部署到自定义命名空间的虚拟机模板。仅部署到 default 命名空间的模板才会 显示在 web 控制台中。(BZ#2054650) 节点，则可能会出现实时迁移失败，因为不同的 CPU 具有不同的容量。为了避免这种故障，请为每个节点使用适当的容量，并在虚拟机上设置节点关 联性以确保迁移成功。如需更多信息，请参阅配置所需的节点关联性规则。 其他 其他资 资源 源 关于 RHCOS. 用于支持的 CPU 红帽生态系统目录。 支持的存储. 4.1.2. 物理资源开销要求 OpenShift Virtualization 是