1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

配置 CSI 卷 5.2. CSI INLINE 临时卷 5.3. 共享资源 CSI DRIVER OPERATOR 5.4. CSI 卷快照 5.5. CSI 卷克隆 5.6. 管理默认存储类 5.7. CSI 自动迁移 5.8. 在非正常节点关闭后分离 CSI 卷 5.9. ALICLOUD DISK CSI DRIVER OPERATOR 5.10. AWS ELASTIC BLOCK 使用文件系统扩展持久性卷声明（PVC） 7.6. 在扩展卷失败时进行恢复 第 第 8 章 章 动态 动态置 置备 备 8.1. 关于动态置备 8.2. 可用的动态置备插件 8.3. 定义存储类 8.4. 更改默认存储类 176 177 179 182 185 196 196 196 196 197 197 199 199 199 200 200 201 201 203 Fiber 频道 道 用于在数据中心、计算机服务器、交换机和存储之间传输数据的联网技术。 FlexVolume FlexVolume 是一个树外插件接口，它使用基于 exec 的模型与存储驱动程序进行接口。您必须在每个 节点上在预定义的卷插件路径中安装 FlexVolume 驱动程序二进制文件，并在某些情况下是 control plane 节点。 fsGroup fsGroup 定义 pod

使用文件系统扩展持久性卷声明（PVC） 6.5. 在扩展卷失败时进行恢复 第 第 7 章 章 动态 动态置 置备 备 7.1. 关于动态置备 7.2. 可用的动态置备插件 7.3. 定义存储类 7.4. 更改默认存储类 104 105 106 106 106 107 113 OpenShift Container Platform 4.8 存 存储 储 2 目 目录 录 3 Fiber 频 频道 道 用于在数据中心、计算机服务器、交换机和存储之间传输数据的联网技术。 FlexVolume FlexVolume 是一个树外插件接口，它使用基于 exec 的模型与存储驱动程序进行接口。您必须在每个 节点上在预定义的卷插件路径中安装 FlexVolume 驱动程序二进制文件，并在某些情况下是 control plane 节点。 fsGroup fsGroup 定义 pod 支持许多类型的存储，包括内部存储和云供应商。您可以在 OpenShift Container Platform 集群中管理持久性和非持久性数据的容器存储。 Storage class 存储类为管理员提供了描述它们所提供的存储类的方法。不同的类可能会映射到服务质量级别、备份 策略，以及由集群管理员决定的任意策略。 VMware vSphere 的虚 的虚拟 拟机磁 机磁盘 盘 (VMDK) 卷 卷 虚拟机磁盘 (VMDK)

使用配置映射将内容注入卷 2.8. 使用设备插件来利用 POD 访问外部资源 2.8.1. 了解设备插件 设备插件示例 2.8.1.1. 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2 OPERATOR 5.5.1. 访问 Node Tuning Operator 示例规格 5.5.2. 自定义调整规格 5.5.3. 在集群中设置默认配置集 5.5.4. 支持的 Tuned 守护进程插件 5.6. 了解节点重新引导 5.6.1. 关于重新引导运行关键基础架构的节点 5.6.2. 使用 pod 反关联性重新引导节点 5.6.3. 了解如何重新引导运行路由器的节点 5.6.4. 正常重新引导节点 了解如何通过 Downward API 消耗容器值 6.5.2.1. 使用环境变量消耗容器值 6.5.2.2. 使用卷插件消耗容器值 6.5.3. 了解如何使用 Downward API 消耗容器资源 6.5.3.1. 使用环境变量消耗容器资源 6.5.3.2. 使用卷插件消耗容器资源 6.5.4. 使用 Downward API 消耗 secret 6.5.5. 使用 Downward API

章 章 OVN-KUBERNETES 网 网络 络插件 插件 27.1. 关于 OVN-KUBERNETES 网络插件 27.2. OVN-KUBERNETES 架构 27.3. OVN-KUBERNETES 故障排除 27.4. 使用 OVNKUBE-TRACE 追踪 OPENFLOW 27.5. 从 OPENSHIFT SDN 网络插件迁移 27.6. 回滚到 OPENSHIFT SDN SDN 网络供应商 27.7. 从 KURYR 网络插件迁移到 OVN-KUBERNETES 网络插件 27.8. 转换为 IPV4/IPV6 双栈网络 27.9. 出口防火墙和网络策略规则的日志记录 27.10. 配置 IPSEC 加密 27.11. 为项目配置出口防火墙 27.12. 查看项目的出口防火墙 27.13. 为项目编辑出口防火墙 27.14. 从项目中删除出口防火墙 27.15. 为项目禁用多播 27.21. 跟踪网络流 27.22. 配置混合联网 第 第 28 章 章 OPENSHIFT SDN 网 网络 络插件 插件 28.1. 关于 OPENSHIFT SDN 网络插件 28.2. 迁移到 OPENSHIFT SDN 网络插件 247 247 247 267 267 281 286 286 287 288 291 291 297 300 306 319

使用配置映射将内容注入卷 2.8. 使用设备插件通过 POD 访问外部资源 2.8.1. 了解设备插件 设备插件示例 2.8.1.1. 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2 2.9.2. 了解 pod 抢占 2.9.2.1. 非抢占优先级类（技术预览） 2.9.2.2. Pod 抢占和其他调度程序设置 2.9.2.3. 安全终止被抢占的 pod 2.9.3. 配置优先级和抢占 2.10. 使用节点选择器将 POD 放置到特定节点 2.10.1. 使用节点选择器控制 pod 放置 第 第 3 章 章 控制 控制节 节点上的 点上的 POD 放置（ 放置（调 调度） OPERATOR 5.5.1. 访问 Node Tuning Operator 示例规格 5.5.2. 自定义调整规格 5.5.3. 在集群中设置默认配置集 5.5.4. 支持的 TuneD 守护进程插件 5.6. 使用 POISON PILL OPERATOR 修复节点 5.6.1. 关于 Poison Pill Operator 144 144 144 147 149 150 150 150

OpenShift Container Platform 集群中部署和管理集群网络组件。 这包括在安装过程中为集群选择的 Container Network Interface(CNI)默认网络供应商插件部署。 配置映射 配置映射 配置映射提供将配置数据注入 pod 的方法。您可以在类型为 ConfigMap 的卷中引用存储在配置映射 中的数据。在 pod 中运行的应用程序可以使用这个数据。 自定 OpenShift Container Platform 集群中部署和管理集群网络组件。这 包括在安装过程中为集群选择的 Container Network Interface(CNI)默认网络供应商插件部署。如需更多 信息，请参阅 OpenShift Container Platform 中的 Cluster Network Operator 。 3.2. DNS OPERATOR DNS Operator Interface（CNI）默认网络供应商插件。 4.1. CLUSTER NETWORK OPERATOR Cluster Network Operator 从 operator.openshift.io API 组实现 network API。Operator 通过使用守护 进程集，部署 OpenShift SDN 默认 Container Network Interface（CNI）网络供应商插件，或部署您在集 群安装过程中选择的默认网络供应商插件。

OpenShift Container Platform 集群中部署和管理集群网络组件。这 包括在安装过程中为集群选择的 Container Network Interface(CNI)默认网络供应商插件部署。如需更多 信息，请参阅 OpenShift Container Platform 中的 Cluster Network Operator 。 3.2. DNS OPERATOR DNS Operator Interface（CNI）默认网络供应商插件。 4.1. CLUSTER NETWORK OPERATOR Cluster Network Operator 从 operator.openshift.io API 组实现 network API。Operator 通过使用守护 进程集，部署 OpenShift SDN 默认 Container Network Interface（CNI）网络供应商插件，或部署您在集 群安装过程中选择的默认网络供应商插件。 群安装过程中选择的默认网络供应商插件。 流程 流程 Cluster Network Operator 在安装过程中被部署为一个 Kubernetes 部署 部署。 1. 运行以下命令，以查看部署状态： 输 输出示例 出示例 2. 运行以下命令，以查看 Cluster Network Operator 的状态： 输 输出示例 出示例 以下字段提供有关 Operator 状态的信息：AVAILABLE、Progressing

RED HAT OPENSHIFT 创建带有 MIRROR REGISTRY 的 MIRROR REGISTRY 4.3. 为断开连接的安装 MIRROR 镜像 4.4. 使用 OC-MIRROR 插件为断开连接的安装镜像镜像 第 第 5 章 章 在 在 ALIBABA 上安装 上安装 5.1. 准备在 ALIBABA CLOUD 上安装 5.2. 创建所需的 ALIBABA 云资源 5.3. Container Platform 集群存在默认存 存储类 储类。它还安装 Container Storage Interface (CSI) 驱动 程序，使集群能够使用各种存储后端。 重要 重要 如果禁用了集群存储功能，集群将没有默认的 storageclass 或任何 CSI 驱动程序。具有管 理员特权的用户可以创建默认存 存储类 储类，并在禁用集群存储功能时手动安装 CSI 驱动程序。 备 备注 注 Operator 创建的存储类可以通过编辑其注解来实现非默认设置，但只要 Operator 运行，这个存 储类就无法被删除。 3.2.3. 控制台功能 用途 用途 Console Operator 为 Console 功能提供功能。 Console Operator 在集群中安装和维护 OpenShift Container Platform web 控制台。Console