1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 RocketMQ 成就了我，我也会继续努力，为传播 况不符合，那成为一个开源项目的 Committer 有些什么条件呢？ 1. 扎实的 Java 基础功底 一个开源项目的底层都会涉及到存储，这就要求具备一定的数据结构基础，JAVA 集 合框架中的类自然成为了我们突破数据结构最好的老师，其次是 java 并发，即多线程、并 发容器、锁等课题，这方面可以好好学习一下 JUC 框架。最后最好是具备一些网络方面的 知识，例如 NIO、Netty。 的学习，有使用需求，或许学习动力更强劲，学习效率更高效。 当具备一定的基础后，如何从零开始参与进开源项目呢？通常有如下几个方法：  看看官方文档，特别是设计手册，从整体上把握其设计理念。  写写源码分析类文章，从整体上把控这个框架，这个花费时间较多，如果框架正在起步。 阶段，不建议该方法；如果框架比较成熟，非常建议采用该方法。  尝试看看开源项目中的 issues，看能不能解决，从问题入手，快速融入该项目。

进行容器逃逸，然后获得宿主机的控制权。 2.2.2 镜像仓库攻击 这里指的是攻击受害者本地的镜像仓库，如 Harbor[8]、Docker Registry[9] 等。其中 Harbor 镜像库从发布开始就被爆出权限提升、枚举、SQL 注入、CSRF 等多项漏洞。除此之外，如果私有镜像仓库由于配置不当而开启了 2357 端口， 将会导致私有仓库暴露在公网中，攻击者可直接访问私有仓库并篡改镜像内容， 造成仓库内镜像的安全隐患。 身对容器使用的资源并没有默认限制，如果单个容器耗尽宿主机的计算资源或存 储资源（例如进程数量、存储空间等），就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击：Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段，其可通过递归方式无限循环调用 fork()系统函数，从而快速创建大量进程。 由于宿主机操作系统内核支持的进程总数有限，如果某个容器遭到了 Fork Bomb 输入参数未校验导致的攻击：API 的参数组合及各参数值类型相对固定，这 些参数也决定着 API 返回的数据。若 API 未对参数值的类型进行校验则可能会 被攻击者利用来进行注入类攻击；若攻击者未将参数与用户身份进行关联则可能 会导致越权类攻击。 明文传输导致的攻击：API 未对传输数据进行加密设计而直接进行明文传输， 攻击者可通过网络嗅探等手段直接获取 API 的交互格式以及数据，通过对获取 的数据进行分析，并进行下一步的攻击。

Backed：选择和部署所需的 Operator 管理服务。 Helm Chart：选择所需的 Helm Chart 来简化应用程序和服务部署。 Event Source：选择一个事件源，从特定系统中注册对一类事件的兴趣。 注意 注意 如果安装了 RHOAS Operator，也可使用 Managed services 选项。 Git 存储库：使用 From Git、From Devfile 或 From 链接，您可以执行以下操作： 自定义路由的主机名。 指定路由器监控的路径。 从下拉列表中选择流量的目标端口。 选中 Secure Route 复选框来保护您的路由。从相应的下拉列表中，选择所需的 TLS 终止类 型，并设置非安全流量的策略。 注意 注意 对于无服务器应用程序，Knative 服务管理上述所有路由选项。但在需要时，您 可以自定义流量的目标端口。如果不指定目标端口，则使用默认端口 8080。 获得该列表： 3. 在 Installed Operators 页面中，点 etcd Operator 查看更多详情和可用操作。 正如 Provided API 下所示，该 Operator 提供了三类新资源，包括一种用于 etcd Cluster 的资源 （EtcdCluster 资源）。这些对象的工作方式与内置的原生 Kubernetes 对象（如 Deployment 或 ReplicaSet

来简化应用程序和服务部署。 Devfile: 从 Devfile registry 中选择一个 devfile 来声明性地定义开发环境。 Event Source：选择一个事件源，从特定系统中注册对一类事件的兴趣。 注意 注意 如果安装了 RHOAS Operator，也可使用 Managed services 选项。 Git 存 存储库 储库：使用 From Git、From Devfile 链接，您可以执行以下操作： 自定义路由的主机名。 指定路由器监控的路径。 从下拉列表中选择流量的目标端口。 选中 Secure Route 复选框来保护您的路由。从相应的下拉列表中，选择所需的 TLS 终止类 型，并设置非安全流量的策略。 注意 注意 对于无服务器应用程序，Knative 服务管理上述所有路由选项。但在需要时，您 可以自定义流量的目标端口。如果不指定目标端口，则使用默认端口 8080。 获得该列表： 3. 在 Installed Operators 页面中，点 etcd Operator 查看更多详情和可用操作。 正如 Provided API 下所示，该 Operator 提供了三类新资源，包括一种用于 etcd Cluster 的资源 （EtcdCluster 资源）。这些对象的工作方式与内置的原生 Kubernetes 对象（如 Deployment 或 ReplicaSet

配置对象 下表中描述了 Cluster Network Operator(CNO)的字段： 表 表 5.1. Cluster Network Operator 配置 配置对 对象 象 字段 字段 类 类型 型 描述 描述 metadata.name 字符串 字符串 CNO 对象的名称。这个名称始终是 集群 集群。 spec.clusterNet work array 用于指定从哪些 IP 地址块分配 OVN-Kubernetes 集群网络供应商，则 kube-proxy 配置不会起作用。 字段 字段 类 类型 型 描述 描述 defaultNetwork 对 对象配置 象配置 下表列出了 defaultNetwork 对象的值： 表 表 5.2. defaultNetwork 对 对象 象 字段 字段 类 类型 型 描述 描述 type 字符串 字符串 OpenShiftSDN 或 OVNKubernetes。Red OpenShift SDN 网 网络 络插件 插件 下表描述了 OpenShift SDN 网络插件的配置字段： 表 表 5.3. openshiftSDNConfig object 字段 字段 类 类型 型 描述 描述 模式 模式 string OpenShift SDN 的网络隔离模式。 mtu integer VXLAN 覆盖网络的最大传输单元(MTU)。这个值通常是自动配置 的。 vxlanPort

配置 CSI 卷 5.2. CSI INLINE 临时卷 5.3. 共享资源 CSI DRIVER OPERATOR 5.4. CSI 卷快照 5.5. CSI 卷克隆 5.6. 管理默认存储类 5.7. CSI 自动迁移 5.8. 在非正常节点关闭后分离 CSI 卷 5.9. ALICLOUD DISK CSI DRIVER OPERATOR 5.10. AWS ELASTIC BLOCK 使用文件系统扩展持久性卷声明（PVC） 7.6. 在扩展卷失败时进行恢复 第 第 8 章 章 动态 动态置 置备 备 8.1. 关于动态置备 8.2. 可用的动态置备插件 8.3. 定义存储类 8.4. 更改默认存储类 176 177 179 182 185 196 196 196 196 197 197 199 199 199 200 200 201 201 203 203 支持许多类型的存储，包括内部存储和云供应商。您可以在 OpenShift Container Platform 集群中管理持久性和非持久性数据的容器存储。 Storage class 存储类为管理员提供了描述它们所提供的存储类的方法。不同的类可能会映射到服务质量级别、备份 策略，以及由集群管理员决定的任意策略。 VMware vSphere 的虚 的虚拟机磁 机磁盘 (VMDK) 卷 卷 虚拟机磁盘 (VMDK)

使用文件系统扩展持久性卷声明（PVC） 6.5. 在扩展卷失败时进行恢复 第 第 7 章 章 动态 动态置 置备 备 7.1. 关于动态置备 7.2. 可用的动态置备插件 7.3. 定义存储类 7.4. 更改默认存储类 104 105 106 106 106 107 113 OpenShift Container Platform 4.8 存 存储 储 2 目 目录 录 3 第 1 支持许多类型的存储，包括内部存储和云供应商。您可以在 OpenShift Container Platform 集群中管理持久性和非持久性数据的容器存储。 Storage class 存储类为管理员提供了描述它们所提供的存储类的方法。不同的类可能会映射到服务质量级别、备份 策略，以及由集群管理员决定的任意策略。 VMware vSphere 的虚 的虚拟 拟机磁 机磁盘 盘 (VMDK) 卷 卷 虚拟机磁盘 (VMDK) 第 1 章 章 OPENSHIFT CONTAINER PLATFORM 存 存储 储概述 概述 5 1.2. 存储类型 OpenShift Container Platform 存储广泛分为两类，即临时存储和持久性存储。 1.2.1. 临时存储 Pod 和容器具有临时或临时性，面向无状态应用。临时存储可让管理员和开发人员更好地管理其某些操作 的本地存储。如需有关临时存储概述、类型和管理的更多信息，请参阅了解临时存储。

9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9 逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 icial General Intelligence，简称 AGI)还有一 段距离，我们仍坚定地相信人工智能时代已经来临。 机器学习是人工智能的一个重要研究领域，而深度学习则是近几年最为火热的一类人 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出