1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

from threading import Thread generation_kwargs = dict(model_inputs, streamer=streamer, max_new_tokens=512) thread = Thread(target=model.generate, kwargs=generation_kwargs) thread.start() generated_text shard_size="4GB") tokenizer.save_pretrained(quant_path) 然后你就可以得到一个可以用于部署的 AWQ 量化模型。玩得开心！ 1.8 GPTQ GPTQ 是一种针对类 GPT 大型语言模型的量化方法，它基于近似二阶信息进行一次性权重量化。在本文 档中，我们将向您展示如何使用 transformers 库加载并应用量化后的模型，同时也会指导您如何通过 AutoGPTQ "gate_proj", "down_proj", ] ) lora_weight_path: str = "" lora_bias: str = "none" q_lora: bool = False 参数类允许你为模型、数据和训练指定超参数，如果使用 LoRA 或 Q-LoRA 训练模型，还会包含这两个方法 的相关超参数。具体来说，model-max-length 是一个关键的超参数，它决定了训练数据的最大序列长度。

--priority VERY_LOW \ #作业优先级� --board-enable true \ #是否开启Tensorboard服务� --conf tf.file.download.thread.nums=10 #其他参数设置� 提交脚本示例（分布式版本）：� TensorFlow on Yarn设计 Yarn首页作业信息：� 作业类型 集群GPU资源概况 作业分配到的GPU数量 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现：� 扩展org.apache.hadoop.yarn.api.records.Resource抽象类及其实现，增加：� � public abstract int getGpuCores();� � public abstract void setGpuCores(int gCores);� � 最

9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9 逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 icial General Intelligence，简称 AGI)还有一 段距离，我们仍坚定地相信人工智能时代已经来临。 机器学习是人工智能的一个重要研究领域，而深度学习则是近几年最为火热的一类人 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 人工智能 人工智能是让机器获得像人类一样具有思考和推理机制的智能技术，这一概念最早出

. . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . 3.1 Model 类 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . . . . . . . . . . 125 6.3.1 ImageDataGenerator 类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.2 ImageDataGenerator 类方法 . . . . . . . . . . . . . . . . . . . . . . . . . . 129

. . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 残差网络（ResNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 7.6.1 函数类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 7.6.2 残差块 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在

中比较常用的一种。算法的思想是合成新的少数类样本，而不是简单地复 制样本。算法过程如图： 不平衡数据的处理 （a）原始样本 （b）选定少类样本 （c）找到靠近?的 ?个少类样本 （d）增加样本 8 代价敏感学习 不平衡数据的处理 代价敏感学习是指为不同类别的样本提供不同的权重，从而让机器学习模 型进行学习的一种方法 比如风控或者入侵检测，这两类任务都具有严重的数据不平衡问题，可以 可以 在算法学习的时候，为少类样本设置更高的学习权重，从而让算法更加专 注于少类样本的分类情况，提高对少类样本分类的查全率，但是也会将很 多多类样本分类为少类样本，降低少类样本分类的查准率。 9 01 数据集划分 02 评价指标 2.评价指标 03 正则化、偏差和方差 10 预测值 Positive Negtive 实际值 Positive TP FN = 2 × Precision × Recall Precision + Recall 11 评价指标 有100张照片，其中，猫的照片有60张，狗的照片是40张。 输入这100张照片进行二分类识别，找出这100张照片中的所有的猫。 正例（Positives）：识别对的 负例（Negatives）：识别错的 预测值 Positive Negtive 实际值 Positive TP=40

5 二分类 分类问题 1 2 我们先从用蓝色圆形数据定义为类 型1，其余数据为类型2； 只需要分类1次 步骤：①->② ① ② 二分类 6 多分类 分类问题 1 rest 1 2 rest One-vs-All (One-vs-Rest) 我们先定义其中一类为类型1（正 类），其余数据为负类（rest）； 接下来去掉类型1数据，剩余部分 再次进行二分类，分成类型2和负 再次进行二分类，分成类型2和负 类；如果有?类，那就需要分类?-1 次 步骤：①->②->③->…… ① ② ③ 一对多 (一对余) 7 2.Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 8 ? ? 代表一个常用的逻辑函数（logistic function）为?形函数（Sigmoid function） 则：? ? ?， 则?可以融入到?0，即：?=?T? 9 2.Sigmoid函数 线性回归的函数 ℎ ? = ? = ?T?，范围是(−∞, +∞)。 而分类预测结果需要得到[0,1]的概率值。 在二分类模型中，事件的几率odds：事件发生与事件不发生的概率之比为 ? 1−?， 称为事件的发生比（the odds of experiencing an event） 其中?为随机事件发生的概率，

据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了， scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学 习算法。还包括了特征提取，数据处理和模型评估三大模块。 5 6 2.Scikit-learn主要用法 01 Scikit-learn概述 02 Scikit-learn主要用法 y_train) y_pred = clf.predict(X_test) y_prob = clf.predict_proba(X_test) 使用决策树分类算法解决二分类问题， y_prob 为每个样本预测为 “0”和“1”类的概率 16 1.Scikit-learn概述 逻辑回归 支持向量机 朴素贝叶斯 K近邻 linear_model.LogisticRegression svm.SVC GradientBoostingRegressor 18 2.Scikit-learn主要用法 无监督学习算法 sklearn.cluster模块包含了一系列无监督聚类算法. from sklearn.cluster import KMeans 构建聚类实例 kmeans = KMeans(n_clusters=3, random_state=0) 拟合 kmeans.fit(X_train) 预测 kmeans