1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 预测 请求 数据 落地 ⽆量 ⽤户⾏为数据上报 特征 库 内容 获取 请求 � 推荐场景的重要性 � PCG的图⽂，视频推荐（腾讯视频，腾讯新 闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020

，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9 逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项

. . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 残差网络（ResNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 7.6.1 函数类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 7.6.2 残差块

失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的 torchvison 库中的一些常见 模型库与功能函数，主要包括对象检测模块与模型库、图象数 据增强与预处理模块等。 以上并不是 pytorch 框架中全部模块与功能说明，作者这里只 列出了跟本书内容关联密切必须掌握的一些模块功能，希望读 者可以更好的针对性学习，掌握这些知识。 文件安装，显示的界面如下： 图 1-1（Python3.6.5 安装界面） 注意：图 1-1 中的矩形框，必须手动选择上“add Python3.6 to PATH”之后再点击【Install Now】默认安装完成即可。 3. 安装好 Python 语言包支持以后可以通过命令行来验证测试 安装是否成功，首先通过 cmd 打开 Window 命令行窗口，然 后输入 Python，显示如下： 图 1-2（验证

2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)； ?? = (− ? ? + (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? ?=??? + ? 9 2.梯度下降 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 10 梯度下降 ? 学习率 步长 11 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 17 3.计算图 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 18 3.计算图 ? = ?? ? = 3? ? = ? + ? ? ?, ?, ? = 3(? + ??), ? = 5, ? = 3, ? = 2 ? = 5 ? = 3 ? = 2 ? 6 ? 11 ? 33 19 3.计算图 ? = ??

. . . . . . 10 3.1.5.1 基于多层感知器 (MLP) 的 softmax 多分类： . . . . . . . . . . . . 11 3.1.5.2 基于多层感知器的二分类： . . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . 3.1 Model 类 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.2 Model 的实用属性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.3 Model 类模型方法 . . . . . . . . . . . . . . . 125 6.3.1 ImageDataGenerator 类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.2 ImageDataGenerator 类方法 . . . . . . . . . . . . . . . . . . . . . . . . . . 129

深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 SACC2017 内容识别 – 人脸识别 l 政治敏感人物识别， 直播， 视频等场景 Ø 上亿级别的人脸检索，秒级的检索速度从黑名 单，白名单数据库中返回目标人脸信息。 Ø 技术指标：优图人脸识别通过传统方法和深度 学习技术结合，以空间面孔墙和微众银行远程 核身为基础，在性能上达到LFW 99.80%。 Ø QQ，微云等： 非法设置领导人头像， 公众人 物， 明星等等他人肖像。

中比较常用的一种。算法的思想是合成新的少数类样本，而不是简单地复 制样本。算法过程如图： 不平衡数据的处理 （a）原始样本 （b）选定少类样本 （c）找到靠近?的 ?个少类样本 （d）增加样本 8 代价敏感学习 不平衡数据的处理 代价敏感学习是指为不同类别的样本提供不同的权重，从而让机器学习模 型进行学习的一种方法 比如风控或者入侵检测，这两类任务都具有严重的数据不平衡问题，可以 可以 在算法学习的时候，为少类样本设置更高的学习权重，从而让算法更加专 注于少类样本的分类情况，提高对少类样本分类的查全率，但是也会将很 多多类样本分类为少类样本，降低少类样本分类的查准率。 9 01 数据集划分 02 评价指标 2.评价指标 03 正则化、偏差和方差 10 预测值 Positive Negtive 实际值 Positive TP FN = 2 × Precision × Recall Precision + Recall 11 评价指标 有100张照片，其中，猫的照片有60张，狗的照片是40张。 输入这100张照片进行二分类识别，找出这100张照片中的所有的猫。 正例（Positives）：识别对的 负例（Negatives）：识别错的 预测值 Positive Negtive 实际值 Positive TP=40

一个巨大的10,000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 ✓ Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 句进行区分，然后基于特征评分、序列标注、 分类模型等提取内容特征计算相关文本单元权 重其次洗择相应的文本单元子集组成摘要候洗 任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 Transformer 34 GPT-1：借助预训练，进行无监督训练和有监督微调 ◼ GPT-1模型基于Transformer解除了顺