1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 预测 请求 数据 落地 ⽆量 ⽤户⾏为数据上报 特征 库 内容 获取 请求 � 推荐场景的重要性 � PCG的图⽂，视频推荐（腾讯视频，腾讯新 闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020

云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD com/OpenFunction/samples 图数据库简介 什么是图？ 什么是图数据库？ 为什么我们需要⼀个专⻔的数据库？ 什么是图？ "以图结构、图语义来⽤点、边、属性来查询、表示存 储数据的数据库 wikipedia.org/wiki/graph_database 了解更多关于 什么是图数据库 什么是图数据库 为什么需要图数据库？ 传统数据库 图数据库 图模型的结构 图语义的查询 性能 Nebula

，难免出现理解偏差甚 至错缪之处，若能大方指出，作者将及时修正，不胜感激。 龙良曲 2021 年 10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9 逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 望解决此问题的关键技术。 随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项

. . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 残差网络（ResNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 7.6.1 函数类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 7.6.2 残差块

程序和其他 工作负载。 流程 流程 您可以使用 Developer 视角创建项目，如下所示： 1. 点 Project 下拉菜单来查看所有可用的项目。选择 Create Project。 图 图 2.1. Create Project 2. 在 Create Project 对话框的 Name 项中输入一个唯一的名称，如 myproject。 3. 可选：为项目添加 Display Name Developer 视角中,导航到 Project 视图。 2. 在 Project 页面中,选择 Project Access 选项卡。 3. 点击 Add Access 为默认权限添加新权限行。 图 图 2.2. 项 项目 目权 权限 限 4. 输入用户名，点 Select a role 下拉列表，然后选择适当的角色。 5. 点击 Save 添加新权限。 您还可以使用： Select a role 自定义项目的不同集群角色： 1. 在 Search 视图中，使用 Resources 下拉列表搜索 Console。 2. 在可用选项中，选择 Console operator.openshift.io/v1。 图 图 2.3. 搜索控制台 搜索控制台资 资源 源 3. 在 Name 列表下选择 cluster。 4. 导航到 YAML 选项卡以查看和编辑 YAML 代码。 5. 在 spec 下的 YAML

失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的 torchvison 库中的一些常见 模型库与功能函数，主要包括对象检测模块与模型库、图象数 据增强与预处理模块等。 以上并不是 pytorch 框架中全部模块与功能说明，作者这里只 列出了跟本书内容关联密切必须掌握的一些模块功能，希望读 者可以更好的针对性学习，掌握这些知识。 文件安装，显示的界面如下： 图 1-1（Python3.6.5 安装界面） 注意：图 1-1 中的矩形框，必须手动选择上“add Python3.6 to PATH”之后再点击【Install Now】默认安装完成即可。 3. 安装好 Python 语言包支持以后可以通过命令行来验证测试 安装是否成功，首先通过 cmd 打开 Window 命令行窗口，然 后输入 Python，显示如下： 图 1-2（验证

用程序和其他 工作负载。 流程 流程 您可以使用 Developer 视角创建项目，如下所示： 1. 点 Project 下拉菜单来查看所有可用的项目。选择 Create Project。 图 2.1. Create Project 2. 在 Create Project 对话框的 Name 项中输入一个唯一的名称，如 myproject。 3. 可选：为项目添加 Display Name Developer 视角中,导航到 Project 视图。 2. 在 Project 页面中,选择 Project Access 选项卡。 3. 点击 Add Access 为默认权限添加新权限行。 图 2.2. 项目权限 4. 输入用户名，点 Select a role 下拉列表，然后选择适当的角色。 5. 点击 Save 添加新权限。 您还可以使用： Select a role 下拉列表修改现有用户的访问权限。 自定义项目的不同集群角色： 1. 在 Search 视图中，使用 Resources 下拉列表搜索 Console。 2. 在可用选项中，选择 Console operator.openshift.io/v1。 图 2.3. 搜索控制台资源 3. 在 Name 列表下选择 cluster。 4. 导航到 YAML 选项卡以查看和编辑 YAML 代码。 5. 在 spec 下的 YAML 代码中，添加或编辑

2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)； ?? = (− ? ? + (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? ?=??? + ? 9 2.梯度下降 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 10 梯度下降 ? 学习率 步长 11 梯度下降的三种形式 批量梯度下降（Batch Gradient Descent,BGD） 梯度下降的每一步中，都用到了所有的训练样本 17 3.计算图 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 18 3.计算图 ? = ?? ? = 3? ? = ? + ? ? ?, ?, ? = 3(? + ??), ? = 5, ? = 3, ? = 2 ? = 5 ? = 3 ? = 2 ? 6 ? 11 ? 33 19 3.计算图 ? = ??

5.1. 验证 POD 的状态 5.2. 验证 OPENSHIFT CONTAINER STORAGE 集群是否正常运行 5.3. 验证 MULTICLOUD 对象网关是否健康 5.4. 验证存储类是否已创建并列出 5.5. 验证 CEPH 集群是否已连接 5.6. 验证存储集群是否已就绪 第 第 6 章 章 卸 卸载 载 OPENSHIFT CONTAINER STORAGE 6.1. 以外部模式卸载 查看所有已安装的 Operator。 确保所选的 Project 为 openshift-storage。 图 图 4.1. OpenShift Container Storage Operator 页 页 2. 点 OpenShift Container Storage。 图 图 4.2. OpenShift Container Storage 的 的详 详情 情标签页 标签页 Red Hat OpenShift Container Storage 8 图 图 4.2. OpenShift Container Storage 的 的详 详情 情标签页 标签页 3. 单击 Storage Cluster 的 Create Instance 链接。 4. 将 Mode 选择为 External。默认情况下，Internal 被选为部署模式。 图 图 4.3. 连 连接到 接到创 创建存 建存储 储集群表