## 机器学习-机器学习项目流程 黄海广 副教授 2021年06月 ## 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 ### 1. 机器学习项目流程概述 ## 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 ## 机器学习的一般步骤 历史数据 经验  训练 归纳 模型 预测 未知属性 新的问题 规律 ## 机器学习的一般步骤 数据搜集  数据清洗 ![Ima d261571005440e/p5_10.jpg) ## 机器学习的一般步骤 ## 数据搜集 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 ## 数据清洗 • 数据清理和格式化 • 探索性数据分析(EDA) ## 特征工程 • 特征工程 • 特征选择 ## 数据建模 - 基于性能指标比较几种机器学习模型 • 对最佳模型执行超参数调整 • 在测试集上评估最佳模型

## 机器学习-机器学习实践 黄海广 副教授 2022年02月 ## 本章目录 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 ## 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。

数据集
训练集	验证集	测试集

三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证 

## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 从训练集中进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果：  ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有 基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## Stacking 将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练

## 机器学习-第二章 回归 黄海广 副教授 2022年09月 ## 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ### 1. 线性回归 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ## 回归的概念 ## 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ 如何预测上海浦东的房价？ 标签连续 √ 未来的股票市场走向？ ✓ 分类（Classification） ## 标签离散 ✓ 身高1.85m，体重100kg的男人穿什么尺码的T恤？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ## 线性回归-概念 ## 线性回归（Linear Regression） 是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维 的超平面，使得预测值与真实值之间的误差最小化。  ## 线性回归-符号约定 m 代表训练集中样本的数量 n 代表特征的数量 x 代表特征/输入变量 y 代表目标变量/输出变量 $ (x,y) $ 代表训练集中的样本 $ (x^{(i)}

## 机器学习-引言 黄海广 副教授 2022年02月 ## 目录 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 ### 1. 机器学习概述 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 ## 机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 机器学习：计算 机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。 深度学习：实现机器学习的一种技术  ## 机器学习界的执牛耳者  Andrew Ng 中文名吴恩达，斯坦福大学副教授，前“百度大脑”的负责人与百度首席科学家。 ## 机器学习界的国内泰斗 ![Image](/uploads

 ## 机器学习-第十一章 关联规则 黄海广 副教授 2021年06月 ## 本章目录 01 关联规则概述 02 Apriori 算法 03 FP-Growth 算法 ### 1. 关联规则概述 ## 01 关联规则概述 02 ## 关联规则 关联规则（Association Rules）反映一个事物与其他事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中一个事物就能够通过其他事物预测到。 关联规则可以看作是一种IF-THEN关系。假设商品A被客户购买，那么在相同的交易ID下，商品B也被客户挑选的机会就被发现了。  ### 1. 关联规则概述 有没有发生过这样的事：你出去买东西，结果却买了比你计划的多得多的东西？这是一种被称为冲动购买的现象，大型零售商利用机器学习和Apriori算法，让我们倾向于购买更多的商品。 ![Image](/uploads/documents/7/3/4/c/734cf94e76e83784b225cb06e940b3cc/p5_1

## 机器学习-降维 黄海广 副教授 2022年02月 ## 本章目录 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) ### 1. 降维概述 ## 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) ### 1. 降维概述 维数灾难(Curse of Dimensionality)：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。 ，计算量呈指数倍增长的一种现象。 在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。  ![Imag ### 1. 降维概述 ## 维数灾难 维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来的。有的时候，维度太大也会导致机器学习性能的下降，并不是特征维度越大越好，模型的性能会随着特征的增加先上升后下降。 ### 1. 降维概述 ## 什么是降维？ 降维(Dimensionality

## 机器学习-聚类 黄海广 副教授 2023年04月 ## 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 ### 1. 无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 ### 1. 无监督学习方法概述 ## 监督学习和无监督学习的区别 ## ## 监督学习 在一个典型的监督学习中，训练集有标签y，我们的目标是找到能够区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 ## 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签y，无监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 ### 1. 无监督学习方法概述 ## 主要的无监督学习方法 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ Reduction） ✓ 如何将原高维空间中的数据点映射到低维度的空间中？ ✓ 关联规则（Association Rules） 很多买尿布的男顾客，同时买了啤酒，可以从中找出什么规律来提高超市销售额？ ✓ 推荐系统（Recommender systems） ✓ 很多客户经常上网购物，根据他们的浏览商品的习惯，给他们推荐什么商品呢？ ### 1. 无监督学习方法概述 ## 聚类 主要算法 K-means、密度聚类、层次聚类

## 机器学习-KNN算法 黄海广 副教授 2021年04月 ## 本章目录 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 ### 1. 距离度量 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 ## 距离度量 欧氏距离(Euclidean distance) 电影分类 =\sqrt{\sum_{i}(x_{i}-y_{i})^{2}} $$ 欧几里得度量（Euclidean Metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。 ## 距离度量 曼哈顿距离(Manhattan distance) ## 1 $$ d(x,y)=\sum_{i y)=\sum_{i}\left|x_{i}-y_{i}\right| $$ 想象你在城市道路里，要从一个十字路口开车到另外一个十字路口，驾驶距离是两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(City Block distance)。 ## 距离度量 ## 切比雪夫距离(Chebyshev distance)

## 机器学习-逻辑回归 黄海广 副教授 2022年02月 ## 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ### 1. 分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ## 分类问题 ## 监督学习的最主要类型 ## ✓ 分类（Classification） ## 标签离散 ✓ 身高1.85m，体重100kg的男人穿什么尺码的T恤？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ✓ 根据用户的年龄、职业、存款数量来判断信用卡是否会违约？ 输入变量可以是离散的，也可以是连续的。 ## 分类问题 ## 二 分类 我们先从用蓝色圆形数据定义为类型1，其余数据为类型2； 只需要分类1次 步骤：①->②  $ 代表一个常用的逻辑函数（logistic function）为S形函数（Sigmoid function） 则： $ \sigma(z)=g(z)=\frac{1}{1+e^{-z}}\quad z=w^{\mathrm{T}}x+b $ 合起来，我们得到逻辑回归模型的假设函数： $$ \mathrm{L}\big(\hat{y},