# 微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 VS VS VS 学习效果难以统计，产生不良循环 VS 从基础到进阶，超100+一线实战 技术专家带你系统化学习成长 解决从小白到资深技术人所遇到80%的问题 多样、灵活的学习方式，包括音频、图文和视频 获取员工学习报告，查看学习进度，形成闭环  课程顾问「橘子」 回复「QCon」 免费获取 学习解决方案 # # 极客时间企业账号 # 解决技术人成长路上的学习问题 ### 1. 推荐篇 • 推荐场景 • 推荐 在线机器学习 深度学习 ## 目录 ### 2. 平台篇 平台背景 平台架构 平台效果 ### 3. 总结篇 微博技术里程碑 微博业务生态 APPLICATION ![Image](/uploads/documents/5/e/c/8/5ec8e409f6e2dbb408c2311a61fa97fc/p4_1

## 机器学习-机器学习实践 黄海广 副教授 2022年02月 ## 本章目录 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 ## 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation r>训练集验证集测试集 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证 

## 机器学习-集成学习 黄海广 副教授 2022年12月 ## 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ### 1. 集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM ## 集成学习 ## Bagging 从 ## 集成学习 ## Boosting 训练过程为阶梯状，基模型按次序——进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。  ## 集成学习 ## Stacking 2. 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 ## 随机森林 Random Forest（随机森林）是 Bagging 的扩展变体，它在以决策树为基学习器构建 Bagging 集成的基础上，进一步在决策树的训练过程中引入了随机特征选择，因此可以概括随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征; 3. 构建决策树；

## 机器学习-机器学习项目流程 黄海广 副教授 2021年06月 ## 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 ### 1. 机器学习项目流程概述 ## 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 ## 机器学习的一般步骤 历史数据 经验  训练 归纳 模型 预测 未知属性 新的问题 规律 ## 机器学习的一般步骤 数据搜集  数据清洗 ![Ima d261571005440e/p5_10.jpg) ## 机器学习的一般步骤 ## 数据搜集 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 ## 数据清洗 • 数据清理和格式化 • 探索性数据分析(EDA) ## 特征工程 • 特征工程 • 特征选择 ## 数据建模 - 基于性能指标比较几种机器学习模型 • 对最佳模型执行超参数调整 • 在测试集上评估最佳模型

## 机器学习-第二章 回归 黄海广 副教授 2022年09月 ## 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ### 1. 线性回归 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ## 回归的概念 ## 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ 代表特征的数量 x 代表特征/输入变量 y 代表目标变量/输出变量 $ (x,y) $ 代表训练集中的样本 $ (x^{(i)}, y^{(i)}) $ 代表第 i 个观察样本 h 代表学习算法的解决方案或函数也称为假设（hypothesis） $ \widehat{y} = h(x) $ , 代表预测的值 $ x^{(i)} $ 是特征矩阵中的第 i 行，是一个向量。 \cdots+w_{n}x_{n}\end{array} $$  机器学习算法 可以设 $ x_{0}=1 $ 则： $ h(x)=w_{0}x_{0}+w_{1}x_{1}+w_{2}x_{2}+\ldots+w_{n}x_{n}=w^{T}X $ 注意：若表达式

## 机器学习-引言 黄海广 副教授 2022年02月 ## 目录 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 ### 1. 机器学习概述 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 ## 机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 机器学习：计算 机器学习：计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。 深度学习：实现机器学习的一种技术  ## 机器学习界的执牛耳者  李航, 现任字节跳动科技有限公司人工智能实验室总监, 北京大学、南京大学客座教授, IEEE 会士, ACM 杰出科学家, CCF 高级会员。 代表作: 《统计学习方法》 ![Image

 ## 机器学习-第十一章 关联规则 黄海广 副教授 2021年06月 ## 本章目录 01 关联规则概述 02 Apriori 算法 03 FP-Growth 算法 ### 1. 关联规则概述 ## 01 关联规则概述 02 25cb06e940b3cc/p4_1.jpg) ### 1. 关联规则概述 有没有发生过这样的事：你出去买东西，结果却买了比你计划的多得多的东西？这是一种被称为冲动购买的现象，大型零售商利用机器学习和Apriori算法，让我们倾向于购买更多的商品。 ![Image](/uploads/documents/7/3/4/c/734cf94e76e83784b225cb06e940b3cc/p5_1 I3:4},{I1,I3:4},{I2,I1,I3:2}| |I1|{{I2:4}}|<I2:4>|{I2,I1:4}| ## 参考文献 1. 《统计学习方法》，清华大学出版社，李航著，2019年出版 2. 《机器学习》，清华大学出版社，周志华著，2016年出版 3. Christopher M. Bishop, Pattern Recognition and Machine Learning

## 机器学习-降维 黄海广 副教授 2022年02月 ## 本章目录 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) ### 1. 降维概述 ## 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) ### 1. 降维概述 维数灾难(Curse of Dimensionality)：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。 加，计算量呈指数倍增长的一种现象。 在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。  ![Ima /p4_3.jpg) ### 1. 降维概述 ## 维数灾难 维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来的。有的时候，维度太大也会导致机器学习性能的下降，并不是特征维度越大越好，模型的性能会随着特征的增加先上升后下降。 ### 1. 降维概述

## 机器学习-聚类 黄海广 副教授 2023年04月 ## 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 ### 1. 无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 ### 1. 无监督学习方法概述 ## 监督学习和无监督学习的区别 ## ## 监督学习 在一个典型的监督学习中，训练集有标签y，我们的目标是找到能够区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 ## 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签y，无监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 ### 1. 无监督学习方法概述 ## 主要的无监督学习方法 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ 们推荐什么商品呢？ ### 1. 无监督学习方法概述 ## 聚类 主要算法 K-means、密度聚类、层次聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预测…… ### 1. 无监督学习方法概述 ## 聚类案例 ### 1.

## 机器学习-KNN算法 黄海广 副教授 2021年04月 ## 本章目录 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 ### 1. 距离度量 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 ## 距离度量 欧氏距离(Euclidean distance) 电影分类 ，那么这k个实例中大多数属于哪个类别，则该样本也属于这个类别。 对于分 测。 对于回归问题：对新的样本，根据其k个最近邻的训练样本标签值的均值作为预测值。 ### 2. KNN算法 k近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算法，可以用于基本的分类与回归方法。 k近邻法的三要素： • k值选择。 • 距离度量。 • 决策规则。 ### 2. KNN算法 ## 算法流程如下: 1. 计算测试对象到训练集中每个对象的距离