机器学习-第二章 回归 黄海广 副教授 2022年09月 ## 本章目录 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ### 1. 线性回归 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 ## 回归的概念 ## 监督学习分为回归和分类 ✓ 回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ 标签连续 标签连续 √ 未来的股票市场走向？ ✓ 分类（Classification） ## 标签离散 ✓ 身高1.85m，体重100kg的男人穿什么尺码的T恤？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ## 线性回归-概念 ## 线性回归（Linear Regression） 是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。 与真实值之间的误差最小化。  ## 线性回归-符号约定 m 代表训练集中样本的数量 n 代表特征的数量 x 代表特征/输入变量 y 代表目标变量/输出变量 $ (x,y) $ 代表训练集中的样本 $ (x^{(i)}, y^{(i)})

## 机器学习-逻辑回归 黄海广 副教授 2022年02月 ## 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ### 1. 分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ## 分类问题 ## 监督学习的最主要类型 ## ✓ 分类（Classification） ## 标签离散 ✓ 身高1.85m，体重100kg的男人穿什么尺码的T恤？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ✓ 根据用户的年龄、职业、存款数量来判断信用卡是否会违约？ 输入变量可以是离散的，也可以是连续的。 ## 分类问题 ## 二 分类 我们先从用蓝色圆形数据定义为类型1，其余数据为类型2； 只需要分类1次 步骤：①->②  一对多 (一对余) ### 2. Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ### 2. Sigmoid函数 ## Sigmoid 函数 $ \sigma(z) $ 代表一个常用的逻辑函数（logistic function）为S形函数（Sigmoid function） 则： $ \sigma(z)=

Scikit-learn是基于NumPy、SciPy和Matplotlib的开源Python机器学习包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了，scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学习算法。还包括了特征提取，数据处理和模型评估三大模块。 Scikit-learn支持以NumPy的arrays对象、Pandas对象、SciPy的稀疏矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是数据必须是数值型的 ✓ sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一些toy data如S型数据等的生成工具 from sklearn.datasets train_test_split(X, y, random_state=12, stratify=y, test_size=0.3) ## 数据集 将完整数据集的70%作为训练集，30%作为测试集，并使得测试集和训练集中各类别数据的比例与原始数据集比例一致（stratify分层策略），另外可通过设置 shuffle=True 提前打乱数据 ### 2. Scikit-learn主要用法 ##

Python 的深度学习库 Keras: The Python Deep Learning library $ ^{*} $ Author: Keras-Team Contributor: 万震 (WAN Zhen) wanzhenchn wanzhen@cqu.edu.cn 2018年12月24日 ## 前言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 版的主要原因在于学习 Keras 深度学习库时方便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由此引发一切后果贡献者概不负责。 The main reason of organizing Keras: 基于 Python 的深度学习库 1.1 你恰好发现了 Keras 1.2 指导原则 1.3 快速开始：30 秒上手 Keras 1.4 安装指引 1.5 使用 TensorFlow 以外的后端 1.6 技术支持 1.7 为什么取名为 Keras？ 2 为什么选择 Keras？ 2.1 Keras 优先考虑开发人员的经验 2.2 Keras 被工业界和学术界广泛采用

这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。总的来说，本书适合于大学三年级左右的理工科本科生和研 人工智能算法感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够学有所用。

## 序 新春将至，一年一度的美团技术年货也如约到来！ 时间煮雨，岁月缝花，花开无声，花谢无语。2022这一年，我们一起经历了无数的悲喜，也留下了满满的回忆。 也许生活就是这样，只有历尽波澜，才能欣赏茫茫大海的辽阔和无边，才能感受到漫天星辰的光芒和温暖。 在2023年春节到来之际，我们从去年美团技术团队公众号上精选了60多篇技术文章，整理制作成一本1300多页的电子书，作为新年礼物赠送给大家。 。 这本电子书内容覆盖算法、前端、后端、数据、安全等多个技术领域，希望能对同学们的工作和学习有所帮助。 也欢迎大家转给更多有相同兴趣、积极上进的同事和朋友们，一起切磋，共同成长。 祝愿2023年，大家诸事顺遂，健康平安。  微信扫码关注美团技术团队 YOLOv6：又快又准的目标检测框架开源啦 目标检测开源框架 YOLOv6 全面升级，更快更准的 2.0 版本来啦 通用目标检测开源框架 YOLOv6 在美团的量化部署实战 7 次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 图神经网络训练框架的实践和探索 图技术在美团外卖下的场景化应用及探索 大规模异构图召回在美团到店推荐广告的应用 美团搜索粗排优化的探索与实践

2022年02月 ## 本章目录 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 ## 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 1. 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set）：也叫做开发集（Dev Set），用来做模型选择（model selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。

数据集
训练集	验证集	测试集

个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值） $$ \frac{\epsilon_{1}+\ldots+\epsilon_{k}}{k} $$ $$ \epsilon_{k} $$ 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值） ## 不平衡数据的处理 数据不平衡是指数据集中各类样本数量不均衡的情况. 常用不平衡处理方法有采样和代价敏感学习

01 相关概念 02 特征构建 03 特征提取 04 特征选择 ### 1. 相关概念 特征工程相关概念 定义 是把原始数据转变为模型的训练数据的过程 目的 获取更好的训练数据特征，使得机器学习模型逼近这个上限 作用 使模型的性能得到提升 构成 特征构建 特征提取 特征选择 ### 1. 相关概念 ## 数据决定一切 准确率  通过这张图可以看出，各种不同算法在输入的数据量达到一定级数后，都有相近的高准确度。于是诞生了机器学习界的名言： 成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！ ### 1. 相关概念 ## 特征提取VS特征选择

项目	特征 colspan="2">都从原始特征中找出最有效的特征都能帮助减少特征的维度、数据冗余
区别	➢ 强调通过特征转换的方式得到一组具有明显物理或统计意义的特征➢ 有时能发现更有意义的特征属性	➢ 从特征集合中挑选一组具有明显物理或统计意义的特征子集➢ 能表示出每个特征对于模型构建的重要性