1 2022年02月 机器学习-逻辑回归 黄海广 副教授 2 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 3 1.分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 4 监督学习的最主要类型 ✓ 分类（Classification） Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 8 ? ? 代表一个常用的逻辑函数（logistic function）为?形函数（Sigmoid function） 则：? ? = ? ? = 1 1+?−? 合起来，我们得到逻辑回归模型的假设函数： 当? ? 大于等于0.5时，预测 y=1 当? ? 小于0 10 2.Sigmoid函数 将?进行逻辑变换：? ? = 1 1+?−? ?′(?) = ( 1 1 + ?−?)′ = ?−? (1 + ?−?)2 = 1 + ?−? − 1 (1 + ?−?)2 = 1 (1 + ?−?) (1 − 1 (1 + ?−?)) = ?(?)(1 − ?(?)) ? ? 11 3.逻辑回归求解 01 分类问题 02 Sigmoid函数

4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 −阿兰·图灵 1.1 人工智能 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial 是可行 的。 怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历了三个阶段，每 个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总 结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂

适量的新概念，并提供可独立工 作的例子——使用真实的数据集。这带来了组织上的挑战。某些模型可能在逻辑上组合在单节中。而一些想 法可能最好是通过连续允许几个模型来传授。另一方面，坚持“一个工作例子一节”的策略有一个很大的好 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 用户的动态；其中，这个应用程序的核心——“业务逻辑”，详细说明了应用程序在各种情况下进行的操作。 为了完善业务逻辑，开发人员必须细致地考虑应用程序所有可能遇到的边界情况，并为这些边界情况设计合 适的规则。当买家单击将商品添加到购物车时，应用程序会向购物车数据库表中添加一个条目，将该用户ID与 商品ID关联起来。虽然一次编写出完美应用程序的可能性微乎其微，但在大多数情况下，开发人员可以从上 述的业务逻辑出发，编写出符合业 述的业务逻辑出发，编写出符合业务逻辑的应用程序，并不断测试直到满足用户的需求。根据业务逻辑设计 自动化系统，驱动正常运行的产品和系统，是一个人类认知上的非凡壮举。 幸运的是，对日益壮大的机器学习科学家群体来说，实现很多任务的自动化并不再屈从于人类所能考虑到的 逻辑。想象一下，假如开发人员要试图解决以下问题之一： • 编写一个应用程序，接受地理信息、卫星图像和一些历史天气信息，并预测明天的天气； • 编写一个应用程序，

activation='relu')(x) x = Dense(64, activation='relu')(x) x = Dense(64, activation='relu')(x) # 最后添加主要的逻辑回归层 main_output = Dense(1, activation='sigmoid', name='main_output')(x) 然后定义一个具有两个输入和两个输出的模型： model 来考虑推特推文数据集。我们想要建立一个模型来分辨两条推文是否来自同一个人（例如， 通过推文的相似性来对用户进行比较）。 实现这个目标的一种方法是建立一个模型，将两条推文编码成两个向量，连接向量，然后 添加逻辑回归层；这将输出两条推文来自同一作者的概率。模型将接收一对对正负表示的推特 数据。 由于这个问题是对称的，编码第一条推文的机制应该被完全重用来编码第二条推文。这里 我们使用一个共享的 LSTM # 然后再连接两个向量： merged_vector = keras.layers.concatenate([encoded_a, encoded_b], axis=-1) # 再在上面添加一个逻辑回归层 predictions = Dense(1, activation='sigmoid')(merged_vector) # 定义一个连接推特输入和预测的可训练的模型 model = M

1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)； 训练数据集的输出值，维度为1 × ?。 5 逻辑回归 Logistic Regression 经典的分类算法,简单、有效， 目前用到最多的机器学习分类算法之一。 ? ? 代表一个常用的逻辑函数（logistic function） 为?形函数（Sigmoid function） 则：? ? = 1 1+?−? 合起来，我们得到逻辑回归模型的假设函数： 当? ? 大于等于0.5时，预测 5时，预测 y=1 当? ? 小于0.5时，预测 y=0 sigmoid 函数 ?=??? + ? ൯ ? ̰? , ? = −?log(̰?) − (1 − ?)log(1 − ̰? 6 逻辑回归 损失函数 ൯ ? ̰? , ? = −?log(̰?) − (1 − ?)log(1 − ̰? 为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函 数，算法的代价函数是对

模型计算引擎（Engine）  计算图框架（Graph） • 模型计算引擎Engine  模型结构处理  与PS通信交换模型参数  计算图的计算 • 计算图框架Graph  计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 分业务场景支持  轻量级predictor：仅支持模型的计算，特征由业务传入，无状态设计  自定义predictor： 提供业务抽象，支持业务自定义逻辑，插件化实现 • 逻辑阶段抽象，业务根据自身需求选择性实现  数据获取： 根据业务的自身逻辑获取特征原始数据  特征抽取： 将特征数据进行转换，转换成模型所需的格式，比如离散化  模型计算： 传入转换后的特征数据，调用模型计算引擎 在线预估服务 在线预估服务 • 特征编码方式  通过明文hash的方式编码  适用于特征的动态增长  不需要预分配，提高处理效率 • 框架与实现分离  提供op形式的特征抽取类  逻辑一致性：在线、近线、离线 特征抽取框架 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型

的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如数据是完 要大许多，即训练集数据量不够支持我们训练一个复 杂的非线性模型，我们选用逻辑回归模型或者不带核函数的支持向量机。 (2)如果?较小，而且?大小中等，例如?在 1-1000 之间，而?在10-10000之 间，使用高斯核函数的支持向量机。 (3)如果?较小，而?较大，例如?在1-1000之间，而?大于50000，则使用支 持向量机会非常慢，解决方案是创造、增加更多的特征，然后使用逻辑回归 或不带核函数的支持向量机。 28

原理：嵌入式特征选择是将特征选择与学习器训练过程融为一体，两 者在同一个优化过程中完成的。即学习器训练过程中自动进行了特征 选择。 常用的方法包括： ➢利用正则化，如L1, L2 范数，主要应用于如线性回归、逻辑回归以及 支持向量机(SVM)等算法；优点：降低过拟合风险；求得的 w 会有 较多的分量为零，即：它更容易获得稀疏解。 ➢使用决策树思想，包括决策树、随机森林、Gradient Boosting 统计研究,2019,36(01) 在 Lasso 中，λ 参数控制了稀疏性： ➢如果 λ 越小，则稀疏性越小，被选择的特征越多 ➢相反 λ 越大，则稀疏性越大，被选择的特征越少 在 SVM 和 逻辑回归中，参数 C 控制了稀疏性： ➢如果 C 越小，则稀疏性越大，被选择的特征越少 ➢如果 C 越大， 则稀疏性越小，被选择的特征越多 常见的嵌入式选择模型： 嵌入式 4. 特征选择 37

000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ?? = ? ?? 3 4 σ?=1 10,000 ? ?? 3 4 20 应（例如微调）广泛的下游任务，目前例子包括BERT（ Devlin et al.）、GPT-3（Brown et al. 2020）和CLIP（Radford et al. 2021）。 ✓ 机器学习使学习算法同质化（例如，逻辑回归），深度学习使模型架构同质化（如卷积神经网络），而基础模型使模型本身同质化（比如， GPT-3）。 图37：人工智能的发展呈现同质化的过程 随着机器学习的引入，任务是如何执行的 （自动推断）从例子中显现出来

重复使用，但不参与求导的场景 下 tensor.detach() 共享 否 常用在神经网络中仅要利用张量 数值，而不需要追踪导数的场景 下 tensor.clone().detach() 新建 否 只做简单的数据复制，既不数据 共享，也不对梯度共享，从此两 个张量无关联。 2. Autograd自动求导 19 2. Autograd自动求导 在训练一个神经网络时，梯度的计算是一个关键的步骤，它为神经 网络的优化提供了关键数据。