学 习 （ supervised learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 策面），使得支持向量到该平面的 距离最大。 距离 7 1.支持向量机概述 背景知识 任意超平面可以用下面这个线性方程来描述： ?T? + ? = 0 二维空间点 (?, ?)到直线 ?? + ?? + ? = 0的距离公式是： |?? + ?? + ?| ?2 + ?2 扩展到 ? 维空间后，点 ? = (?1, ?2 … ??) 到超平面 ?T? + ? = 0 的距离为： |?T?+?| ||?|| 持 向量到超平面的距离为 ?，其他点到超平面的距 离大于 ?。每个支持向量到超平面的距离可以写 为：? = |?T?+?| ||?|| 8 1.支持向量机概述 背景知识 ?T? + ? = 0 ?T? + ? = 1 ?T? + ? = −1 ? = |?T? + ?| ||?|| 如图所示，根据支持向量的定义我们知道，支持向量到超平 面的距离为 ?，其他点到超平面的距离大于

2023年04月 深度学习-优化算法 黄海广 副教授 2 01 小批量梯度下降 本章目录 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 3 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 1.小批量梯度下降 4 小批量梯度下降 小批量梯度下降（Mini-Batch −1 ℎ ?(?) − ?(?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 2.优化算法 7 伦敦温度的例子 days temperature ?1 = 40°F ?2 = 49°F ?3 = 45°F 学习率设为? = 1 1+?????????∗epoch−num ?0 （decay-rate称为衰减率，epoch-num为代数，?0为初始学习率） 14 Pytorch的优化器 # 超参数 LR = 0.01 opt_SGD = torch.optim.SGD(net_SGD.parameters(), lr=LR) opt_Momentum = torch.optim.SGD(net_Momentum

模型 大多数机器学习会涉及到数据的转换。比如一个“摄取照片并预测笑脸”的系统。再比如通过摄取到的一组 传感器读数预测读数的正常与异常程度。虽然简单的模型能够解决如上简单的问题，但本书中关注的问题超 出了经典方法的极限。深度学习与经典方法的区别主要在于：前者关注的功能强大的模型，这些模型由神经 网络错综复杂的交织在一起，包含层层数据转换，因此被称为深度学习（deep learning）。在讨论深度模型 人类的棋力，使用和蒙特卡洛树抽样 (Silver et al., 2016) 相结合的深度学习。扑克中的挑战是状态空间 很大，而且没有完全观察到（我们不知道对手的牌）。在扑克游戏中，库图斯使用有效的结构化策略超 过了人类的表现 (Brown and Sandholm, 2017) 。这说明了游戏取得了令人瞩目的进步以及先进的算法 在其中发挥了关键作用的事实。 • 人工智能进步的另一个迹象是自动驾驶汽车 size）。η表示学习率（learning rate）。批量 大小和学习率的值通常是手动预先指定，而不是通过模型训练得到的。这些可以调整但不在训练过程中更新 的参数称为超参数（hyperparameter）。调参（hyperparameter tuning）是选择超参数的过程。超参数通常 88 3. 线性神经网络 是我们根据训练迭代结果来调整的，而训练迭代结果是在独立的验证数据集（validation dataset）上评估得

在图片识别、目标检测、语义分割、图像变换等方向，几乎都是基于深度学习端到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在 49 个游戏上获得人类相当的游戏水 平，呈现出一定程度的通用智能。图 1.14 是 DQN 算法的网络结构，它并不是针对于某个 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 GAN 模型产生的图片效果达到了肉眼难辨 真伪的程度，如图 1.17 为某 GAN 模型的生成图片。 除了上述应用，深度学习也在其它方向上取得了不俗的效果，比如艺术风格迁移(图 1.18)、超分辨率、AI 换脸、超级夜景等一系列非常实用酷炫的任务，限于篇幅，不再赘 述。 图 1.17 自动生成的图片 图 1.18 艺术风格迁移效果图 1.4.2 自然语言处理 手写数字图片集，输入节点数为 784，第一层的输出节点数是 256，第二层的输出节点数是 128，第三层的输出节点是 10，也就是当前样本属于 10 类别 的概率。 第一步，加载数据集，并定义批大小和学习率超参数，代码如下： batch_size = 512 # batch size lr = 0.001 # 学习率 # 自动下载、加载数据集 train_loader = torch

qwen1_5-7b-chat-q5_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with- �→qwen.txt -n 指的是要生成的最大 token 数量。这里还有其他超参数供你选择，并且你可以运行 ./main -h 以了解它们。 1.4.3 生成你的 GGUF 文件 We introduce the method of creating and quantizing 为了让您能够快速开始微调，我们直接提供了一个 shell 脚本，您可以无需关注具体细节即可运行。针对不同 类型的训练（例如单 GPU 训练、多 GPU 训练、全参数微调、LoRA 或 Q-LoRA），您可能需要不同的超参数 设置。 cd examples/sft bash finetune.sh -m -d --deepspeed [--use_lora␣ 。如果您使用 LoRA 或 Q-LoRA，只需根据您的需求添加 --use_lora True 或 --q_lora True 。这是开始微调的最简单方式。如果您想更改更多超参数，您可以深入脚本并修改这些参数。 高级用法 在这个部分中，我们介绍 python 脚本以及 shell 脚本的相关细节 Shell 脚本 在展示 Python 代码之前，我们先对包含命令的

confusion_matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. 25 2.Scikit-learn主要用法 交叉验证及超参数调优 from sklearn.model_selection import cross_val_score clf = DecisionTreeClassifier(max_depth=5) sklearn提供了部分带交叉验证功能的模型 类如LassoCV、LogisticRegressionCV等， 这些类包含cv参数 26 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺网格搜索 from sklearn.model_selection import GridSearchCV from sklearn import svm svc = svm.SVC() fit(X_train, y_train) grid_search.best_params_ 在参数网格上进行穷举搜索，方法简单但是搜索速度慢（超参数较多时），且不 容易找到参数空间中的局部最优 27 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺随机搜索 from sklearn.model_selection import RandomizedSearchCV from

25 7.参数和超参数 什么是超参数？ 比如算法中的learning rate ?（学习率）、iterations(梯度下降法循环 的数量)、?（隐藏层数目）、?ሾ?] （隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实 际上控制了最后的参数?和?的值，所以它们被称作超参数。 26 7.参数和超参数 深度学习和大脑的关联性

首先要找到该目标点的叶子节点，然后以目标点为 圆心，目标点到叶子节点的距离为半径，建立一个超 球体，我们要找寻的最近邻点一定是在该球体内部。 搜索（4,4）的最近邻时。首先从根节点（6,4）出发 ，将当前最近邻设为（6,4），对该KD树作深度优先 遍历。以（4,4）为圆心，其到（6,4）的距离为半径 画圆（多维空间为超球面），可以看出（7,2）右侧 的区域与该圆不相交，所以（7,2）的右子树全部忽 2）的右子树全部忽 略。 23 KD树搜索 2.返回叶子结点的父节点，检查另一个子结点包含的 超矩形体是否和超球体相交，如果相交就到这个子节 点寻找是否有更加近的近邻,有的话就更新最近邻。 接着走到（6,4）左子树根节点（4,5），与原最近 邻对比距离后，更新当前最近邻为（4,5）。 以（4,4）为圆心，其到（4,5）的距离为半径画圆 ，发现（6,4）右侧的区域与该圆不相交，忽略该侧 所有节点，这样（6

为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 含的点数目。 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps)和最小包含点数(minPts)来获得簇的数量，而不是猜测簇的数目。 ➢ 扫描半径 (eps) : 用于定位点/检查任何点附近密度的距离度量，即扫描半径。 ➢ 最小包含点数(minPts) 将距离不超过Eps=3的点相互 连接，构成一个簇，核心点邻 域内的点也会被加入到这个簇 中。 X Y 36 密度聚类-DBSCAN DBSCAN的超参数 DBSCAN超参数案例 图片编号 (a) (b) (c) (d) 评价指标 超参数 eps=0.3 minPts=10 eps=0.1 minPts=10 eps=0.4 minPts=10 eps=0.3 minPts=6 估计的簇的数量

360导航 日均独立访问用户为8900万人 日均点击量约为4.51亿次 360搜索 稳定拥有35%以上的市场份额 中国最大的互联网安全公司 360智能硬件 智能摄像头超400万，儿童手表超 350万，行车记录仪超300万 SACC2017 奇虎360 安全 ——360的基因 SACC2017 【万物互联的新时代】 线上安全 线下安全 泛 安 全 安全 ｜ ｜ ｜ ｜