自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw ▪ 提取码：dsxl Splitting ▪ 皮卡丘：234 ▪ 超梦：239 ▪ 杰尼龟：223 ▪ 小火龙：238 ▪ 妙蛙种子：234 60%：138 20%：46 20%：46 4 steps ▪ Load data ▪ Build model ▪ Train and Test ▪ Transfer Learning Step1.Load data ▪ Inherit

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2.1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.2.2 处理缺失值 . . . . . . . . . . . . . . . . . . . . 95 3.2.1 生成数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 3.2.2 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.3.1 生成数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.3.2 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . .

第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题

Scikit-learn案例 7 X_train | 训练数据. X_test | 测试数据. X | 完整数据. 符号标记 2.Scikit-learn主要用法 y_train | 训练集标签. y_test | 测试集标签. y | 数据标签. 8 2.Scikit-learn主要用法 导入工具包 from sklearn import datasets, preprocessing from Py的稀 疏 矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy data如S型数据等的生成工具 from sklearn.datasets import load_iris iris = load_iris() random_state=12, stratify=y, test_size=0.3) 将完整数据集的70%作为训练集，30%作为测试集，并使得测试集和训练集 中各类别数据的比例与原始数据集比例一致（stratify分层策略），另外 可通过设置 shuffle=True 提前打乱数据 数据划分 训练集 测试集 数据集 11 2.Scikit-learn主要用法 使⽤Scikit-learn进⾏数据标准化

qwen1_5-7b-chat-q5_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with- �→qwen.txt -n 指的是要生成的最大 token 数量。这里还有其他超参数供你选择，并且你可以运行 ./main -h 以了解它们。 1.4.3 生成你的 GGUF 文件 We introduce the method of creating and quantizing information. 1.4.4 PPL 评测 llama.cpp 为我们提供了评估 GGUF 模型 PPL 性能的方法。为了实现这一点，你需要准备一个数据集，比如 “wiki 测试”。这里我们展示了一个运行测试的例子。 第一步，下载数据集： wget https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-2-raw-v1 git cd AutoAWQ pip install -e . 假设你已经基于 Qwen1.5-7B 模型进行了微调，并将其命名为 Qwen1.5-7B-finetuned ，且使用的是你 自己的数据集，比如 Alpaca。若要构建你自己的 AWQ 量化模型，你需要使用训练数据进行校准。以下，我 们将为你提供一个简单的演示示例以便运行： from awq import AutoAWQForCausalLM

无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签? ，我们的目标是找到能够 区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非 甲状腺疾病的数据集应用无监督学习时，可 以使用聚类算法来识别甲状腺疾病数据集。 8 1.无监督学习方法概述 聚类案例 2.市场细分 为了吸引更多的客户，每家公司都在开发易 于使用的功能和技术。为了了解客户，公司 可以使用聚类。聚类将帮助公司了解用户群 图中的数据可以分成三个分开的点集(称为簇)，一个能够分出这些点集的算 法，就被称为聚类算法。 聚类算法示例 2.K-means聚类 14 2.K-means聚类 K-均值算法(K-means)算法概述 K-means算法是一种无监督学习方法，是最普及的聚类算法，算法使用 一个没有标签的数据集，然后将数据聚类成不同的组。 K-means算法具有一个迭代过程，在这个过程中，数据集被分组成若干 个

机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 6 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 • 基于性能指标比较几种机 器学习模型 • 对最佳模型执行超参数调 整 • 在测试集上评估最佳模型 • 解释模型结果 • 得出结论 • 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 22 数据划分 训练集 测试集 数据集 验证集 训练集 测试集 验证集 时间序列 不考虑时间因素，通常打乱数据 3.特征工程 23 4.数据建模 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 24 数据建模 • 基于性能指标比较几种机器学习模型 • 对最佳模型执行超参数调整 • 在测试集上评估最佳模型 • 解释模型结果

(?)||2 + ?, 0) 假设有1000个不同的人的10000张照片，也就是这1000个人平均每个人10张 照片，组成了整个数据集。 如果每个人只有1张照片，那么根本没法训练这个系统。 14 1.人脸识别概述 Triplet 损失 为了构建一个数据集，你要做的就是尽可能选择难训练的三元组?、? 和?。具体而言，你想要所有的三元组都满足这个条件 （?(?, ?) + ? ≤ ?( 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 24 2.神经风格迁移 ?(?) = ??content(?, ?) + ??style(?, ?) 两个超参数?和?来确定内容代价和风格代价 给你一个内容图像?，给定一个风格图 片?，而你的目标是生成一个新图片? 25 2.神经风格迁移 • 随机初始化生成图像?，如100×100×3，500×500×3，又或者是任何你想要的尺寸。 GB通 道的图片。 26 2.神经风格迁移 内容代价函数（Content cost function） ?(?) = ??content(?, ?) + ??style(?, ?) 两个超参数?和?来确定内容代价和风格代价 27 2.神经风格迁移 风格代价函数（Style cost function） 28 2.神经风格迁移 29 一维到三维推广 30 一维到三维推广

深度学习-深度学习实践 黄海广 副教授 2 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 本章目录 3 训练集（Training Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev Set ），用来做 模型选择（model 用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）： 为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1% （假设百万条数据） 数据集划分 数据集 训练集 验证集 测试集 4 交叉验证 1. 使用训练集训练出10个模型 2. 用10个模型分别对交叉验证集 计算得出交叉验证误差（代价函 计算得出交叉验证误差（代价函 数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试 集计算得出推广误差（代价函数 的值） 5 数据集制作 PyTorch的dataloader是用于读取训练数据的工具，它可以自动将数据分割 成小batch，并在训练过程中进行数据预处理。 6 数据集制作 class MyDataset(Dataset): def __init__(self

01 数据集划分 02 评价指标 03 正则化、偏差和方差 本章目录 3 01 数据集划分 02 评价指标 1.数据集划分 03 正则化、偏差和方差 4 训练集（Training Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev Set ），用来做 用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）： 为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1% （假设百万条数据） 1.数据集划分 数据集 训练集 验证集 测试集 5 交叉验证 1. 使用训练集训练出k个模型 2. 用k个模型分别对交叉验证集计算得 出交叉验证误差（代价函数的值） 出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出 推广误差（代价函数的值） 6 数据不平衡是指数据集中各类样本数量不均衡的情况. 常用不平衡处理方法有采样和代价敏感学习 采样欠采样、过采样和综合采样的方法 不平衡数据的处理 7 SMOTE(Synthetic Minority Over-sampling Technique)算法是过采样