## PyTorch ## 交叉熵 主讲人：龙良曲 ## Why not MSE? |Label|predict|correct| |---|---|---| |3|\[0.3, 0.3, 0.4]|yes| |2|\[0.3, 0.4, 0.3]|yes| |1|\[0.1, 0.2, 0.7]|no| |Label|predict|correct| |---|---|---| |3|\[0

b}\mathcal{L}(\boldsymbol{o},\boldsymbol{y}) $$ 对于分类问题的误差计算来说，更常见的是采用交叉熵(Cross Entropy)损失函数，而较少采用回归问题中介绍的均方误差损失函数。本书将在第6章详细介绍交叉熵损失函数，这里仍然使用均方误差损失函数来求解手写数字识别问题(机器学习的做法是多种多样的，不要迷信某种做法，理解了算法思想即可随意变通)。对于n个样本的均方误差损失函数可以表达为： 函数的数值计算过程中，容易因输入值偏大发生数值溢出现象；在计算交叉熵时，也会出现数值溢出的问题。为了数值计算的稳定性，PyTorch 中提供了一个统一的接口 nn.CrossEntropyLoss 类，将 Softmax 函数和交叉熵损失函数同时实现，同时也处理了可能发生数值不稳定的异常，一般推荐使用这个接口，避免自行调用 Softmax、Log、NLLLoss 这一系列运算实现交叉熵损失函数。 下面利用一个具体的例子来验证 下面利用一个具体的例子来验证 Softmax、Log、NLLLoss 和 CrossEntropyLoss 之间的关系。首先按照数学定义，独立实现交叉熵损失值计算： In [13]: # 构造输出层的输出 z = torch.randn([2, 10]) # 计算 Log softmax 值，在 dim=1 为概率值的维度 a = F.log_softmax(z, dim=1) # 构造真实值，整型 y = torch

Kaggle ..... 182 4.10.3 访问和读取数据集 ..... 183 4.10.4 数据预处理 ..... 184 4.10.5 训练 ..... 185 4.10.6 K 折交叉验证 ..... 186 4.10.7 模型选择 ..... 187 4.10.8 提交 Kaggle 预测 ..... 188 深度学习计算 ..... 191 5.1 层和块 . \sigma_{X} $ : 随机变量X的标准差 • Cov(X,Y): 随机变量X和Y的协方差 • $ \rho(X,Y) $ : 随机变量X和Y的相关性 • $ H(X) $ : 随机变量X的熵 $ D_{\mathrm{KL}}(P\|Q) $ : P 和 Q 的 KL-散度 ## 复杂度 · O: 大O标记 Discussions $ ^{11} $ ## 1 ## 引言 ass classification）问题。常见的例子包括手写字符识别 $ \{0,1,2,\ldots,9,a,b,c,\ldots\} $ 。与解决回归问题不同，分类问题的常见损失函数被称为交叉熵（cross-entropy），本书3.4节将详细阐述。 请注意，最常见的类别不一定是最终用于决策的类别。举个例子，假设后院有一个如图1.3.2所示的蘑菇。 ![Image](/uploads/

softmax 10. } ## 神经网络训练 • 损失函数 ☐ 评估当前结果与预期结果之间的“差距” ☐ 我们选择交叉熵 • 梯度下降 ☐ 梯度决定参数的调整方向 • 学习率 ☐ 学习率决定参数的调整幅度 ☐ 我们选择指数下降，逐渐逼近 ## 神经网络训练 • 多分类问题交叉熵： $ I(x_{j})=-\ln(p(x_{j})) $ ☐ $ x_{j} $ ：事件； $ p(x_{j}) p(x_{j}) $ ： $ x_{j} $ 发生的概率 • 损失函数：基于抽象的定义 1. trait Log { 2. log(Self) -> Self // 用于计算交叉熵 3. } 4. fn cross_entropy[T : Base + Log](inputs: Array[T], expected: Int) -> Double { 5. -inputs[expected]

Scikit-learn主要用法 ## 特征选择 fs.SelectKBest(score_func, k) 过滤式（Filter），保留得分排名前k的特征（top k方式） 封装式（Wrap-per），结合交叉验证的递归特征消除法，自动选择最优特征个数 fs.SelectFromModel(estimator) 嵌入式（Embedded），从模型中自动选择特征，任何具有coef_或者 feature accuracy_score() | 正确率 metrics.precision_score() | 各类精确率 metrics.f1_score() | F1 值 metrics.log loss() | 对数损失或交叉熵损失 metrics.confusion matrix | 混淆矩阵 metrics.classification_report | 含多种评价的分类报告 ### 2. Scikit-learn主要用法 f1_score() | F1 值. metrics.log loss() | 对数损失或交叉熵损失. metrics.confusion matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. ### 2. Scikit-learn主要用法 ## 交叉验证及超参数调优 from sklearn.model_selection import