## PyTorch ## 交叉熵 主讲人：龙良曲 ## Why not MSE? |Label|predict|correct| |---|---|---| |3|\[0.3, 0.3, 0.4]|yes| |2|\[0.3, 0.4, 0.3]|yes| |1|\[0.1, 0.2, 0.7]|no| |Label|predict|correct| |---|---|---| |3|\[0

核心是 “信息熵”，期望信息越小，信息熵越大，样本纯度越低。 ● ID3 算法是以信息论为基础，以信息增益为衡量标准，从而实现对数据的归纳分类。 ● ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定的测试属性。 ### 2. ID3算法 ## I D3 算法 其大致步骤为： 1. 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当前决策节点； ## 信息熵 信息熵 $$ H(D)=-\sum_{k=1}^{K}\frac{\left|C_{k}\right|}{\left|D\right|}l o g_{2}\frac{\left|C_{k}\right|}{\left|D\right|} $$ K 是类别，D 是数据集， $ C_{k} $ 是类别 K 下的数据集 右边数据中： |数量|是|否|信息熵| |---|---|---|---| |12|老年|是|否|好|是| |13|老年|是|否|非常好|是| |14|老年|否|否|一般|否| ## 信息熵 按年龄划分 $$ \begin{array}{c|cccc}{{{年龄}}}&{{{数量}}}&{{{是}}}&{{{否}}}&{{{信息熵}}} \\{{{\hline 青年}}}&{{{5}}}&{{{2}}}&{{{3}}}&{{{0

b}\mathcal{L}(\boldsymbol{o},\boldsymbol{y}) $$ 对于分类问题的误差计算来说，更常见的是采用交叉熵(Cross Entropy)损失函数，而较少采用回归问题中介绍的均方误差损失函数。本书将在第6章详细介绍交叉熵损失函数，这里仍然使用均方误差损失函数来求解手写数字识别问题(机器学习的做法是多种多样的，不要迷信某种做法，理解了算法思想即可随意变通)。对于n个样本的均方误差损失函数可以表达为： 函数的数值计算过程中，容易因输入值偏大发生数值溢出现象；在计算交叉熵时，也会出现数值溢出的问题。为了数值计算的稳定性，PyTorch 中提供了一个统一的接口 nn.CrossEntropyLoss 类，将 Softmax 函数和交叉熵损失函数同时实现，同时也处理了可能发生数值不稳定的异常，一般推荐使用这个接口，避免自行调用 Softmax、Log、NLLLoss 这一系列运算实现交叉熵损失函数。 下面利用一个具体的例子来验证 下面利用一个具体的例子来验证 Softmax、Log、NLLLoss 和 CrossEntropyLoss 之间的关系。首先按照数学定义，独立实现交叉熵损失值计算： In [13]: # 构造输出层的输出 z = torch.randn([2, 10]) # 计算 Log softmax 值，在 dim=1 为概率值的维度 a = F.log_softmax(z, dim=1) # 构造真实值，整型 y = torch

\sigma_{X} $ : 随机变量X的标准差 • Cov(X,Y): 随机变量X和Y的协方差 • $ \rho(X,Y) $ : 随机变量X和Y的相关性 • $ H(X) $ : 随机变量X的熵 $ D_{\mathrm{KL}}(P\|Q) $ : P 和 Q 的 KL-散度 ## 复杂度 · O: 大O标记 Discussions $ ^{11} $ ## 1 ## 引言 ss classification）问题。常见的例子包括手写字符识别 $ \{0,1,2,\ldots,9,a,b,c,\ldots\} $ 。与解决回归问题不同，分类问题的常见损失函数被称为交叉熵（cross-entropy），本书3.4节将详细阐述。 请注意，最常见的类别不一定是最终用于决策的类别。举个例子，假设后院有一个如图1.3.2所示的蘑菇。 =-\sum_{j=1}^{q}y_{j}\log\hat{y}_{j}. $$ 在本节稍后的内容会讲到， $ (3.4.8) $ 中的损失函数通常被称为交叉熵损失（cross-entropy loss）。由于 y 是一个长度为 q 的独热编码向量，所以除了一个项以外的所有项 j 都消失了。由于所有 $ \hat{y}_{j} $ 都是预测的概率，所以它们的对数永远不会大于

分布式 最终一致性 Serf 基于Gossip的Membership Gossip: 八卦，反熵，C $ ^{*} $ Gossip Might Be Good 分布式 最终一致性 Serf 基于Gossip的Membership Gossip: 八卦，反熵，C $ ^{*} $ Membership: 找到其它网络节点 ’ alt=‘OCR图片’/> 分布式 Serf 基于Gossip的Membership Gossip: 八卦，反熵，C $ ^{*} $ Membership: 找到其它网络节点 最终每个节点都可以获取到整个网络拓扑 ’ alt=‘OCR图片’/> 分布式 最终一致性 Serf 基于Gossip的Membership Gossip: 八卦，反熵，C $ ^{*} $ Membership: 找到其它网络节点 最终每个节点都可以获取到整个网络拓扑

softmax 10. } ## 神经网络训练 • 损失函数 ☐ 评估当前结果与预期结果之间的“差距” ☐ 我们选择交叉熵 • 梯度下降 ☐ 梯度决定参数的调整方向 • 学习率 ☐ 学习率决定参数的调整幅度 ☐ 我们选择指数下降，逐渐逼近 ## 神经网络训练 • 多分类问题交叉熵： $ I(x_{j})=-\ln(p(x_{j})) $ ☐ $ x_{j} $ ：事件； $ p(x_{j}) p(x_{j}) $ ： $ x_{j} $ 发生的概率 • 损失函数：基于抽象的定义 1. trait Log { 2. log(Self) -> Self // 用于计算交叉熵 3. } 4. fn cross_entropy[T : Base + Log](inputs: Array[T], expected: Int) -> Double { 5. -inputs[expected]

accuracy_score() | 正确率 metrics.precision_score() | 各类精确率 metrics.f1_score() | F1 值 metrics.log loss() | 对数损失或交叉熵损失 metrics.confusion matrix | 混淆矩阵 metrics.classification_report | 含多种评价的分类报告 ### 2. Scikit-learn主要用法 | 正确率. metrics.precision_score() | 各类精确率. metrics.f1_score() | F1 值. metrics.log loss() | 对数损失或交叉熵损失. metrics.confusion matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. ### 2. Scikit-learn主要用法

model.compile(optimizer=OPT, loss=LOSS, metrics=['accuracy']) ## 模型损失函数设计 ## 交叉熵（Cross-Entropy, CE） 我们使用交叉熵作为该模型的损失函数。 虽然 Categorical / Binary CE 是更常用的损失函数，不过他们都是 CE 的变体。 CE 定义如下: $$ CE=-\s