## PyTorch ## 交叉熵 主讲人：龙良曲 ## Why not MSE? |Label|predict|correct| |---|---|---| |3|\[0.3, 0.3, 0.4]|yes| |2|\[0.3, 0.4, 0.3]|yes| |1|\[0.1, 0.2, 0.7]|no| |Label|predict|correct| |---|---|---| |3|\[0

2 $zfile = "upload.txt"; $date = date('Y-m-d G:i:s', time()); ## 211交付速度 ——聊聊研发效能度量那些事儿 @张燎原 阿里巴巴高级技术专家 ## SELF INTRODUCTION  ## Content ## ↓ 好的度量是什么 What's Good Metrics 研发效能度量体系 R&D Efficiency Metrics

决策树算法属于监督学习方法。 ● 决策树归纳的基本算法是贪心算法，自顶向下来构建决策树。 ● 贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。 ● 在决策树的生成过程中，分割方法即属性选择的度量是关键。 ### 1. 决策树原理 ## 决策树的特点 ## 优点： ● 推理过程容易理解，计算简单，可解释性强。 ● 比较适合处理有缺失属性的样本。 ● 可自动忽略目标变量没有贡献的属性 核心是 “信息熵”，期望信息越小，信息熵越大，样本纯度越低。 ● ID3 算法是以信息论为基础，以信息增益为衡量标准，从而实现对数据的归纳分类。 ● ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定的测试属性。 ### 2. ID3算法 ## I D3 算法 其大致步骤为： 1. 初始化特征集合和数据集合； 2. 计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当前决策节点； ## 信息熵 信息熵 $$ H(D)=-\sum_{k=1}^{K}\frac{\left|C_{k}\right|}{\left|D\right|}l o g_{2}\frac{\left|C_{k}\right|}{\left|D\right|} $$ K 是类别，D 是数据集， $ C_{k} $ 是类别 K 下的数据集 右边数据中： |数量|是|否|信息熵| |---|---|---|---|

## 机器学习-KNN算法 黄海广 副教授 2021年04月 ## 本章目录 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 ### 1. 距离度量 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 ## 距离度量 欧氏距离(Euclidean distance) 电影分类 =\sqrt{\sum_{i}(x_{i}-y_{i})^{2}} $$ 欧几里得度量（Euclidean Metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。 ## 距离度量 曼哈顿距离(Manhattan distance) ## 1 $$ d(x 两点间的直线距离吗？显然不是，除非你能穿越大楼。实际驾驶距离就是这个“曼哈顿距离”。而这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(City Block distance)。 ## 距离度量 ## 切比雪夫距离(Chebyshev distance) ||a|b|c|d|e|f|g|h| |---|---|---|---|---|---|---|---|---| |8|5|4|3|2|2|2|2|8|

b}\mathcal{L}(\boldsymbol{o},\boldsymbol{y}) $$ 对于分类问题的误差计算来说，更常见的是采用交叉熵(Cross Entropy)损失函数，而较少采用回归问题中介绍的均方误差损失函数。本书将在第6章详细介绍交叉熵损失函数，这里仍然使用均方误差损失函数来求解手写数字识别问题(机器学习的做法是多种多样的，不要迷信某种做法，理解了算法思想即可随意变通)。对于n个样本的均方误差损失函数可以表达为： ，因此通过获取这些张量的统计信息可以较轻松地推测张量数值的分布。下面将介绍一些常用的张量统计函数。 #### 5.2.1 向量范数 向量范数(Vector Norm)是表征向量 “长度” 的一种度量方法，它可以推广到张量上。在神经网络中，常用来表示张量的权值大小、梯度大小等。常用的向量范数有： ☐ L1 范数，定义为向量 x 的所有元素绝对值之和 $$ \|\boldsymbol{x}\| $ \theta $ 参数化的神经网络模型， $ g(\cdot) $ 称之为误差函数，用来描述当前网络的预测值 $ f_{\theta}(\boldsymbol{x}) $ 与真实标签y之间的差距度量，比如常用的均方差误差函数。L称为网络的误差(Error，或损失Loss)，一般为标量。通常希望通过在训练集D $ ^{train} $ 上面学习到一组参数 $ \theta $ 使得训练的误差L最小：

\sigma_{X} $ : 随机变量X的标准差 • Cov(X,Y): 随机变量X和Y的协方差 • $ \rho(X,Y) $ : 随机变量X和Y的相关性 • $ H(X) $ : 随机变量X的熵 $ D_{\mathrm{KL}}(P\|Q) $ : P 和 Q 的 KL-散度 ## 复杂度 · O: 大O标记 Discussions $ ^{11} $ ## 1 ## 引言 算法，我们不需要设计一个“明确地”识别唤醒词的系统。相反，我们只需要定义一个灵活的程序算法，其输出由许多参数（parameter）决定，然后使用数据集来确定当下的“最佳参数集”，这些参数通过某种性能度量方式来达到完成任务的最佳性能。 那么到底什么是参数呢？参数可以被看作旋钮，旋钮的转动可以调整程序的行为。任一调整参数后的程序被称为模型（model）。通过操作参数而生成的所有不同程序（输入-输出映 1.2.3 目标函数 前面的内容将机器学习介绍为“从经验中学习”。这里所说的“学习”，是指自主提高模型完成某些任务的效能。但是，什么才算真正的提高呢？在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，这被称之为目标函数（objective function）。我们通常定义一个目标函数，并希望优化它到最低点。因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost

能够适应制品变化的DevOPS+能够适应技术环境变化的技术底座=云原生平台；其中变化是以研发循环形式不断出现和累加的，如果不进行治理，那么这些变化就会积累，稳定性的破坏是熵增的，而云原生基础设施就要做到对变化产生的不稳定因素进行熵减处理 - 向上站在企业立场上：是要解决微服务体系快速落地的问题，低成本支撑企业创新以及数字疆域规模扩张 ## 什么是云原生(Cloud Native Computing)—>为云而生 AWS、AliYun... 智能运维 监控指标 数据度量 报警订阅 故障根因 事件联动 可观察性 安全保障 应用安全 数据安全 可信环境 网络安全 设备安全 动态感知 ## 标准化能力-分布式操作系统核心-容器服务 容器云核心价值：赋能企业以应用为中心，降低TCO并提高业务价值 ## 架构 服务编排基本原理： - 以度量为基础，以NodeSelector算法来决定在哪儿部署容器服务

SpectralClustering ### 2. Scikit-learn主要用法 ## 评价指标 sklearn.metrics模块包含了一系列用于评价模型的评分函数、损失函数以及成对数据的距离度量函数. from sklearn.metrics import accuracy_score accuracy_score(y_true, y_pred) 对于测试集而言，y_test即是y_t accuracy_score() | 正确率 metrics.precision_score() | 各类精确率 metrics.f1_score() | F1 值 metrics.log loss() | 对数损失或交叉熵损失 metrics.confusion matrix | 混淆矩阵 metrics.classification_report | 含多种评价的分类报告 ### 2. Scikit-learn主要用法 | 正确率. metrics.precision_score() | 各类精确率. metrics.f1_score() | F1 值. metrics.log loss() | 对数损失或交叉熵损失. metrics.confusion matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. ### 2. Scikit-learn主要用法