，如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为 $ O(n^{3}) $ ，通常来说当n小于10000时还是可以接受的，只适用于线性模型，不适合逻辑回归模型等其他模型。 ## 数据归一化/标准化 ## 为什么要标准化/归一化？ 提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。 加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。 ![I a89b00e1cf/p19_2.jpg) ## 数据归一化/标准化 归一化（最大 - 最小规范化） $$ x^{*}=\frac{x-x_{\min}}{x_{\max}-x_{\min}} $$ 将数据映射到 $$ 0,1 $$ 区间 数据归一化的目的是使得各特征对目标变量的影响一致，会将特征数据进行伸缩变化，所以数据归一化是会改变特征数据分布的。 Z-Score标准化 就是当数据特征取值范围或单位差异较大时，最好是做一下标准化处理。 ## 数据归一化/标准化 ## 需要做数据归一化/标准化 线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、感知机和SVM。另外，线性回归类的几个模型一般情况下也是需要做数据归一化/标准化处理的。 ## 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对

8ae007/p13_1.jpg) ### 3. 正则化、偏差和方差 01 数据集划分 02 评价指标 03 正则化、偏差和方差 ### 3. 正则化、偏差和方差 ## 为什么要标准化/归一化？ 提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。 加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。  ### 3. 正则化、偏差和方差 归一化（最大 - 最小规范化） $$ x^{*}=\frac{x-x_{\min}}{x_{\max}-x_{\min}} $$ 将数据映射到 $$ 0,1 $$ 区间 数据归一化的目的是使得各特征对目标变量的影响一致，会将特征数据进行伸缩变化，所以数据归一化是会改变特征数据分布的。 Z-Score标准化 $$ x 就是当数据特征取值范围或单位差异较大时，最好是做一下标准化处理。 ### 3. 正则化、偏差和方差 ## 需要做数据归一化/标准化 线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、感知机和SVM、神经网络。另外，线性回归类的几个模型一般情况下也是需要做数据归一化/标准化处理的。 ## 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取值大

2. 特征构建 数据规范化 使不同规格的数据转换到同一规格。 归一化（最大 - 最小规范化） $$ x^{*}=\frac{x-x_{\min}}{x_{\max}-x_{\min}} $$ 将数据映射到 $$ 0,1 $$ 区间 数据归一化的目的是使得各特征对目标变量的影响一致，会将特征数据进行伸缩变化，所以数据归一化是会改变特征数据分布的。 Z-Score标准化 $$ x 2. HOG特征 方向梯度直方图(HOG)特征是 2005 年针对行人检测问题提出的直方图特征，它通过计算和统计图像局部区域的梯度方向直方图来实现特征描述。 步骤 归一化处理 计算图像梯度 统计梯度方向 特征向量归一化 生成特征向量 ### 3. 特征提取 ## 文本特征提取 ### 1. 词袋模型 将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量的每一个维度

[Image](/uploads/documents/f/6/e/f/f6efdf27d4686d34e1b66814a7ee3f18/p5_2.jpg) 数据总线 总控模块 策略模块 ## 智能特征工程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA ## AI信号生成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 ## Rust 全栈应用实践 - 行情、与API接入 [Image](/uploads/documents/f/6/e/f/f6efdf27d4686d34e1b66814a7ee3f18/p7_2.jpg) 数据总线 总控模块 策略模块 ## 智能特征工程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA ## AI信号生成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 ## Rust 全栈应用实践 - 行情、与API接入 s/f/6/e/f/f6efdf27d4686d34e1b66814a7ee3f18/p9_2.jpg) 预测模型 总控模块 数据总线 策略模块 ## 智能特征工程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA ## AI信号生成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 ## Rust 全栈应用实践 - 模型训练与在线预测

向量，同时会拼接位置向量和片段向量，形成最终输入向量。接着通过 BERT 模型可以分别得到（Query，Doc+）以及（Query，Doc−）的语义相关性表征，即 BERT 的 CLS 位输出。经过 Softmax 归一化后，可以分别得到（Query，Doc+）和（Query，Doc−）的语义相似度打分。 对于同一 Query 的候选 Doc，选择两个不同标注的 Doc，其中相关文档记为 Doc+，不相关文档记 Doc−。输入层通过 向量，同时会拼接位置向量和片段向量，形成最终输入向量。接着通过 BERT 模型可以分别得到（Query，Doc+）以及（Query，Doc−）的语义相关性表征，即 BERT 的 CLS 位输出。经过 Softmax 归一化后，可以分别得到（Query，Doc+）和（Query，Doc−）的语义相似度打分。 Pairwise Fine-tuning 除了输入样本上的变化，为了考虑搜索场景下不同样本之间的偏序关系，我们参考 标是什么呢？如果你要问站长，怎么样的排班是好的，可能他只会说，要让需要用人的时候有人。但这不是算法语言，更不能变成模型语言。 • 时间离散化 最大化满足运力需求的时间单元数 • 人数归一化 • 单量归一化 $$ \sum_{i}\min\left\{sgn\left(\sum_{j}X_{j,i}\cdot R_{j}-O_{i}\right)+1,1\right\} $$ · 定义运力满足

LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, mask): # 残差连接与层归一化将在 3.1.2.4 节中详细解释 # 1. 多头自注意力 attn_output = self.self_attn(x, x, x, mask) A的Q向量，去和句子中所有词（包括 A自己）的 K向量进行点积运算。这个得分反映了其他词对于理解词 A的重要性。 稳定化与归一化：将得到的所有分数除以一个缩放因子 $ \sqrt{d_{k}} $ （ $ d_{k} $是K向量的维度），以防止梯度过小，然后用 Softmax函数将分数转换成总和为1的权重，也就是归一化的过程。 加权求和：将上一步得到的权重分别乘以每个词对应的 V向量，然后将所有结果相加。最终得到的向量，就是词 self.dropout(x) x = self.linear2(x) # 最终输出形状: (batch_size, seq_len, d_model) return x （4）残差连接与层归一化 在 Transformer 的每个编码器和解码器层中，所有子模块（如多头注意力和前馈网络）都被一个 Add & Norm 操作包裹。这个组合是为了保证 Transformer 能够稳定训练。 这个操作由两个部分组成：

在每个编码器中的每个子层（自注意力、前馈网络）的周围都有一个残差连接，并且都跟随着一个“层-归一化”步骤。  如果我们去可视化这些向量以及这个和自注意力相关联的层-归一化操作，那么看起来就像下面这张图描述一样：  ### 2. Transformer的工作流程 归一化：  连接：基本的残差连接方式 ![Image](/

Scikit-learn主要用法 ## 数据预处理 使用Scikit-learn进行数据变换 归一化（最大 - 最小规范化） 最小最大标准化 MinMaxScaler One-Hot编码 OneHotEncoder $$ x^{*}=\frac{x-x_{\min}}{x_{\max}-x_{\min}} $$ 归一化 Normalizer 将数据映射到 $$ 0,1 $$ 区间 二值化（单个特征转换）

{dl}{avdl}}\cdot qtf\cdot ln\frac{N+1}{df} $$ s is a constant (usually 0.20). 页面长度归一化 ## 未命中词的传统语义建模：相关词 • 归一化命中： $ A \rightarrow (1.0) $ $ \overline{A} $ • 同义词命中： $ D \rightarrow (0.6) $ $ D'