其中U是一个 $ m \times m $ 的矩阵，每个特征向量 $ u_{i} $ 叫做A的左奇异向量。 $ \Sigma $ 是一个 $ m \times n $ 的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值 $ \sigma $ 。 V是一个 $ n \times n $ 的矩阵，每个特征向量 $ v_{i} $ 叫做A的右奇异向量。 U 和 V 都是酉矩阵，即满足: 的一个方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式： $$ (A A^{\mathrm{T}})u_{i}=\lambda_{i}u_{i} $$ 可以得到矩阵 $ AA^{T} $ 的m个特征值和对应的m个特征向量u了。 ### 2. SVD(奇异值分解) ## SVD求解 U矩阵求解 将 $ AA^{T} $ 的所有特征向量组成一个 $ m\times m $ 的矩阵U，就是我们SVD公式里面的U矩阵了。 的矩阵U，就是我们SVD公式里面的U矩阵了。 一般我们将U中的每个特征向量叫做A 的左奇异向量。 注意： $ AA^{\mathrm{T}}=(U\Sigma V^{\mathrm{T}})(U\Sigma V^{\mathrm{T}})^{\mathrm{T}}=U(\Sigma\Sigma^{\mathrm{T}})U^{\mathrm{T}} $ 上式证明使用了 $ V^{T}V=I,\Sigma^{T}=\Sigma

3.7 方阵的逆 3.8 正交阵 3.9 矩阵的值域和零空间 3.10 行列式 3.11 二次型和半正定矩阵 3.12 特征值和特征向量 3.13 对称矩阵的特征值和特征向量 4. 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 （同时为了方便起见，我们假设A是满秩），则 $ G = A^{T} A $ 是正定的。 ### 3.12 特征值和特征向量 给定一个方阵 $ A \in R^{n \times n} $ ，我们认为在以下条件下， $ \lambda \in C $ 是A的特征值， $ x \in C^{n} $ 是相应的特征向量： $$ Ax=\lambda x,x\neq0 $$ 直观地说，这个定义意味着将A乘以向量x ，但按系数λ缩放。值得注意的是，对于任何特征向量 $ x\inC^{n} $ 和标量 $ t\inC $ ， $ A(cx)=cA x=c\lambda x=\lambda(cx) $ ，cx也是一个特征向量。因此，当我们讨论与 $ \lambda $ 相关的特征向量时，我们通常假设特征向量被标准化为长度为1（这仍然会造成一些歧义，因为x和-x都是特征向量，但我们必须接受这一点）。 我们可以重写上面的等式来说明

2021年07月 ## 目录 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 1. 行列式 ### 1. 行列式按行（列）展开定理 (1) 设 $ A 是A的n个特征值，则 $ |A|=\prod_{i=1}^{n}\lambda_{i} $ ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 2. 矩阵 矩阵 $ m \times n $ 个数 $ a_{ij} $ 排成m行n列的表格 $ \left[\begin{array}{cccc} a_{11} \\{{{A^{-1}}}}&{{{O}}}\end{pmatrix} $$ 这里A，B均为可逆方阵。 ### 2. 矩阵 01 行列式 02 矩阵 03 向量 04 线性方程组 05 矩阵的特征值和特征向量 06 二次型 ### 3. 向量 1. 有关向量组的线性表示 (1) $ \alpha_{1},\alpha_{2},\cdots,\alpha_{s} $ 线性相关 ⇔至少有一个向量可以用其余向量线性表示。

82/p35_1.jpg) 图 6 Transformer 重排序 主要由以下几个部分构成： - 特征向量生成：由原始特征（user、item、交叉等维度的稠密统计特征）经过一层全连接的输出进行表示。 - 输入层：其中 X 表示商户的特征向量，P 表示商户的位置编码，将特征向量 X 与位置向量 P 进行 concat 作为最终输入。 • Transformer 编码层：一层 Multi-Head Multi-Head Attention 和 FFN 的。 • 输出层：一层全连接网络得到打分输出 Score。 ## 模型细节： • 特征向量生成部分和重排序模型是一个整体，联合端到端训练。 - 训练和预测阶段固定选择 TopK 进行重排，遇到某些请求曝光 item 集不够 TopK 的情况下，在末尾补零向量进行对齐。 ## 实践效果及经验 效果：Transformer 重排序对线上 NDCG 联合训练模型结构 输入层：模型输入是由文本特征向量、用户行为序列特征向量和其他特征向量 3 部分组成。 - 文本特征向量使用 BERT 进行抽取，文本特征主要包括 Query 和 POI 相关的一些文本（POI 名称、品类名称、品牌名称等）。将文本特征送入预训练好的 MT-BERT 模型，取 CLS 向量作为文本特征的语义表示。 · 用户行为序列特征向量使用 Transformer 进行抽取 [3]。

+\cdots+k_{t}\eta_{t} $ 是 Ax=0 的通解，其中 $ k_{1},k_{2},\cdots,k_{t} $ 是任意常数。 ## 矩阵的特征值和特征向量 ### 1. 矩阵的特征值和特征向量的概念及性质 （1）设 $ \lambda $ 是A的一个特征值，则 $ kA,aA+bE,A^{2},A^{m},f(A),A^{T},A^{-1},A^{*} $ 有一个特征值分别为 k\lambda,a\lambda+b,\lambda^{2},\lambda^{m},f(\lambda),\lambda,\lambda^{-1},\frac{|A|}{\lambda} $ ，且对应特征向量相同（ $ A^{T} $ 例外）。 (2）若 $ \lambda_{1},\lambda_{2},\cdots,\lambda_{n} $ 为A的n个特征值，则 $ \sum_{i=1}^{n |A|\neq0\Leftrightarrow A $ 没有特征值。 (3) 设 $ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{s} $ 为 A 的 s 个特征值，对应特征向量为 $ \alpha_{1}, \alpha_{2}, \cdots, \alpha_{s} $ $$ \alpha=k_{1}\alpha_{1}+k_{2}\alpha_{2}+\cdots+k_{s}\alpha_{s}

增量在线FM：即依托于离线模型初始化在线FM模型参数 ## 4 深度学习 ## · 深度化 • 特征深度化：特征embedding • 模型深度化：深度学习模型，Wide&Deep；DeepFM ## 物料粗排 特征向量化：Item2vec 向量索引：FM/FFM/ DSSM ![Image](/uploads/documents/5/e/c/8/5ec8e409f6e2dbb408c2311a61fa97fc/p20_2 物料精排 单目标：LR->W&D->FM->DeepFM 多目标：点击FM+互动FM 排序损失：DeepFM+Pair-Wise Rank Loss 特征向量化 基于Item2vec的 博主召回和微博 召回 向量索引 DSSM/FM/FF M生成博主与物 料向量，采用 向量进行召回 模型召回 融入用户近期互动行为的深度模型召回 单目标

方向梯度直方图(HOG)特征是 2005 年针对行人检测问题提出的直方图特征，它通过计算和统计图像局部区域的梯度方向直方图来实现特征描述。 步骤 归一化处理 计算图像梯度 统计梯度方向 特征向量归一化 生成特征向量 ### 3. 特征提取 ## 文本特征提取 ### 1. 词袋模型 将整段文本以词为单位切分开，然后每篇文章可以表示成一个长向量，向量的每一个维度代表一个单词，而该维度的权重反映了该单词在原来文章中的重要程度

，对于一组医疗数据，给定一组标准的特征（如年龄、生命体征和诊断），此数据可以用来尝试预测患者是否会存活。 当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（dimensionality）。固定长度的特征向量是一个方便的属性，它可以用来量化学习大量样本。 然而，并不是所有的数据都可以用“固定长度”的向量表示。以图像数据为例，如果它们全部来自标准显微镜设备， 量、浴室的数量以及到镇中心的步行距离，等等。每一行的属性构成了一个房子样本的特征向量。如果一个人住在纽约或旧金山，而且他不是亚马逊、谷歌、微软或Facebook的首席执行官，那么他家的特征向量（房屋面积，卧室数量，浴室数量，步行距离）可能类似于： $$ 600, 1, 1, 60 $$ 。如果一个人住在匹兹堡，这个特征向量可能更接近 $$ 3000, 4, 3, 10 $$ ……当人们在市场上寻找 的性能。例如，在计算机视觉中，科学家们习惯于将特征工程的过程与建立机器学习模型的过程分开。Canny边缘检测器(Canny, 1987)和SIFT特征提取器(Lowe, 2004)作为将图像映射到特征向量的算法，在过去的十年里占据了至高无上的地位。在过去的日子里，将机器学习应用于这些问题的关键部分是提出人工设计的特征工程方法，将数据转换为某种适合于浅层模型的形式。然而，与一个算法自动执行的数百万个

研发的 GPU 加速的 AI 数据中台解决方案 Mega，其中包括数据 ETL 系统 MegaETL、数据库系统 MegaWise、面向 Hadoop 生态的模型训练系 MegaLearning 和特征向量检索系统 Milvus，可满足传统的加速数据 ETL、加速数据仓库和加速数据分析的场景和需求，面向各类新兴的 AI 应用场景，已被全球 1,000 多个企业使用，涵盖金融、电信、安防、智慧城市和电子商务等行业。 的核心项目向量相似度搜索引擎 Milvus 是全球首款 GPU 加速海量特征向量匹配和检索引擎。Milvus 依托 GPU 加速，提供极速特征向量匹配以及多维度数据联合查询（特征、标签、图片、视频、文本和语音等联合查询）功能，并且支持自动分库分表和多副本，能对接 TensorFlow、PyTorch 和 MxNet 等 AI 模型，可实现百亿特征向量的秒级查询。Milvus 于 2019 年 10 月在 GitHub