先对数据集进行特征选择，其过程与后续 学习器无关，即设计一些统计量来过滤特 征，并不考虑后续学习器问题 包裹式(Wrapper): 就是一个分类器，它是将后续的学习器的 性能作为特征子集的评价标准 嵌入式(Embedding): 是学习器自主选择特征 4. 特征选择 特征选择的三种方法 28 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原 原始特征集合 基模型训练 新特征子集合 特征个数是否达到预设值 输出子集合 否 是 35 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原理：嵌入式特征选择是将特征选择与学习器训练过程融为一体，两 者在同一个优化过程中完成的。即学习器训练过程中自动进行了特征 选择。 常用的方法包括： ➢利用正则化，如L1, L2 范数，主要应用于如线性回归、逻辑回归以及 支持向量机(SVM)等算法；优点：降低过拟合风险；求得的 w 会有 较多的分量为零，即：它更容易获得稀疏解。 ➢使用决策树思想，包括决策树、随机森林、Gradient Boosting 等。 嵌入式 4. 特征选择 36 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 在 Lasso 中，λ 参数控制了稀疏性： ➢如果 λ 越小，则稀疏性越小，被选择的特征越多

RFECV(estimator, scoring=“r2”) 封装式（Wrap- per），结合交叉验证的递归特征消除法，自动选择最优特征个数 fs.SelectFromModel(estimator) 嵌入式（Embedded），从 模型中自动选择特征，任何具有coef_或者 feature_importances_的 基模型都可以作为estimator参数传入 14 2.Scikit-learn主要用法

w x b 公共计算库 X86 优化 Android 优化 iOS 优化 GPU 优化 内存池 硬件设备 网络模型 • 越来越多的应用场景，云服务，Android，iOS, 闸机嵌入式 • 越来越复杂的限制条件， 内存，功耗，延迟 • 越来越多的数据量，图像从百万到千万，数据从图像到视频 • 越来越复杂的网络结构，从Resnet，ResNeXt，DenseNet，DPN，SENET

能赋能各 行各业，Pytorch 框架必然会更加得到开发者的青睐，成为人 工智能 (AI) 开发者必备技能之一。同时 Pytorch 也会在部署跟 推理方面会更加完善与方便，加强支持移动端，嵌入式端等应 用场景，相信掌握 Pytorch 框架的开发技术人才也会得到丰厚 回报。 1.2 环境搭建 Pytorch 的开发环境搭建十分的简洁，它的依赖只有 Python 语 言 SDK， 只

序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） • 多领域通用 • 输入层采用词向量，提升泛化能力 • 循环神经网络（LSTM,GRU等）能学 到一些较远的的上下文特征以及一些 非线性特征 序列标注 字/词向量 Bi-LSTM 会 数 据 开 观 达 去 明 小 LSTM LSTM LSTM LSTM LSTM 解码器从向量里面提取关键信息，组合成生成式摘要 深度学习内部注意力机制的引入 l 内部注意力机制在解码器里面做 l 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN 解码器内部注意力机制 输入序列 输入序列 输入序列。。。 编码器 解码器 摘要序列。。。 摘要序列 Rouge指标优化 Reward 文本摘要候选集 集。 l ROUGE指标评价：不可导，无法采用梯度下降的方式训练，考虑强化学习，鼓励reward高的模型，通过 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。

distance: ∥a − b∥2 = �� i(ai − bi)2 Squared Euclidean distance: ∥a − b∥2 2 = � i(ai − bi)2 Manhattan distance: ∥a − b∥1 = � i |ai − bi| Maximum distance: ∥a − b∥∞ = maxi |ai − bi| Mahalanobis distance: �

LSTM LSTM LSTM LSTM LSTM embedding lookup tranpose �����batch_size*6, 150) lstm cell unit = 64 bi-lstm �����batch_size*6, 128) Soft attention Attention size = 100 �batch_size*6, 128) Cosine similar ������ • ��FastText Vector���embedding • ���+��� ��title�����99.0% • ����� billion�� ��������� • bi-LSTM + attention • ��pai-tensorflow������ 语k模型——总结 排序应用——g性化表征 排序应用——g性化表征 ����������� � ���

�8�����������9�,9���,����9���.�29����9� s�AdaBoost��������� ���AB ���s� ,��H,��212�E ��������1B��E �����3BI y�����������y�H��A��2�� ��1�����I������ �M����J����������AB �����a�k�u��m��j�pJ� �i������j�p� r

. .时，序列满足a0 = 0且at = bt +ctat−1。 对于t ≥ 1，就很容易得出： at = bt + t−1 � i=1 � � t� j=i+1 cj � � bi. (8.7.5) 基于下列公式替换at、bt和ct： at = ∂ht ∂wh , bt = ∂f(xt, ht−1, wh) ∂wh , ct = ∂f(xt, ht−1, wh) Rn×h。它们的计算方法如下： It = σ(XtWxi + Ht−1Whi + bi), Ft = σ(XtWxf + Ht−1Whf + bf), Ot = σ(XtWxo + Ht−1Who + bo), (9.2.1) 其中Wxi, Wxf, Wxo ∈ Rd×h 和Whi, Whf, Who ∈ Rh×h是权重参数，bi, bf, bo ∈ R1×h是偏置参数。 候选记忆元 由于还没有指 处理器提供数据。这是深度学习中批量处理背后 的推动力。举一个简单的例子：矩阵‐矩阵乘法。比如A = BC，我们有很多方法来计算A。例如，我们可以尝 试以下方法： 1. 我们可以计算Aij = Bi,:C⊤ :,j，也就是说，我们可以通过点积进行逐元素计算。 2. 我们可以计算A:,j = BC⊤ :,j，也就是说，我们可以一次计算一列。同样，我们可以一次计算A一行Ai,:。 3. 我们可以简单地计算A

for each feature type. For example, instead of using words, we can use ngrams of different lengths (bi-grams, tri-grams, quad-grams, etc.), and maintain one embedding table per n-gram length. 3. Even