通过神经网络预训练方式来生成词向量（Word Embedding），极大地 推动了深度自然语言处理的发展。针对 Word2vec 生成的固定词向量无法解决多义 词的问题，2018 年，Allen AI 团队提出基于双向 LSTM 网络的 ELMo[5]。ELMo 根 据上下文语义来生成动态词向量，很好地解决了多义词的问题。2017 年底，Google 提出了基于自注意力机制的 Transformer[6] 模型。 相比 Doc 的高阶文本相关性、高阶品类相关性特征，应 用于排序模型中取得了很好的效果。此外，比较有代表性的表示匹配模型还有百度提 出 SimNet[27]，中科院提出的多视角循环神经网络匹配模型（MV-LSTM）[28] 等。 基于交互的匹配方法：这种方法不直接学习 Query 和 Doc 的语义表示向量，而是在 神经网络底层就让 Query 和 Doc 提前交互，从而获得更好的文本向量表示，最后通 conference on Information & Knowledge Management. 2013. [27] SimNet. [28] Guo T, Lin T. Multi-variable LSTM neural network for autoregressive exogenous model[J]. arXiv preprint arXiv:1806.06384, 2018. [29]

部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部

fasttext：对词向量进行fine-tune，计算fasttext label • numpy：计算w2v cosine/fasttext cosine • wmd：计算wmd特征 • esim：计算lstm-esim特征 • tensorflow：计算transformer-esim特征 • scikit learn：调用LR训练模型 各个击破－评估 • 评估数据 Ø 领域均衡：6个领域，每个领域50个知识点

● 层次维度的聚合函数 ：用于聚合同一节点在模型不同层次的表示。例如， 多数 GNN 模型中，层次维度的聚合函数为上一层的节点表示；而在 JKNet[10] 中，层次维度的聚合函数可以设定为 LSTM[11]。 ● 消息函数 ：结合起始节点和目标节点，以及边的特征，生成用于消息传递的 消息向量。 ● 节点维度的聚合函数 ：汇集了来自邻居节点 的所有消息向量。值得注 意的是， networks[J]. arXiv preprint arXiv:1908.10084, 2019. [6] Chen Q, Zhu X, Ling Z H, et al. Enhanced LSTM for Natural Language Inference[C]// Proceedings of the 55th Annual Meeting of the Association for James Cross and Liang Huang. 2016. Incremental parsing with minimal features using bi-directional lstm. ArXiv, abs/1606.06406. [13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018