Transformer 结构应用于搜索推荐系统也成为业界的一个潮流。比如应用于对 CTR 预估模型进行特征组合的 AutoInt[3]、行为序列建模的 BST[4] 以及重排序模型 PRM[5]，这些工作都证明了 Transformer 引入搜索推荐领域能取得不错的效果，所 以美团搜索核心排序也在 Transformer 上进行了相关的探索。 本文旨在分享 Transformer 在美团搜索排序上的实践经验。内容会分为以下三个部 Embedding concat 一起送入到三层的 MLP 网络。 第一个版本：因为到原来的 Sum-pooling 建模方式没有考虑行为序列内部各行为的 关系，而 Transformer 又被证明能够很好地建模序列内部之间的关系，所以我们尝 试直接将行为序列输入到 Transformer Layer，其模型结构如图 3 所示： 图 3 Transformer 行为序列建模 行为序列建模 能够对序列内 item 的相互关系进行有效的建模来实现更好的表达，并且我们 离线实验不加 Transformer 编码层的 Attention-pooling，发现离线 NDCG 下降，从实验上证明了 Transformer 编码有效。 ● Transformer 编码为什么优于 GRU ？忽略 GRU 的性能差于 Transformer； 我们做过实验将行为序列长度的上限往下调，Transformer

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由