等人机协同等场景。 在后文中，我们主要以话术推荐应用为例，即根据对话上下文为坐席 / 商家提供候选 回复，来介绍检索式对话系统在美团客服场景的探索与实践。以下内容会分为五个部 分：第一部分介绍系统的整体架构与指标体系；第二和第三部分分别介绍召回和排序 模块的工作；第四部分展示一些具体的应用示例，最后一部分则是总结与展望。 2. 架构与指标 检索式对话系统的整体架构如下图 1 所示，可以划分为五层： 图 应用层：主要用于人工辅助场景，包括在线回复咨询时的话术推荐和输入联想， 以及离线填答智能客服知识库时的答案推荐供给。 同时，为了更合理地指导系统相关优化，我们设计了一套离线到在线的指标体系，以 话术推荐为例，如下图 2 所示，具体来说可分为三个部分： 图 2 话术推荐指标体系 ● 离线自动指标：主要计算的是 Top-N 推荐话术与坐席 / 商家下一句真实回复 的语义相关性，我们采用了文本相关性的 BLEU、ROUGE 较为显性地影响用户体验，但推荐结果返回 A 或者 A’，用户很难有明显感知。但实 际上，如果匹配效果变差，就会直接影响到用户的隐性体验，需要被识别。功能类系 统一般以可用性为核心来构建质量指标体系，在综合业务推荐系统的业务实践中，我 们发现可用性等指标存在以下的局限性： ● 可用性对部分缺陷不敏感：可用性是中断频率和持续时间的函数，体现的是系 统持续提供服务的能力。只要系统的缺陷不影响对外提供服务，就不影响可

某个关键 词，按照相关性的高低正确排序，文档1、2、3、4、5应该依次排在前5位。现在的挑战就是，如何评估“2，1，3， 4，5”和“1，2，5，4，3”这两个列表的优劣呢？ 列表排序的评价指标体系总来的来说经历了三个阶段，分别是Precision and Recall、Discounted Cumulative Gain(DCG)和Expected Reciprocal Rank(ERR)。我们逐一进行讲解。

结果进行验证的问题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门负责对各 种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的定义，Caliper在设计也采用这一套性 能指标体系并内嵌进了框架中。 Caliper能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需 要负责设计具体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥有这些特点 的Caliper，能恰好满足FISCO

结果进行验证的问题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门负责对各 种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的定义，Caliper在设计也采用这一套性 能指标体系并内嵌进了框架中。 Caliper能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需 要负责设计具体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥有这些特点 的Caliper，能恰好满足FISCO

结果进行验证的问题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门负责对各 种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的定义，Caliper在设计也采用这一套性 能指标体系并内嵌进了框架中。 Caliper能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需 要负责设计具体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥有这些特点 的Caliper，能恰好满足FISCO

结果进行验证的问题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门负责对各 种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的定义，Caliper在设计也采用这一套性 能指标体系并内嵌进了框架中。 Caliper能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需 要负责设计具体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥有这些特点 的Caliper，能恰好满足FISCO

结果进行验证的问题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门负责对各 种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的定义，Caliper在设计也采用这一套性 能指标体系并内嵌进了框架中。 Caliper能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需 要负责设计具体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥有这些特点 的Caliper，能恰好满足FISCO

题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门 负责对各种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的 定义，Caliper在设计也采用这一套性能指标体系并内嵌进了框架中。 Caliper 能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需要负责设计具 体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥 有这些特点的Caliper，能恰好满足FISCO

题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门 负责对各种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的 定义，Caliper在设计也采用这一套性能指标体系并内嵌进了框架中。 Caliper 能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需要负责设计具 体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥 有这些特点的Caliper，能恰好满足FISCO

题。 同时，Hyperledger项目下设了性能及可扩展性工作组（PWSG），专门 负责对各种性能指标（TPS、延迟、资源利用率等）进行形式化、规范化的 定义，Caliper在设计也采用这一套性能指标体系并内嵌进了框架中。 Caliper 能够方便地对接多种区块链平台并屏蔽了底层细节，用户只需要负责设计具 体的测试流程，即可获取Caliper输出的可视化性能测试报告。可以看出，拥 有这些特点的Caliper，能恰好满足FISCO