提升发布效率、减少发布失败率 增加自动化大数据测试 一键切换测试/线上环境 解决方案： 业务系统合理的拆分开发模式及生产 模式 建立统一的数据指标体系、统一的数 据模型、统一的数据服务体系 客户收益： 司建立企业级统一的数据指标体系 及数据模型 构建统一的数据分析体系，快速提升 对业务数据的洞察与分析应用能力， 实现业务协同发展 CASE 客户需求： 提升业务服务化程度 提升系统研发效率和质量 新中国第一家股份制证券公司。 申万宏源 客户需求： 提升部门数据处理能力 公司内部数据可视化管理及应用，增 强业务创新能力 解决方案： 业务系统合理的拆分开发模式及生 产模式 建立了统一的数据指标体系、统一 的数据模型、统一的数据服务体系 客户收益： 提升应用研发效率和质量 实现业务在线，渠道开放，金融智能 客户需求： 提升发布效率、减少发布失败率 增加自动化大数据测试 一键切换测试/线上环境 提升自身数据洞察能力，降本增效 解决方案： 搭建壳牌石油全链路数据资产平台 建立壳牌消费者标签分析模型及客 户运营指标模型 客户收益： 统一数据仓库体系，构建壳牌统一的 数据仓库基座 统一指标体系，梳理 200+ 数据指标 统一分析体系，构建 100+ 数据分析 报表 源自美国的跨国餐饮集团在中国的分支机构。 百胜中国 连锁新零售独角兽。 名创优品 壳牌加油站配套 24 小时便利店。

caolei Exported on 01/10/2020 caolei – 监控Apache Flink应用程序(入门) – 2 Table of Contents 1 Flink指标体系 ................................................................................................. https://ci.apache.org/projects/flink/flink-docs-release-1.7/monitoring/metrics.html#reporter Flink指标体系 – 5 1 Flink指标体系 Flink作业监控的基础是它的度量系统，该系统由两个部分组成: Metrics和MetricsReporters。 1.1 Metrics Flink提供了一套全面的内置Metrics:

等人机协同等场景。 在后文中，我们主要以话术推荐应用为例，即根据对话上下文为坐席 / 商家提供候选 回复，来介绍检索式对话系统在美团客服场景的探索与实践。以下内容会分为五个部 分：第一部分介绍系统的整体架构与指标体系；第二和第三部分分别介绍召回和排序 模块的工作；第四部分展示一些具体的应用示例，最后一部分则是总结与展望。 2. 架构与指标 检索式对话系统的整体架构如下图 1 所示，可以划分为五层： 图 应用层：主要用于人工辅助场景，包括在线回复咨询时的话术推荐和输入联想， 以及离线填答智能客服知识库时的答案推荐供给。 同时，为了更合理地指导系统相关优化，我们设计了一套离线到在线的指标体系，以 话术推荐为例，如下图 2 所示，具体来说可分为三个部分： 图 2 话术推荐指标体系 ● 离线自动指标：主要计算的是 Top-N 推荐话术与坐席 / 商家下一句真实回复 的语义相关性，我们采用了文本相关性的 BLEU、ROUGE 较为显性地影响用户体验，但推荐结果返回 A 或者 A’，用户很难有明显感知。但实 际上，如果匹配效果变差，就会直接影响到用户的隐性体验，需要被识别。功能类系 统一般以可用性为核心来构建质量指标体系，在综合业务推荐系统的业务实践中，我 们发现可用性等指标存在以下的局限性： ● 可用性对部分缺陷不敏感：可用性是中断频率和持续时间的函数，体现的是系 统持续提供服务的能力。只要系统的缺陷不影响对外提供服务，就不影响可

阈值管理 ⚫ 问题发现 ⚫ 改进与跟踪 ⚫ 工具数据打通 ⚫ 采集、计算、分析 ⚫ 度量数据向全员 展示 ⚫ 能够检视指标的 趋势 方案与实施策略 - 研发过程度量与运营 研发度量指标体系 度量与反馈-持续改进 ⚫发现问题 对指标设置阈值，异常的数据告警 ⚫识别瓶颈 根据细化指标进一步确定问题的瓶颈，找到改进方法 ⚫改进跟踪 记录改进问题处理，并通过度量数据检视改进效果

架构图，分为数仓层、加速层、应用层三部分，数据架构 1.0 是 一个相对主流的架构，简单介绍一下各层的作用及工作原理：  数仓层：通过 ODS-DWD-DWS 三层将数据整合为不同主题的标签和指标体系， DWM 集市层围绕内容对象构建大宽表，从不同主题域 DWS 表中抽取字段。  加速层：在数仓中构建的大宽表导入到加速层中，Clickhouse 作为分析引擎， Elasticsearch

，管理运行状态，在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面，支持多种统计数据的汇总和明细展示。提供监控告警功能，具备元数据 、 计算节点以及平台工具等完善的监控指标体系，同时支持日志收集和展示，方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 Openpie | PiecloudDB

量等），管理运行状态，在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面，支持多种统计数据的汇总和明细展示。提供监控告警功能，具备元数据、 计算节点以及平台工具等完善的监控指标体系，同时支持日志收集和展示，方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、 元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。

五“类” 七“特” AIGC评测：2个国家级项目+1套自动化测评系统 AIGC评测 指标体系 共计26个细分指标 两项国家级项目： • 2023国家自然科学基金青年项目“面向人工智能生成内 容的风险识别与治理策略研究” • 2023国家资助博士后研究人员计划B档“AIGC意识形态 安全评估”

五“类” 七“特” AIGC评测：2个国家级项目+1套自动化测评系统 AIGC评测 指标体系 共计26个细分指标 两项国家级项目： • 2023国家自然科学基金青年项目“面向人工智能生成内 容的风险识别与治理策略研究” • 2023国家资助博士后研究人员计划B档“AIGC意识形态 安全评估”

某个关键 词，按照相关性的高低正确排序，文档1、2、3、4、5应该依次排在前5位。现在的挑战就是，如何评估“2，1，3， 4，5”和“1，2，5，4，3”这两个列表的优劣呢？ 列表排序的评价指标体系总来的来说经历了三个阶段，分别是Precision and Recall、Discounted Cumulative Gain(DCG)和Expected Reciprocal Rank(ERR)。我们逐一进行讲解。