使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16:

js 构建部署时 我们要关心的数据 死月 死月 XadillaX（朱凯迪） 蚂蚁金服 Node.js 研发工程师 /《Node.js：来一打 C++ 扩展》作者 • 2013-2015 浙江大学 / 花瓣网 • 2015 大搜车 • 2017 蚂蚁金服 目录 CONTENTS ✦ 源起 ✦ 构建数据 ✦ 部署结果 ✦ 400+ Node.js 应用 来自灵魂的拷问 我是谁？ 我要做什么？ 谁用了我？ 初衷 egg-niubility 构建部署流程 构建任务 统一脚本 触发部署 应用节点 统一脚本 应用本身 启动元信息收集 接收⽅方 触发构建 部署结果 启动数据 构建数据 2 构建数据 我要关心构建时的哪些数据？ 工具 / 版本治理 ‣ Node.js / alinode com/node-modules/shameimaru/pull/4 依赖新旧程度 * 功能可参考 https://david-dm.org/ 近 7 日发布依赖 ‣ 之前好好的，没动代码，今天构建部署怎么挂了？ ‣ 构建产物怎么突然大了这么多？ 使依赖可检索 拍平 app_id / id / name / version / path / ancestor / parent_id / …

改进是系统工程 System improvement 研发效能的度量量 需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 交付周期 开发周期 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 持续快速、高质量 地交付价值的能力 软件的交付过程 已选择 分析中 就绪 开发中 待测试 验收中 已发布 需求池 需求开发周期 需求交付周期 端到端价值流 响应速度 需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 交付周期 开发周期 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 从确认用户的需求，到需求上线的时长 这反应了团队（含业务、开发和运营等职能）对 客户问题和业务机会的响应速度 2017/11/21 2017/12/11 ������� 交付质量量 需求响应周期 持续发布能力 交付吞吐率 交付过程质量 交付质量 交付周期 开发周期 集成发布时⻓长 发布频率 单位时间交付需求数 创建/关闭缺陷分布 缺陷库存 单位时间线上缺陷 线上问题解决时⻓长 单位时间的故障（线上缺陷）数 越少越好，尤其关注那些对业务造成重大影响的 故障，有非常明确的定级

预，才会将最适合用户（指标）的结果展示在大家的眼前。 为了保证良好的用户体验，技术团队对模型预估能力的要求变得越来越高，同时模型 与特征的类型、数量及复杂度也在与日俱增。算法团队如何尽量少地开发和部署上 算法 < 3 线，如何快速进行模型特征的迭代？如何确保良好的预估性能？在线预估框架 Augur 应运而生。经过一段时间的实践，Augur 也有效地满足了算法侧的需求，并成为美团 搜索与 NLP 连续型特征的分桶计算逻辑一样，但“桶”却因模型而各不相同；对于离散特 征的低频过滤也是如此。 ● 迭代快：特征的快速迭代，要求特征有快速在线上生效的能力，如果想要改动 一个判断还需要写代码上线部署，无疑会拖慢了迭代的速度。模型如此，特征 也是如此。 针对特征的处理逻辑，我们抽象出两个概念： Operator：通用特征处理逻辑，根据功能的不同又可以分为两类： ● IO OP：用处理原始特征的获取，如从 ，在验证集上 AUC 提升了 234BP。目前，场景切分依赖 Query 意图模块进行硬切分，后续自动 场景切分也值得进行探索。 应用实践 由于 BERT 的深层网络结构和庞大参数量，如果要部署上线，实时性上面临很大挑 战。在美团搜索场景下，我们对基于 MT-BERT Fine-tuning 好的相关性模型（12 层）进行了 50QPS 压测实验，在线服务的 TP99 增加超过 100ms，不符合工程上

Laravel 的发布周期将保持不变。 兼容 Laravel Vapor Laravel 6.0 提供了对 Laravel Vapor 的兼容，这是一个针对 Laravel 应用的自动扩容无服务器部署平台。Vapor 对在 AWS Lambda 上 管理 Laravel 应用以及与 SQS 队列、数据库、Redis 集群、网络、 CloudFront CDN 进行交互的复杂性进行了抽象。 通过 方法时，这些自定义的消息会被自动返回给前 端。 任务中间件 任务中间件允许你封装自定义的队列任务异常业务逻辑，避免在任务 自身处理中混入对应样板代码。例如，在之前的 Laravel 版本中， 你可能需要在频率限制回调中封装某个任务的 handle 方法处理逻 辑： /** * 执行任务 本文档由学院君提供 学院君致力于提供优质 Laravel 中文学习资源：https://xueyuanjun 无法获取到锁... return $this->release(5); }); } 而在 Laravel 6.0 中，该业务逻辑可以被提取到任务中间件中，从而 将你的任务 handle 方法从频率限制中解放出来：

故障容忍：故障不影响业务正常运转、对业务透明。 高吞吐：海量监控数据的收集，需要高吞吐能力做保证。 CAT 3.0 开源发布，支持多语言客户端及多项性能提升 - 美团技术团队 可扩展：支持分布式、跨 IDC 部署，横向扩展的监控系统。 使用现状 使用现状 目前，CAT 已经覆盖了美团点评的外卖、酒旅、出行、金融等核心业务线，几乎已经接入美团点评的所 有核心应用，并在生产环境中大规模地得到使用。 2016 Oceanus：美团HTTP流量定制化路由的实践 - 美团技术团队 StrategyTopology 如上图所示，以应用apk1为例，关联了两个Location接口，分别为/api和/list，总共部署了8个节点，创 建了2个分组ups-cq和ups-gray，其中节点10.5.23.6和10.5.24.72属于分组ups-cq，节点10.7.46.32和 10.7.72.232属于分组ups 开发语言瓶颈、代码质量及系统架构等都会影响系统性能，常见的代码及应用问题有： 架构不合理。业务发展超越架构支撑能力而导致系统负荷过载，进而导致出现系统奔溃、响应超时等现象。另外不合 理的架构如：单点、无cache、应用混部署、没有考虑分布式、集群化等也都会影响性能。 研发功底和经验不足。开发的App、Server效率和性能较低、不稳定也是常见的事情。 没有性能意识，只实现了业务功能不注意代码性能，新功能上线后整体性能下降，或当业务上量后系统出现连锁