3bbe1f6675c3cec959e1f224b976c60/p1_2.jpg) PYTHON 30th ## 使用Python训练和部署低精度模型 (TensorFlow版) 张校捷 2019/9/21 ## 目录 >> 低精度的概念和意义 TensorFlow的FP16模型 >> TensorRT的FP16/Int8模型 总结  FP16: E8M7 (TPU, tf.bfloat16) FP16: E5M10 (GPU, tf.float16) Int8 ## 低精度浮点数的优点 ### 1. 节约 节约内存/显存的使用（FP16为原来的1/2，int8为原来的1/4） 2. 特殊的硬件专门用于低精度浮点数的计算加速（TensorCore） FP16 storage/input Full precision product Sum with FP32 accumulator Convert to FP32 result ![Image](/uploads/documents/a/3/

抛砖引玉，只是结合我们团队业务场景来分享下我们选择数据库的过程。 - 不是数据库不好用， • 而是我们不会用， • 是我们用的姿势不对! 主要业务场景 • IM工具+SCRM系统（高并发、低延迟、稳定） • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 ## 目前服务器架构 ![Image](/uploads/documents/a/7/3/6/a7

## GC带来的问题 -GC是个好东西，但也有问题 -难以避免的延迟(几十到几百ms) ·经验公式：10万对象1ms扫描时间 -1个tcp连接，约10个对象=>1万连接，1ms gc延迟 • GO-BFE的实时需求 - 请求的处理延迟 平均1ms以内，最大10ms · 实测 -100万连接，400ms gc延迟 ## GC优化思路 • Go的gc算法（go1.3） –Mark ## GC优化－补充分析 ## • HTTP场景 -短连接 - 长连接 · 平均连接上的请求是3个 • 90%(20s以内)、98%(50s之内) ## -大文件请求 • 对gc造成的延迟(几十ms)不敏感 Past: { BucketSize: 1, BucketNum: 10, Count: 139660, Sum: 44606461, Ave: 319, - Counters: [Image](/uploads/documents/b/6/7/f/b67feeef329677168cf0f86a902dbe8e/p33_1.jpg) ## 总结 • Go可以用于高并发、低延迟的程序开发 • Go极大的提升了开发效率 THANKS Bai百度

多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 ② 低延迟 server节点无状态 ts/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p10_3.jpg) Sinker 云存储导出模型 ## 高吞吐/低延迟问题探究 ## 简单·可信赖 ## 困难 高吞吐 1、资源利用率低 2、上下游吞吐能力不匹配  ## 简单·可信赖 ## 线上系统现状 每日处理超过千亿数据点 每日处理百TB级别的数据 线上导出延迟在1分钟以内 较少的人工介入 秒级扩容 实时的可视化监控系统 易用的报警系统 自动生成线上日报 ## Go的应用 ## 我们用Golang做了些什么 - 流式计算、离线计算、日

许可协议：署名-相同方式共享4.0国际(CC BY-SA 4.0) # Apache RocketMQ 介绍 ## 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ开源版本。 IO模块遇到了瓶颈，几经努力但改善成果不。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方到大批量实时零损失容忍交易系统。 ## 里程碑 2012年，阿里巴巴开始开发Rocket RocketMQ在社区各方面的努力下，茁壮发展，很多功能都得到了加强。 ## RocketMQ的技术概览 在我们看来，它最大的创新点在于能够通过精巧的横向、纵向扩展，不断满足与日俱增的海量消息在吞吐、高可靠、低延迟方面的要求。 目前RocketMQ主要由NameServer、Broker、Producer以及Consumer四部分构成，如下图所示。 ![Image](/uploads/documents/d

563/p5_1.jpg) ## CONTENTS 01 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 ■ 历年双11消息数量变化 ■ 消息中间件核心链路 ■ 低延迟存储 ■ 容量保障 ■ 熔断机制 ■ 多副本高可用 03 Apache RocketMQ 未来展望 ## 历年双11消息数量变化  ## 低延迟分布式存储系统 – PageCache真的那么快吗？ ## 热力图  ## 低延迟分布式存储系统 – PageCache的毛刺现象分析 - 53.96% java