多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 ② 低延迟 server节点无状态 7/1/6/b/716b45ba07ae342152eb1f7952269e99/p10_3.jpg) Sinker 云存储导出模型 ## 高吞吐/低延迟问题探究 ## 简单·可信赖 ## 困难 高吞吐 1、资源利用率低 2、上下游吞吐能力不匹配 ![Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p12_2 压力感知与退避算法 ## 简单·可信赖 如何感知上下游压力 · 响应时间 特定错误码 · 超时错误 快速启动还是慢启动 · 速度的控制 退避策略 • 起始阶段慢增长 指数增长 ## 高可用与水平扩展 ## 简单·可信赖 ## master/server架构 • master/server间采用golang rpc通信 • server上报心跳证明自己存活，并汇报所执行任务的情况

在此抛砖引玉，只是结合我们团队业务场景来分享下我们选择数据库的过程。 - 不是数据库不好用， • 而是我们不会用， • 是我们用的姿势不对! 主要业务场景 • IM工具+SCRM系统（高并发、低延迟、稳定） • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 ## 目前服务器架构 ![Image](/uploads/documents/a/7/3/6/ 需要使用双数据库，更新运维都比较麻烦。 ## PgSQL≈MySQL+MongoDB - 个人认为，PgSQL结合了MySQL关系型数据库事务处理能力以及MongoDB的大数据处理能力。稳定性强，高并发，支持JSON,扩展字段特别方便。 - 我们团队没有大量专业的DBA运维人员，业务迭代也非常快，需求变更频繁，对数据库非常依赖，用了PgSQL之后，感觉可以充分满足我们的需求。 ## 关于PgSQL运维

后台程序开发的需求(3) • 上线和运维 - 对运行环境的依赖 - 对库（动态库）的依赖 ## 后台程序编程的难点 ## • 内存的管理 -C程序中很大比例的Bug和内容有关 • 分布式/高并发的处理 -10年前还是一个很hot的话题；目前也还没有普遍掌握 –CPU资源的调度：Process/Thread/Event -数据的封装和互斥访问； - 并行运算逻辑的同步 ## C vs [Image](/uploads/documents/b/6/7/f/b67feeef329677168cf0f86a902dbe8e/p15_1.jpg) ## 为什么重写BFE ## · 现存问题 - 修改成本高 · 事件驱动的编程模型：编码和调试难度大 • C语言本身的难度和开发效率 - 配置管理方式落后 · 为单产品线设计，无法支持平台化要求 • 配置变更(修改、重载、验证)能力差 -变更和稳定性的矛盾 ## GC带来的问题 -GC是个好东西，但也有问题 -难以避免的延迟(几十到几百ms) ·经验公式：10万对象1ms扫描时间 -1个tcp连接，约10个对象=>1万连接，1ms gc延迟 • GO-BFE的实时需求 - 请求的处理延迟 平均1ms以内，最大10ms · 实测 -100万连接，400ms gc延迟 ## GC优化思路 • Go的gc算法（go1.3） –Mark

3bbe1f6675c3cec959e1f224b976c60/p1_2.jpg) PYTHON 30th ## 使用Python训练和部署低精度模型 (TensorFlow版) 张校捷 2019/9/21 ## 目录 >> 低精度的概念和意义 TensorFlow的FP16模型 >> TensorRT的FP16/Int8模型 总结  FP16: E8M7 (TPU, tf.bfloat16) FP16: E5M10 (GPU, tf.float16) Int8 ## 低精度浮点数的优点 ### 1. 节约 节约内存/显存的使用（FP16为原来的1/2，int8为原来的1/4） 2. 特殊的硬件专门用于低精度浮点数的计算加速（TensorCore） FP16 storage/input Full precision product Sum with FP32 accumulator Convert to FP32 result ![Image](/uploads/documents/a/3/

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 backup 的 realserver 的配置.....7 2.4.9 Master 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景 11 3.5.7 Master 和 backup 的 realserver 的配置.....15 3.5.8 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主节点的服务挂掉之后，备节点能启动服务，尽量减小服务中断的时间。需要解决的问题就是：如何确定主备节点。 为大家熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key

企业版7 3-GigaOm API负载测试设置9 API 压力测试9 测试环境10 单节点10 环境清单10 软件版本信息11 4-测试结果12 图2. 空转时的压力测试 API 的基线延迟12 图3. API7与Kong EE在20,000 rps时的对比13 图4. API7与Kong EE在10,000 rps时的JWT对比。13 图5. API7与Kong EE在10,000 高性能和可用性。在本文中，我们将“高性能”定义为每秒负载超过1000个交易且在整个API环境中最大延迟小于30毫秒。对公司而言，对性能的需求和对管理的需求一样，因为公司依靠API交易速率来跟上业务发展速度。 API管理解决方案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和高交易量吞吐的解决方案。如果业务每秒有1000个交易，一个月内就会有30亿次API调用。拥有大流量的公司通常每月 EE。在每秒10,000个请求的情况下，99.99%的情况API7的延迟比Kong EE低14倍。API7和Kong EE二者百分比越高延迟差异越明显。在我们所有的测试中，最大延迟差异体现得最明显的是达到99.9%和99.99%的请求时。 云上测试软硬件是非常具有挑战性的。在可用性、虚拟机处理器、内存、最佳输入/输出的存储、网络延迟、软件和操作系统版本以及负载这些方面的配置可能会有利于其中一方。更

## CONTENTS 01 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 ■ 历年双11消息数量变化 ■ 消息中间件核心链路 ■ 低延迟存储 ■ 容量保障 ■ 熔断机制 ■ 多副本高可用 03 Apache RocketMQ 未来展望 ## 历年双11消息数量变化 } $ MTBF: Mean time between failure. MTTR: recover. MTTR = 1 seconds Availability = $ \frac{60*60*24 - 1}{(60*60*24)} = 99.999\% $ ## 双十一当天高可用标准 1. 每秒支撑千万级消息发布 2. 每条消息发布最大响应时间 不超过20ms 3. 每条消息发布平均响应时间 不超过3ms ![Image](/uploads/documents

2/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • ## 索引 ## 报价引擎 — 组织索引 • 规则库 => 索引库 - 规则库写入量大，集群峰值达20K TPS · 要求同步延迟很低，不超过60s - 保持顺序一致性，如果先删后插变成先插后删，数据会不一致 · 数据最终一致 · 系统高可用 规则库 供应商 A 供应商 B DB Sync 供应商 M 索引库 北京 | 上海 成都 | 杭州 广州 | 郑州 表 DataSync Canal Pipeline 解析 拆分 分配 入队 PEK-SHA CAN-NNG ZK Diff 按航线分表 ## 报价引擎 一 同步系统高可用 DB主主DB主 DB备B备备 Canal 主 Canal 土 Canal 备 Canal 备 DataSync DataSync DataSync DataSync ZK