抛砖引玉，只是结合我们团队业务场景来分享下我们选择数据库的过程。 - 不是数据库不好用， • 而是我们不会用， • 是我们用的姿势不对! 主要业务场景 • IM工具+SCRM系统（高并发、低延迟、稳定） • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 ## 目前服务器架构 ![Image](/uploads/documents/a/7/3/6/a7

录了一个粗略的估计值，最后还以一个空的字幕帧结束。 这个选项可能失败，或者出现夸张的持续时间或者合成失败，这是因为数据中有非单调递增的时间戳。 注意此选项将导致所有数据延迟输出到字幕解码器，它会增加内存消耗，并引起大量延迟。 -canvas_size size：设置字幕渲染区域的尺寸（位置） ## 高级选项 -map [-]input_file_id[:stream_specifier][ dts delta threshold：时间不连续增量阀值。 - muxdelay seconds (input): 设置最大 解复用-解码 延迟。参数是秒数值。 - maxpreload seconds (input): 设置初始的 解复用-解码延迟，参数是秒数值。 - streamid output-stream-index:new-value (output): 强制把输出文件中序号为 一般用于具有不是从0开始时间戳的文件，例如一些传输流（直播下）。 - thread_queue_size size (input): 这个选项设置可以从文件或者设备读取的最大排队数据包数量。对于低延迟高速率的直播流，如果不能及时读取，则出现丢包，所以提高这个值可以避免出现大量丢包现象。 - override_ffserver (global): 对 ffserver 的输入进行指定。使用这个选项

## GC带来的问题 -GC是个好东西，但也有问题 -难以避免的延迟(几十到几百ms) ·经验公式：10万对象1ms扫描时间 -1个tcp连接，约10个对象=>1万连接，1ms gc延迟 • GO-BFE的实时需求 - 请求的处理延迟 平均1ms以内，最大10ms · 实测 -100万连接，400ms gc延迟 ## GC优化思路 • Go的gc算法（go1.3） –Mark ## GC优化－补充分析 ## • HTTP场景 -短连接 - 长连接 · 平均连接上的请求是3个 • 90%(20s以内)、98%(50s之内) ## -大文件请求 • 对gc造成的延迟(几十ms)不敏感 Past: { BucketSize: 1, BucketNum: 10, Count: 139660, Sum: 44606461, Ave: 319, - Counters: [Image](/uploads/documents/b/6/7/f/b67feeef329677168cf0f86a902dbe8e/p33_1.jpg) ## 总结 • Go可以用于高并发、低延迟的程序开发 • Go极大的提升了开发效率 THANKS Bai百度

|解决问题|C端展示问题、链接异常、平台差异|敏感内容过审、图片质量|出错处理、排期问题、最大限度止损| ## 接口SDK化 对于运营数据，无论是通过数据库的落地方案、还是通过分布式缓存的方案，都无法彻底解决服务中心化和服务抖动的问题。通过接入的SDK化，可以做到数据的本地缓存更新机制，解除对中心化服务的依赖，大大提升服务的稳定性和性能。同时整个APPKIT服务变成可水平扩展，在扩展过程中也不会影响中心服务的稳定性。 ## 取缓存数据。如果缓存数据不存在，则从数据库中读取数据，同时将数据库数据同步到Redis缓存中。这是经典的数据获取模型，但它有以下几个缺点： 1. 数据调用有网络时延。 2. Redis缓存抖动（网络抖动）会对服务的稳定性产生影响。 3. 缓存的单Key存储的容量限制。 ### 7.2 缓存方案 针对以上经典方案的缺点，我们做了进一步的改进，对配置后台数据服务做了一层本地内存缓存，如下图所示： [Image](/uploads/documents/3/5/e/a/35ea1e7659ba76c4ea2f0c80ce7a723a/p13_2.jpg) 样做可以解决数据调用的部分网络时延问题，同时Redis缓存的抖动也不会影响整体服务的性能。不过，这个方案也有其自身的缺陷。 1. APPKIT服务成了中心节点，业务方对中心节点强依赖，随着业务接入越来越多，中心服务的压力会等比例增加。 2. 业务接入层与配置

[Image](/uploads/documents/0/6/8/0/0680fe0064822f86eb9b8c4d1e285449/p13_3.jpg) ## 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个 ## 复制策略 • 主动拷贝、链式复制、splay复制 ## 异常处理 • PG有23种状态：Peering，Degraded等 • 强一致性协议对异常的容忍较差 10  ## 使用中的问题 • io抖动（一致性协议）：异常场景（比如阵列卡一致性巡检，坏盘，慢盘，网络异常），服务升级  ## 架构简介 — 一致性协议 Quorum一致性协议 • 大多数副本写完成返回客户端 • 延迟取决于所有副本中最快的大多数 ## 复制策略 • 主动拷贝，由 leader 向 follower 并发拷贝 ## 异常处理 • 自动leader选举 • 2N+1 副本数可以容忍 N 副本数异常

多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 ② 低延迟 server节点无状态 挑战 [Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p10_3.jpg) Sinker 云存储导出模型 ## 高吞吐/低延迟问题探究 ## 简单·可信赖 ## 困难 高吞吐 1、资源利用率低 2、上下游吞吐能力不匹配  ## 简单·可信赖 ## 线上系统现状 每日处理超过千亿数据点 每日处理百TB级别的数据 线上导出延迟在1分钟以内 较少的人工介入 秒级扩容 实时的可视化监控系统 易用的报警系统 自动生成线上日报 ## Go的应用 ## 我们用Golang做了些什么 - 流式计算、离线计算、日

高频行情信息包括实时报价、逐笔成交、分时成交、周期K线、资金流向等信息数据，券商通过专线线路从交易所获取原始数据后通过计算生成。 ’ alt=‘OCR图片’/> 证券行情系统的特点 超低延迟：延迟过大会误导投资决策，导致客户流失 超高并发：牛市时全民炒股刷行情数据 超高可靠性：数据出错可导致真金白银的损失 超严格监管：全面监管从严监管的时代受到各种合规约束 2015年5月 任务互相干扰影响性能 多处理器多核时代并发问题更加严重，同一内存单元读写也会互相干扰影响性能 ’ alt=‘OCR图片’/> 3.1内部存储器层次结构 Cache Miss的代价： 内存的延迟往往是很高的，从10到100纳秒不等。一个3.0GHz的CPU在100ns可以处理多达1200条指令。一次缓存失效约等于失去执行500CPU指令机会。 Cache 一致性协议： 缓存段处于独占或已修

以上，甚至观察到过4倍的CPU收益；内存收益更为明显，普遍在 $50%$ 以上，有些甚至能达到 $90%$ 。这帮助字节节省了大量的资源。更重要的是，Rust语言解决了Go语言GC所导致的不可预测的抖动问题，帮助其业务大大降低了超时率/错误率，降低了P99延迟，提升了业务的SLA。 不过Rust语言和Go语言并不是对立关系，而是互补关系，相互取长补短。对于需要极致性能、低延时、重计算、内存瓶颈的应用，以及需要稳定性并能接受一定 务的安全就从服务层面保护起来了。 随着字节体量的增长，底层的机房拓扑逻辑实际上是非常复杂的。为了屏蔽这个复杂性，我们会把相近的AZ在逻辑上打平成同一个DC。但跨AZ毕竟是有成本的，还会带来一些额外的延迟。因为有了服务网格的加持，我们可以在控制面给不同的数据面下发不同的路由规则，从而完成数据请求的就近调度，在服务体量很大的时候，可以获得较大的收益。此外，为了解决业务自定义的路由需求，我们基于服务网格构建了染色能力。 v0.4.0 版本发布。以 Unary 请求为例，Kitex相比官方 gRPC 框架吞吐高 51% - 70%，延迟也显著低于官方的 gRPC。 针对Streaming请求，经过优化后，Kitex吞吐显著高于官方gRPC，如下图，同时低并发下吞吐高但延迟持平，增加并发后能看到延迟出现分叉。所以在性能上，Kitex支持的gRPC协议相对官方有明显的优势。 在当前主流的Go开源RPC框架中，