抛砖引玉，只是结合我们团队业务场景来分享下我们选择数据库的过程。 - 不是数据库不好用， • 而是我们不会用， • 是我们用的姿势不对! 主要业务场景 • IM工具+SCRM系统（高并发、低延迟、稳定） • 大量客户需要私有化云服务器部署（云更新） • 需求变更频繁，不适合关系型数据库 ## 目前服务器架构 ![Image](/uploads/documents/a/7/3/6/a7

## GC带来的问题 -GC是个好东西，但也有问题 -难以避免的延迟(几十到几百ms) ·经验公式：10万对象1ms扫描时间 -1个tcp连接，约10个对象=>1万连接，1ms gc延迟 • GO-BFE的实时需求 - 请求的处理延迟 平均1ms以内，最大10ms · 实测 -100万连接，400ms gc延迟 ## GC优化思路 • Go的gc算法（go1.3） –Mark ## GC优化－补充分析 ## • HTTP场景 -短连接 - 长连接 · 平均连接上的请求是3个 • 90%(20s以内)、98%(50s之内) ## -大文件请求 • 对gc造成的延迟(几十ms)不敏感 Past: { BucketSize: 1, BucketNum: 10, Count: 139660, Sum: 44606461, Ave: 319, - Counters: [Image](/uploads/documents/b/6/7/f/b67feeef329677168cf0f86a902dbe8e/p33_1.jpg) ## 总结 • Go可以用于高并发、低延迟的程序开发 • Go极大的提升了开发效率 THANKS Bai百度

多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 ② 低延迟 server节点无状态 挑战 [Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p10_3.jpg) Sinker 云存储导出模型 ## 高吞吐/低延迟问题探究 ## 简单·可信赖 ## 困难 高吞吐 1、资源利用率低 2、上下游吞吐能力不匹配  ## 简单·可信赖 ## 线上系统现状 每日处理超过千亿数据点 每日处理百TB级别的数据 线上导出延迟在1分钟以内 较少的人工介入 秒级扩容 实时的可视化监控系统 易用的报警系统 自动生成线上日报 ## Go的应用 ## 我们用Golang做了些什么 - 流式计算、离线计算、日

高频行情信息包括实时报价、逐笔成交、分时成交、周期K线、资金流向等信息数据，券商通过专线线路从交易所获取原始数据后通过计算生成。 ’ alt=‘OCR图片’/> 证券行情系统的特点 超低延迟：延迟过大会误导投资决策，导致客户流失 超高并发：牛市时全民炒股刷行情数据 超高可靠性：数据出错可导致真金白银的损失 超严格监管：全面监管从严监管的时代受到各种合规约束 2015年5月 任务互相干扰影响性能 多处理器多核时代并发问题更加严重，同一内存单元读写也会互相干扰影响性能 ’ alt=‘OCR图片’/> 3.1内部存储器层次结构 Cache Miss的代价： 内存的延迟往往是很高的，从10到100纳秒不等。一个3.0GHz的CPU在100ns可以处理多达1200条指令。一次缓存失效约等于失去执行500CPU指令机会。 Cache 一致性协议： 缓存段处于独占或已修

企业版7 3-GigaOm API负载测试设置9 API 压力测试9 测试环境10 单节点10 环境清单10 软件版本信息11 4-测试结果12 图2. 空转时的压力测试 API 的基线延迟12 图3. API7与Kong EE在20,000 rps时的对比13 图4. API7与Kong EE在10,000 rps时的JWT对比。13 图5. API7与Kong EE在10,000 服务器部署和应用程序开发，且能降低计算成本的开销。 更重要的是，许多组织也依赖API和微服务来实现高性能和可用性。在本文中，我们将“高性能”定义为每秒负载超过1000个交易且在整个API环境中最大延迟小于30毫秒。对公司而言，对性能的需求和对管理的需求一样，因为公司依靠API交易速率来跟上业务发展速度。 API管理解决方案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和高交易量吞吐 EE。在每秒10,000个请求的情况下，99.99%的情况API7的延迟比Kong EE低14倍。API7和Kong EE二者百分比越高延迟差异越明显。在我们所有的测试中，最大延迟差异体现得最明显的是达到99.9%和99.99%的请求时。 云上测试软硬件是非常具有挑战性的。在可用性、虚拟机处理器、内存、最佳输入/输出的存储、网络延迟、软件和操作系统版本以及负载这些方面的配置可能会有利于其中一方。更

Worm data Cold data ## Curve文件系统框架和主要应用场景 • AI机器学习场景 • 大数据计算场景 • 中间件数据存储场景 - 支持POSIX兼容的文件API - 支持低延迟的文件数据访问  ## Curve文件系统面临的问题 Curve文件系统面临的问题 • 用户态实现 • 稳定性/可靠性高 - 容易更新及维护 - 基于FUSE提供POSIX兼容文件接口 • 问题 - 相对kernel文件系统的实现(ext4, xfs)性能差异大，延迟高  ## FUSE文件IO读写流程 9426387678223 ms| ## FUSE的IO路径及瓶颈分析 - 对比测试 • 文件访问测试直接访问ext4 - 通过FUSE访问passthrough_II底层ext4 • 内核调用延迟测试 - 与FUSE Daemon通讯120us左右，FUSE Daemon大概10us以内 • 瓶颈在/dev/fuse通讯开销 ![Image](/uploads/documents/6/