⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 性能不⽐比Redis差 • SSD优化 • 完备的分布式集群 • ⼆二级索引 • 开源，企业版⽀支持跨机房的集群 • 99%的请求1ms响应 • ⽀支持的数据结构类型偏简单 CookieMapping: Aerospike 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 采⽤用SSD来存储（Intel S3500，SATA⼝口） • 数据在SSD中，索引在内存中（1G内存索引16M记录） • 10个节点，replication-factor: 1，写⼀一份到Ardb做备份 • 官⽅方提供Go的Client • 线上半年⽆无故障 CookieMapping: ReservedAll Right Reserved • 每天N亿曝光 • 30个维度，40个指标 • 表的数据量和维度的离散程度相关 • 如⼲⼴广告位有5000个，全国500个城市，时间粒度到⼩小时级别，则地区汇总表⼀一个 推⼲⼴广活动⼀一天最多就有 5000*500*24 = 6千万 记录 • 实时统计 • 实时计算、⼊入库 • 实时查询，秒级响应 曝光统计服务

终极目标也是为了保证软件开发维护的效率和质量。 模块化设计-复用原则 REP 发布等同原则 (Release/Reuse Equivalency Principle) 软件复用的最小粒度应等同于其发布的最小粒度。 CCP 共同闭包原则 (Common Closure Principle) 为了相同目的而同时修改的类，应该放在同一个模块中。 对大部分应用程序而言，可维护性的重要性远远大于可复 包命名困难，易出现重复包名， 使用困惑，开发效率低 • 包管理困难，容易出现 cycle import 循环引用问题 改进： • 代码分层设计，降低代码耦合 • 功能逻辑按照对象封装，细化封 装粒度，降低单包职责 • 规避了同名包名的问题 • 规避了 cycle import 问题 常见项目架构示例2 常见项目架构示例1 对象封装改进 对象封装设计-资源命名规范 在三层架构设计模式下，我们的业务包命名

BFE平台架构 负载均衡器 vs 名字服务 基于负载均衡器 基于名字服务 方案对比 方案 对流量的控制力 资源消耗 对客户端的要求 适用场景 基于负载均 衡器 强。可以达到单个连 接 / 请求的粒度。 高。负载均衡器引 入了额外的资源消 耗。 低。客户端基本不 需要实现策略。 总体流量规模不大 （从负载均衡器资 源消耗的角度）； 应用场景对流量控 制要求高。 基于名字服 https://github.com/baidu/go-lib • 支持状态、差值、延迟统计等 配置管理 • BFE配置的分类 • 常规配置：.conf • 动态配置：.data • 配置动态加载 • 外部触发，细粒度加载 写配置 func (t *ProductRuleTable) Update(conf productRuleConf) { t.lock.Lock() t.version = conf.Version

还有⼀些公司的 metrics 系统设计，本机上会有 udp 通信 阻塞导致⾼延迟 锁瓶颈的⼀般优化⼿段： • 缩⼩临界区：只锁必须锁的对象，临界区内尽量不放慢操作，如 syscall • 降低锁粒度：全局锁 -> 对象锁，全局锁 -> 连接锁，连接锁 -> 请求锁，⽂ 件锁 -> 多个⽂件各种锁 • 同步改异步：如同步⽇志 -> 异步⽇志，若队列满则丢弃，不阻塞业务逻辑 CPU 使⽤太⾼了-编解码使⽤ 等)修改⽹络编程⽅式(只适⽤于对延迟不敏感的业务) • 通过修改代码，减少函数调⽤层级(难) 总结⼀下 • 阻塞问题 • 上游系统阻塞 • 让上游赶紧解决！ • 锁阻塞 • 减少临界区范围 • 降低锁粒度 • Global lock -> sharded lock • Global lock -> connection level lock • Connection level lock ->

在这种极端压测情况下（冲突及其严重的场景下） • Cpu消耗从sy转移到us，因为有大量的cas fail，导致大量重试 • 整体耗时也没有明显减少 心得—channel优化 • 方案二：减小锁的粒度 队列从一条变成N条，缩小竞争范围 A B C cs Cpu (us/sy) Cost（s） Channel个数 1 10000 10 1658 5/0 33 1 10 50000 10 672448

新server从zk上获取master身份信息 • 新server上报⼼心跳给master • 其他任务被调度⾄至新server 简单 · 可信赖 调度框架 • server感知 • 任务发现及粒度切分 • 数据平滑 • 调度组 • 管理理接⼝口 简单 · 可信赖 调度算法 简单 · 可信赖 ⾃自动化运维 简单 · 可信赖 监控⽅方案 • logkit：七⽜牛pandora团队开发的纯go语⾔言数据收集、推

- 不是重复造轮⼦ - 不仅是web框架 - 不仅是微服务框架 - 为扩展⽽⽣ - 以模块化的开发为核⼼ VS 模块化开发原则 - ⾯向接⼝进⾏开发，⽽不是⾯向实现 - 模块拆分的粒度尽可能⼩ - 模块内聚，模块间松耦合 - 模块间的引⽤使⽤DI⽽不是直接依赖实现包 - 服务可以由多个模块拼装组成 ⼀个最简单的模块定义 - 可以使⽤ cli ⽣成模块 template

某些算法的时间复杂度不是固定的，而是与输入数据的分布有关。例如，假设输入一个长度为 ? 的数组 nums ，其中 nums 由从 1 至 ? 的数字组成，但元素顺序是随机打乱的；算法的任务是返回元素 1 的索引。我们可 以得出以下结论： ‧ 当 nums = [?, ?, ..., 1] ，即当末尾元素是 1 时，需要完整遍历数组，此时达到 最差时间复杂度 ?(?) 。 ‧ 当 nums = [1, Shuffle(len(nums), func(i, j int) { nums[i], nums[j] = nums[j], nums[i] }) return nums } /* 查找数组 nums 中数字 1 所在索引 */ func findOne(nums []int) int { for i := 0; i < len(nums); i++ { // 当元素 1 在数组头部时，达到最佳时间复杂度 O(1) 度」可以体现算法在随机输入数据下 的运行效率，用 Θ 记号来表示。 对于部分算法，我们可以简单地推算出随机数据分布下的平均情况。比如上述示例，由于输入数组是被打乱 的，因此元素 1 出现在任意索引的概率都是相等的，那么算法的平均循环次数则是数组长度的一半 ? 2 ，平均 时间复杂度为 Θ(? 2) = Θ(?) 。 但在实际应用中，尤其是较为复杂的算法，计算平均时间复杂度比较困难，因为很难简便地分析出在数据分

算法的时间效率往往不是固定的，而是与输入数据的分布有关。假设输入一个长度为 ? 的数组 nums ，其中 nums 由从 1 至 ? 的数字组成，每个数字只出现一次；但元素顺序是随机打乱的，任务目标是返回元素 1 的 索引。我们可以得出以下结论。 ‧ 当 nums = [?, ?, ..., 1] ，即当末尾元素是 1 时，需要完整遍历数组，达到最差时间复杂度 ?(?) 。 ‧ 当 nums = [1, ?, ? nums[j] = nums[j], nums[i] }) 第 2 章 复杂度分析 hello‑algo.com 41 return nums } /* 查找数组 nums 中数字 1 所在索引 */ func findOne(nums []int) int { for i := 0; i < len(nums); i++ { // 当元素 1 在数组头部时，达到最佳时间复杂度 O(1) 杂度可以体现算法在随机输入数据下的 运行效率，用 Θ 记号来表示。 对于部分算法，我们可以简单地推算出随机数据分布下的平均情况。比如上述示例，由于输入数组是被打乱 的，因此元素 1 出现在任意索引的概率都是相等的，那么算法的平均循环次数就是数组长度的一半 ?/2 ，平 均时间复杂度为 Θ(?/2) = Θ(?) 。 但对于较为复杂的算法，计算平均时间复杂度往往比较困难，因为很难分析出在数据分布下的整体数学期望。

某些算法的时间复杂度不是恒定的，而是与输入数据的分布有关。举一个例子，输入一个长度为 ? 数组 nums ， 其中 nums 由从 1 至 ? 的数字组成，但元素顺序是随机打乱的；算法的任务是返回元素 1 的索引。我们可以得 出以下结论： ‧ 当 nums = [?, ?, ..., 1]，即当末尾元素是 1 时，则需完整遍历数组，此时达到 最差时间复杂度 ?(?) ； ‧ 当 nums = [1, Shuffle(len(nums), func(i, j int) { nums[i], nums[j] = nums[j], nums[i] }) return nums } /* 查找数组 nums 中数字 1 所在索引 */ func findOne(nums []int) int { for i := 0; i < len(nums); i++ { // 当元素 1 在数组头部时，达到最佳时间复杂度 O(1) 的 运行效率，用 Θ 记号（Theta Notation）来表示。 对于部分算法，我们可以简单地推算出随机数据分布下的平均情况。比如上述示例，由于输入数组是被打乱 的，因此元素 1 出现在任意索引的概率都是相等的，那么算法的平均循环次数则是数组长度的一半 ? 2 ，平均 时间复杂度为 Θ(? 2) = Θ(?) 。 但在实际应用中，尤其是较为复杂的算法，计算平均时间复杂度比较困难，因为很难简便地分析出在数据分布