现代编程思想 哈希表与闭包 Hongbo Zhang 1 回顾 表 键值对的集合，其中键不重复 简单实现：⼆元组列表 添加时向队⾸添加 查询时从队⾸遍历 树实现：⼆叉平衡树 基于第五节课介绍的⼆叉平衡树，每个节点的数据为键值对 对树操作时⽐较第⼀个参数 2 哈希表 哈希函数/散列函数 Hash function 将任意⻓度的数据映射到某⼀固定⻓度的数据 在⽉兔的 Hash Hash 接⼝中，数据被映射到整数范围内 trait Hash { hash(Self) -> Int } "这是⼀个⾮常⾮常⻓的字符串".hash() == -900478401 哈希表 利⽤哈希函数，将数据映射到数组索引中，进⾏快速的添加、查询、修改 1. // 对于 a: Array[(Key, Value)], key: Key, value: Value 2. let index 解决哈希表的冲突 直接寻址（分离链接）：同⼀索引下⽤另⼀数据结构存储 列表 ⼆叉平衡搜索树等 开放寻址 线性探查：当发现冲突后，索引递增，直到查找空位放⼊ ⼆次探查（索引递增 ）等 4 哈希表：直接寻址 当发⽣哈希/索引冲突时，将相同索引的数据装进⼀个数据结构中 例：添加0、5（哈希值分别为0、5）⾄⻓度为5的数组中时： 0 5 5 哈希表：直接寻址 哈希表结构 1

谈到数据层，这里我们遇到了存储上的一个小问题。按城市运营的每条数据，都需要存储具体的城市ID列 表，其在数据库里的存储为 “1,2,3,4…… ”这样字符串。而这种数据存储在业务请求和条件过滤过程中， 存在着如下两个问题： a. 大数据存储对内存的消耗 a. 大数据存储对内存的消耗 美团、大众点评运营的城市成千上万，如果每条运营的投放数据都包含大量的城市列表信息，对机器内存 势必产生一定消耗。 b. 过滤性能问题 b. 过滤性能问题 城市的过滤逻辑大体是这样：用户所在城市与从数据库获取到的城市列表（“1,2,3,4…… ”）进行匹配， 在每次匹配过程中都需要做字符串“split”的切割操作。这种操作的特点是流量越大，对机器CPU的消耗 越大。 解决方案：基于以上两点考虑，再结合Java语言提供的BitSet机制。我们从数据库里取出城市列表数据后 只做一次“split”切割操作，将数据转化为BitSet类型。这 0的时候做了一个全新的外卖频道页面，其链接信息与老版本的完全不同，这里我们 就需要按版本的不同配置两条不同的内容信息。 其次，节点与节点之间有两层关系，其一为“平级关系”，如美食与外卖的关系，这种关系就是一种简单 的列表关系；其二为树关系（Tree），如外卖与下午茶之间的关系。这里我们将角标（下午茶）视为一 个节点，因为角标也需要按不同维度进行过滤，因此下午茶成了外卖的子节点。其实这里有一些特殊的地 方，如果角标

如AI 拆表 拆界面及业务逻辑 微服务化改造典型流程 挑战：强业务相关， 必须业务+微服务专 家介入，投入大、时 间长； 关键技术：应用微服 务化改造工具套件 根据sql、日志、代码实现微服务拆分，并修改相关代码。 Huawei Confidential 7 微服务拆分工具-表自动分库 SQL 语句 SQL 语句 SQL 语句 … 语法分析 语法分析 语法分析 表关联分析 图切割+启 Step3：在每棵语法树上分析表的关联关系并汇集 成表关联关系加权图 Step6：采用图切割算法并配合启发式规则将表分 割到不同库中 原则：低耦合，高内聚 耦合度：微服务划分后，微服务与微服务连接的边的权重之和 内聚度：微服务划分后，微服务内部表与表之间的边权重之和 采用图搜索算法划分微服务的启发式规则(规则可自定义)： 规则1：贪婪原则 规则2：完全独立的表可归属任意微服务，也可独立成微服务 规则3：归属同一微服务的表数量不低于5（作为参数可配置） 规则4：关联度大于10（作为参数可配置）的表归属同一微服务 Huawei Confidential 8 微服务拆分工具 单体应用 单体数据库 微服务数据库 A库 B库 服务A 服务B 步骤1：通过SQL的关联程 度、使用次数等，识别出 相关性最高的表划分成一 个微服务 微服务数据库 A库 B库 服务A 服务B 步骤2：通过表结构调整，

BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 思考 THINKING 解耦 异步化 扩容 排队 队列 缓存 冷热数据隔离 读写分离 分库分表 容灾 限制 池化 ACK ... 变化 VARIETY adapter oltp db 银行/第三方支付 create new native thread 3.控制select/update/delete/insert的数据级和可变集合的size，避免随着业务增加 内存数据量不可控 4.页面查询不推荐全表查询，查询通过查询条件限制查询条数 5.页面下载条数和下载次数做限制，避免请求过多导致OOM 6.SQL优化目标必须满足range、ref或者consts，不可以是all类型，避免慢SQL 导致连接数耗尽影响业务功能 场景，预防产生死锁 8.代码中不建议使用@Transactional，因为一般业务场景中用不到，它影响数 据库性能并且多个操作可能在并发下导致数据库死锁 9.数据库单表达到一定数据量级需要做分库分表或者冷热数据隔离，避免业 务增加带来的性能问题 10.尽量避免使用全局变量防止并发出现线程安全问题，从而影响业务 11.定时器问题预防 定时器浪打浪情况下，任务重复处理会导致资金风险，建议使用redis避免

• 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 ⽆无状态 搜索框架 PriceMerger 商旅优选 头等舱 。。。 报价引擎—供应商规则 报价引擎 • 背景 • 供应商定价规则、航班舱 位、运价，决定底价 • 供应商数千，不不少供应商 上千万条规则 • 定价规则按供应商分库 • 问题 • 供应商规则更更新频繁 • 单次搜索要计算所有供应商规则 • DB读写压⼒力力⼤大 • 舱位状态变化频繁 • 热点航线问题 • 计算量量巨⼤大 报价引擎 索引 — 数据同步 Pipeline Canal 解析 拆分 分配 ⼊入队 CAN-NNG … … … PEK-SHA DataSync Diff ZK 按 供 应 商 分 表 按 航 线 分 表 报价引擎 — 同步系统⾼高可⽤用 DB主 DB备 Canal 主 Canal 备 DataSync DataSync DataSync DataSync DB主 DB备

⼲⼴广告投放时是⽤用Cookie来定向⽤用户的 • CM保存了DSP与ADX（如百度、淘宝）间CookieId的映 射关系 • 在RTB竞价的时候，DSP可以根据ADX-CookieId从映射 表中获取到DSP-CookieId CookieMapping 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 每天N亿曝光 • 30个维度，40个指标 • 表的数据量和维度的离散程度相关 • 如⼲⼴广告位有5000个，全国500个城市，时间粒度到⼩小时级别，则地区汇总表⼀一个 推⼲⼴广活动⼀一天最多就有 5000*500*24 = 6千万 记录 ReservedAll Right Reserved • 写⼊入做⼀一些合并，减少写⼊入的SQL数量 • MySQL库只保留最近7天的数据 • MySQL使⽤用MyISAM引擎 • MySQL做分库、分表后还可以应付 • InfoBright是列存储 • InfoBright压缩率奇⾼高 • InfoBright使⽤用的是社区版 曝光统计服务 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司

智能 能 能合 合 合约 约 约 211 11 多 多 多种 种 种语 语 语言 言 言SDK 253 12 区 区 区块 块 块链 链 链功 功 功能 能 能接 接 接口 口 口列 列 列表 表 表 479 13 使 使 使用 用 用链 链 链上 上 上信 信 信使 使 使 517 14 开 开 开发 发 发期 期 期问 问 问题 题 题排 排 排查 查 查 521 15 开 开 开发 发 制可及时与作恶节点断开网络连接，保障了系统安全。 • 权 权 权限 限 限管 管 管理 理 理机 机 机制 制 制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法：支持国密加密、签名算法和国密通信协议。 • 落 落 落盘 盘 盘加 加 加密 密 密方 方 方案 案 案：支持加密节点落盘数据，保障链上数据的机密性。 发、调试、部署、审计等，打造丰富的功能组件和实用工具，提供友好的、可视化的操作环境。 • 分 分 分布 布 布式 式 式身 身 身份 份 份解 解 解决 决 决方 方 方案 案 案WeIdentity：基于区块链的分布式多中心的技术解决方案，提供分布式实体 身份标识及管理、可信数据交换协议等一系列的基础层与应用接口，可实现实体对象（人或物） 数据的安全授权与交换。 • 分 分 分布 布 布式 式 式事 事 事件 件 件驱 驱 驱动

制可及时与作恶节点断开网络连接，保障了系统安全。 • 权 权 权限 限 限管 管 管理 理 理机 机 机制 制 制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法：支持国密加密、签名算法和国密通信协议。 • 落 落 落盘 盘 盘加 加 加密 密 密方 方 方案 案 案：支持加密节点落盘数据，保障链上数据的机密性。 发、调试、部署、审计等，打造丰富的功能组件和实用工具，提供友好的、可视化的操作环境。 • 分 分 分布 布 布式 式 式身 身 身份 份 份解 解 解决 决 决方 方 方案 案 案WeIdentity：基于区块链的分布式多中心的技术解决方案，提供分布式实体 身份标识及管理、可信数据交换协议等一系列的基础层与应用接口，可实现实体对象（人或物） 数据的安全授权与交换。 • 分 分 分布 布 布式 式 式事 事 事件 件 件驱 驱 驱动 按用 户、时间等维度分到各群组，群组架构可快速地平行扩展，在扩大了业务规模同时，极大简化了 运维复杂度，降低管理成本。 更多的群组介绍，请参考 群组架构设计文档 和 群组使用教程 2.1.2 分 分 分布 布 布式 式 式存 存 存储 储 储 FISCO BCOS 2.0新增了对分布式数据存储的支持，节点可将数据存储在远端分布式系统中，克服了本地 化数据存储的诸多限制。该方案有以下优点： •

组间网络通信的隔离性；CA黑名单机 制可及时与作恶节点断开网络连接，保障了系统安全。 • 权限管理机制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支持国密算法：支持国密加密、签名算法和国密通信协议。 • 落盘加密方案：支持加密节点落盘数据，保障链上数据的机密性。 • 密钥管理方案：在落盘加密方案的基础上，采用KeyManager服务管理节点密钥，安全性更强。 该部分更详细的文档请参考 使用文档 和 设 计文档 2.1.9 准入控制 2.0版本对准入机制进行了重塑升级，包括网络准入机制和群组准入机制，在不同维度对链和数据访问进 行安全控制。 采用新的权限控制体系，基于表进行访问权限的设计，另外还支持CA黑名单机制，可以实现对作恶/故 障节点的屏蔽。 详情请查看 准入机制设计文档 2.1.10 异步事件 2.0版本同时支持交易上链异步通知、区块上链异步通知以及自定义的AMOP消息通知等机制。 – erasePeers: 删除P2P连接配置 修复 • 修复国密环境扩容，新增扩容节点与其他节点P2P连接失败的问题 • 修复极端异常情况下，PBFT共识模块死锁的问题 • 修复CURD表名长度越界，提示错误的问题 • 修复合约事件推送，推送范围不准确的问题 • 修复OpenSSL 1.1版本，无法生成证书的问题 • 修复创世块文件group.x.genesis，初始节点顺序不一致导致创世块不一致，节点无法共识的

组间网络通信的隔离性；CA黑名单机 制可及时与作恶节点断开网络连接，保障了系统安全。 • 权限管理机制：基于分布式存储权限控制机制，灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支持国密算法：支持国密加密、签名算法和国密通信协议。 • 落盘加密方案：支持加密节点落盘数据，保障链上数据的机密性。 • 密钥管理方案：在落盘加密方案的基础上，采用KeyManager服务管理节点密钥，安全性更强。 该部分更详细的文档请参考 使用文档 和 设 计文档 2.1.9 准入控制 2.0版本对准入机制进行了重塑升级，包括网络准入机制和群组准入机制，在不同维度对链和数据访问进 行安全控制。 采用新的权限控制体系，基于表进行访问权限的设计，另外还支持CA黑名单机制，可以实现对作恶/故 障节点的屏蔽。 详情请查看 准入机制设计文档 2.1.10 异步事件 2.0版本同时支持交易上链异步通知、区块上链异步通知以及自定义的AMOP消息通知等机制。 – erasePeers: 删除P2P连接配置 修复 • 修复国密环境扩容，新增扩容节点与其他节点P2P连接失败的问题 • 修复极端异常情况下，PBFT共识模块死锁的问题 • 修复CURD表名长度越界，提示错误的问题 • 修复合约事件推送，推送范围不准确的问题 • 修复OpenSSL 1.1版本，无法生成证书的问题 • 修复创世块文件group.x.genesis，初始节点顺序不一致导致创世块不一致，节点无法共识的