⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 • 要求同步延迟很低，不不超过60s • 保持顺序⼀一致性，如果先删后插变成 先插后删，数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎 — 组织索引 北北 京 | 上 海海 成 都 | 杭 州 ⼴广 州 | 郑 州 南 宁 | 天 津 … 索引库 DB Sync 规则库 供应商 A 供应商 B 供应商 M … 报价引擎 — 数据同步 Pipeline

海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm Flink Ganglia Sqoop zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点： • 优点：采集能力强 • 缺点：时间、人力成本大 实时数据采集－数据如何获取？ 可视化埋点： • 优点：成本低，速度快 • 缺点：行为记录信息少，支持的分析方式少 • Flume

UAS-点评侧用户行为检索系统 57 ...................................................................... 美团DB数据同步到数据仓库的架构与实践 66 ...................................................................... 不可不说的Java“锁”事 ....... 境外业务性能优化实践 91 ...................................................................... 美团广告实时索引的设计与实现 106 ...................................................................... 大众点评账号业务高可用进阶之路 设计一套整体的流程管理机制，解决运营的投放、审核、发布和回滚的问题。通过流程化的机制，我们实 现了“事前”、“事中”、“事后”的三级管理。 首先，在运营配置上线前，通过测试用户的预览功能，可以预览上线后的实时效果。同时，通过穿越功能 可查看将来时段显示的效果。防止出现上线后链接出错、视觉效果达不到预期等问题。 其次，在流程阶段，引入审核机制，通过视觉和内容两方面的审核，保证投放数据的准确性。 最后

协同 ❌ 可视化程度低，学习成本⾼ ❌ ❌ 接⼝数据没有统⼀规范 ❌ 多系统，数据不互通 多⼯具切换，团队难以协作 可视化设计，⼩⽩都会⽤ ⼀个系统，同⼀份⽂档⼀次定义，⾃动同步 多⼈协作，实时反馈，合作更紧密 ⾃动化程度⾼，提⾼开发⼈员⽣产⼒ 以⼀致性提⾼软件的质量，简化企业 API 治理 ⾯向未来的 API 协同 API 设计者 后端开发 前端开发 测试工程师 API 可视化编排 逻辑判断 多线程压测 测试数据集 CI/CD 集成 兼容 JMeter 可视化报告 定时任务 API 分发 实时更新 实时调试 Markdown 公开⽂档站点 ⾃定义域名 ⾃定义样式 密码保护 Fox 脚本引擎 团队协同 历史修改记录 多⼈实时编辑 API 设计 可视化编辑 请求模版 多环境配置 响应示例 兼容 OAS 规范 数据模型 分⽀管理 Coming soon soon 兼容 Postman 多协议⽀持 HTTP(REST) TCP Coming soon Coming soon WebSocket GraphQL 成员/权限管理 IDE 插件同步 应对 API 研发双模型，各有妙招 监控 导出文档集 API 调用 代码注释 API 调用 API 定义 撰写接口文档 监控 业务代码 接口调用 调试接口 分发文档 Mock

Nacos 1.1.2 升级 1.4.1 最佳实践 267 服务发现最佳实践 281 Eureka 平滑迁移 Nacos 方案 281 Nacos 打通 CMDB 实现就近访问 288 跨注册中心服务同步实践 298 配置管理最佳实践 310 Nacos 限流最佳实践 310 Nacos 无缝支持 confd 配置管理 320 结语 326 结语 326 作者 < 6 作者 李艳林（彦林） 步演化成 3 个产品的，因此我们最终决定将内部三个 产品合并统⼀开源。定位为：⼀个更易于构建云原生应用的动态服务发现、配置管理和服务管理平 台。由于我们在阿里内部发展了 10 年，在易用、规模、实时、稳定沉淀了核心竞争力，围绕阿里 Dubbo 和 Spring-cloud-alibaba 生态进行推广，建立阿里 DNS（Dubbo+Nacos+Spring- cloud-alibaba/S restfulAPI，易用的控制台，丰富的使用文档。 稳定：99.9% 高可用，脱胎于历经阿里巴巴 10 年生产验证的内部产品，支持具有数百万服务的大 规模场景，具备企业级 SLA 的开源产品。 实时：数据变更毫秒级推送生效；1w 级，SLA 承诺 1w 实例上下线 1s，99.9% 推送完成；10w 级，SLA 承诺 1w 实例上下线 3s，99.9% 推送完成；100w 级别，SLA 承诺

深入理解函数式编程（上） 512 深入理解函数式编程（下） 541 Android 对 so 体积优化的探索与实践 568 从 0 到 1：美团端侧 CDN 容灾解决方案 589 美团高性能终端实时日志系统建设实践 608 后端 622 可视化全链路日志追踪 622 设计模式二三事 647 基于代价的慢查询优化建议 670 Java 系列 | 远程热部署在美团的落地实践 692 从多领域优化到 AutoML 框架 作者：胡可 1. 背景与简介 反馈快速、竞争激烈的算法比赛是算法从业者提升技术水平的重要方式。从若干行业 核心问题中抽象出的算法比赛题目具有很强的实际意义，而比赛的实时积分榜促使参加 者不断改进，以试图超越当前的最佳实践，而且获胜方案对于工业界与学术界也有很强 的推动作用，例如 KDD Cup 比赛产出的 Field-Aware Factorization Machine(FFM) 的浏览行为，往往有着完全不同的偏好。例如一个用户工作日在公司附近，可能感兴 趣的就是一次方便的工作餐；在假期的家中，则会想找一个有趣的遛娃去处。但传统 的图神经网络缺乏对用户请求时间和所处位置的实时感知能力。因此如何从图蕴含的 丰富信息中挖掘出匹配当前时空场景的候选集合，同样是一大挑战。 针对以上业务特点和挑战，我们设计了基于全场景数据高阶关系的大规模异构图建 模，借助全场景丰富的行为数

Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job 或者流⽔线 登录 MeterSphere 界⾯ API 调⽤ ⾃动运⾏ 关联 对接⼝直接进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 管理 调⽤ UI 测试 测试结果 Selenium IDE 插件录制 上传 发起测试 不仅仅是功能的⼀站式 外部系统交互与集成 存量测试脚本的兼容 测试左移 开发参与测试 测试团队 运维参与测试 测试管理 测试计划、⽤例管理、测试报告 接⼝测试 接⼝管理、接⼝ Mock、接⼝⾃动化 性能测试 兼容 JMeter、云端压测、实时展示 UI 测试（X-Pack） 兼容 Selenium、元素库、UI ⾃动化 测试右移 QA 是全员的责任（质量内建） 敏捷流程 持续监控 持续开发 持续集成 持续部署 MeterSphere 设计 持续反馈 持续改进 数据采集 数据采集 度量 功能评审率 接⼝覆盖率 ⾃动化执⾏效率 缺陷统计数 缺陷管理 缺陷统计 缺陷分布 数据采集 性能测试 ⽤例 评审 缺陷推送与同步 ⼈⼯模式的测试计划执⾏ 功能测试⽤例 接⼝测试⽤例 接⼝场景⽤例 性能测试⽤例 UI 测试场景 其他测试⽤例 测试计划 测试计划报告 缺陷管理 发起 执⾏ 报告 全 ⾃ 动 化

@QLeelulu 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • RTB: Real-time Bidding，实时竞价，允许⼲⼴广告买家根据 活动⺫⽬目标、⺫⽬目标⼈人群以及费⽤用⻔门槛等因素对每⼀一个⼲⼴广告 及每次⼲⼴广告展⽰示的费⽤用进⾏行竞价。 • DSP: Demand Side Platform，需求⽅方平台，允许⼲⼴广告客 预警接⼝口: Redis 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved Dispatch: 数据、状态同步 Dispatch etcd Bid Server Bid Server . . Bid Server Bid Server 队列 专业DSP解决⽅方案 © Right ReservedAll Right Reserved • 重度使⽤用Redis • 存放的数据包括 • CookieMapping • 曝光频次 • DMP⼈人群数据 • 实时费⽤用消耗 • 其他 Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • Ser

MAX_LOG_FILE_SIZE 最大日志文件大小 LOG_FLUSH_THRESHOLD 超过多少条日志即可落盘 bootstrapnodes.json 配置节点启动时主动去连接的节点。在连接成功后，节点会自动同步彼此的 peers，进而连接更多的节点。 {"nodes":[ {"host":"127.0.0.1","p2pport":"30303"}, {"host":"127 普通节点。其中会调用generate_node_basic.sh、generate_node_cert.sh和 generate_genesis.sh，生成节点的目录、文件和证书。生成的节点是关闭状态。 节点启动后，会自动连接创世节点，同步系统合约。 参数： 必要参数 flag 参数 说明 -o 指定节点的文件夹生成 位置 -n 节点名 flag 参数 说明 -l 节点监听端口对应的IP -r 节点RPC端口号 -p 节点P2P端口号 根据情况自定，端口不冲突 -c 节点channel端口号 根据情况自定，端口不冲突即 -e 链上节点P2P接口URL 的列表 节点启动时，主动连接链上节点的P2P接 口同步数据。 此列表用”,”分割，如： 127.0.0.1:30303,127.0.0.1:30304 -d 节点所属机构证书文件 夹 -a 节点所属机构名 可选参数 flag 参数 说明

MeterSphere Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job UI 登录 API 调⽤ 运⾏ 关联 对接⼝直接 进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 管理 调⽤ MeterSphere 关键能⼒设计⼆：能⼒⼀站式 UI 测试 测试结果 Selenium IDE 插件录制 上传 发起 MeterSphere 团队协作、融⼊ DevOps 持续集成 持续部署 测试跟踪 测试计划、⽤例管理、测试报告 接⼝测试 接⼝管理、接⼝ Mock、接⼝⾃动化 性能测试 兼容 JMeter、云端压测、实时展示 UI 测试（X-Pack） 兼容 Selenium、元素库、UI ⾃动化 持续 测试 - 五⼤核⼼能⼒，满⾜企业持续测试成熟度模型 - MeterSphere 的核⼼功能设计 ⼀、测试跟踪 脑图模式⽤例管理 制定测试计划，并进 ⾏测试执⾏ 报告预览与 统⼀输出 脑图模式查 看与评审 列表模式查 看与评审 双向同步 ⽤例导⼊ ⽤例创建 JIRA 、 禅道 、TAPD 等 关联需求 JIRA 、 禅道 、TAPD 等 同步缺陷 报告预览与 统⼀输出 MeterSphere 缺陷管理 1 5 MeterSphere 测试跟踪核⼼：覆盖全场景的测试计划