SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 报价源多，不稳定 • 响应时间要求苛刻 遇到问题 • 搜索条件有热点 • 缓存报价不准 · 尽量用原生数据类型，编码 • 回数比例，异步搜索更新 解决方案 · 分批回数 ·一致性哈希，负载均衡 • 供应商粒度，主动更新 ## 报价引擎 供应商规则 套餐搭售 + 航司运价 + 低价特惠 商旅优选 头等舱 o o o 航班舱位状态 ## 报价引擎—供应商规则

## 简明高效的 Go 语言实战指南 视频课程 ## 你将获得 快速掌握 Go 语言基础语法和特性 学习性能调优方法并编写高性能代码 轻松搞定编程中的常见并发任务 设计并实现可扩展架构和高可用系统 ## 蔡超 Mobvista 技术副总裁 前亚马逊（中国）首席软件架构师 原价￥129 拼团价 ¥99 限时24⼩时 ![Image](/uploads/documents/3

## 云原生观察性、自动化交付以及 IaC 等之道 ## 云原生产品与架构系列讲座  高磊 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 11月17日（周三）晚8点-9点  一．另一种PaaS：API-M 二．云原生可观察性方法论 三．云原生自动化交付（ISV业务下发） 四．基础设施即代码拉通云与云原生 ## 全生命周期API管理-1 服务是从内研发视角来看的，但是对于外部消费者只想找到并集成API而已，并不想 44b9265b9cd04d/p7_2.jpg) 监控与告警： 主动告诉我 问题发生了！ ## 标准化能力—微服务PAAS—从监控到可观测—研发人员的第五感—2 可观察性是云原生特别关注的运维支撑能力，因为它的主动性，正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 Metric 是指在多个连续的时间周期内用于度量的KPI数值 Tracing

## 构建强一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ## 极客时间 | 企业服务 ## 想做团队的领跑者 需要迈过这些“槛” 成长型企业，易忽视人才体系化培养企业转型加快，团队能力又跟不上 团队成员技能水平不一， 难以一“敌”百人需求 寻求外部培训，奈何价更高且集中式学习 学习效果难以统计，产生不良循环 VS VS VS

GCN ## Go工程可观测性实践 周曙光 得物 Go开发  可观测性概述 01 链路追踪 02 指标 03 ## 第一部分 ## 可观测性概述 ## “ ## 什么是可观测性？ 广义的可观测性：可以根据系统的外部输出信息推断出系统内部状态的好坏。 推断出系统内部状态的好坏。 软件系统的可观测性：一种度量能力，能帮你更好的理解系统当前所处的任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态，那么系统就具备可观测性。 ## 可观测性开源产品  Prometheus ![Im ## OpenTelemetry 为了解决 “厂商锁定问题”， 监控和可观测性社区过去创建了很多开源项目， 比如OpenTracing和OpenCensus， 这些标准允许用户实时收集遥测数据并传输到所选择的后端， 最终在2019年， 两个组织共同组建OTel项目， 并由CNCF负责。 OTel目前已经成为可观测性方案开源标准，标准的好处就是有了很多选择。 ## OTel 组件 ![Imag

9d/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化 ![Image](/u 物理表 财务 微商 物流 车小微 数据市场 应用市场 数据服务 数据开放 物流 库存 营销 订单 实时计算 库存 用户行为 关键业务数据（实时） 跨境电商 RRS 区域运营 服务网 元数据管理 数据质量 据 管 数据安全 ## 实时计算平台框架 数据产品1 数据产品2 数据产品N 存储服务 ![Image](/uploads/document

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 backup 的 realserver 的配置.....7 2.4.9 Master 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景 11 3.5.7 Master 和 backup 的 realserver 的配置.....15 3.5.8 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主节点的服务挂掉之后，备节点能启动服务，尽量减小服务中断的时间。需要解决的问题就是：如何确定主备节点。 tcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自动删掉。这在很多分布式锁的实现上都会用到，可以保证锁的实时性和有效性。CAS(Atomic Compare-and-Swap)指的

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问  Web Console ## 现实的困境 使用 NoSQL 复杂查询？用程序描述写复杂查询逻辑 ☐ 多维查询？手动维护多维索引 使用 Hadoop ☐ 高并发读取？预计算回写 RDBMS 或者 NoSQL ☐ 需要 Update？手动维护变更数据 使用传统关系型数据库 ☐ 承载大量数据力有未逮 ☐ 算力扩展堪忧 ## 现实的困境 • 单一系统也许无法完成任务

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。