SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 报价源多，不稳定 • 响应时间要求苛刻 遇到问题 • 搜索条件有热点 • 缓存报价不准 · 尽量用原生数据类型，编码 • 回数比例，异步搜索更新 解决方案 · 分批回数 ·一致性哈希，负载均衡 • 供应商粒度，主动更新 ## 报价引擎 供应商规则 套餐搭售 + 航司运价 + 低价特惠 商旅优选 头等舱 o o o 航班舱位状态 ## 报价引擎—供应商规则

GCN ## Go工程可观测性实践 周曙光 得物 Go开发  可观测性概述 01 链路追踪 02 指标 03 ## 第一部分 ## 可观测性概述 ## “ ## 什么是可观测性？ 广义的可观测性：可以根据系统的外部输出信息推断出系统内部状态的好坏。 推断出系统内部状态的好坏。 软件系统的可观测性：一种度量能力，能帮你更好的理解系统当前所处的任何状态。如果无需发布新代码就可以理解任何新的或怪异的状态，那么系统就具备可观测性。 ## 可观测性开源产品  Prometheus ![Im ## OpenTelemetry 为了解决 “厂商锁定问题”， 监控和可观测性社区过去创建了很多开源项目， 比如OpenTracing和OpenCensus， 这些标准允许用户实时收集遥测数据并传输到所选择的后端， 最终在2019年， 两个组织共同组建OTel项目， 并由CNCF负责。 OTel目前已经成为可观测性方案开源标准，标准的好处就是有了很多选择。 ## OTel 组件 ![Imag

9d/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化 ![Image](/u 物理表 财务 微商 物流 车小微 数据市场 应用市场 数据服务 数据开放 物流 库存 营销 订单 实时计算 库存 用户行为 关键业务数据（实时） 跨境电商 RRS 区域运营 服务网 元数据管理 数据质量 据 管 数据安全 ## 实时计算平台框架 数据产品1 数据产品2 数据产品N 存储服务 ![Image](/uploads/document

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问  ## 可扩展性 基于 Multi-Raft 的数据分片 Raft 协议提供副本复制的一致性 用户几乎无感知的数据调度和扩/缩容 ☐ 一条命令加减节点 除了容量外，读写热点也会被调度均衡 • 通过增加节点增加吞吐 ○ 接近线性的算力扩展 • 协处理器并发分担计算任务 ## 可扩展性

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 uet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3 /

Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈 Etcd, DynamoDB Postman Go Test Code Quality Control - Code Review Code Review非常重要 但是Code Review的重要性经常会被忽视 好的工具能够提高Code Review的效率 我们所使用的工具 Phabricator Jenkins Slackbot Code Quality Control - Code

## 好的 MySQL 兼容性可以做到什么程度 PolarDB-X 如何做生态兼容 胡中泉（舟济） 阿里云数据库解决方案架构师 ## 01 为什么要兼容 MySQL The longer you look back, the farther you can look forward. ## 也从阿里巴巴的“去IOE”运动说起 ## 业务驱动下的分布式技术实践之路  ## PolarDB-X 完全兼容 MySQL Binlog 可行性 ## PolarDB-X CN CN DN CN DN DN ![Image](/uploads/documents/3/f/4/e/3f4ec83abe17d21c76d0d477fa275302/p8_2 分布式数据库有哪些问题要考虑 • 多节点产生多个增量事件队列 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ## A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 - 透明：下游系统或工具改造成本为零 - 实现复杂度高 ## PolarDB-X Global

CHINA CONF 2021 - 2022 第二届中国Rust开发者大会 2022.07.31 Online # Rust API可靠性分析与验证 姜剑峰 ## 主题内容 • Rust第三方库API可靠性现状 • 现用方法的局限性 - 基于程序合成+模糊测试的可靠性分析方法 ## 自我简介 • 本（2019）硕（2022）毕业于复旦大学 - 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 ## Rust API 可靠性 现有的机制是否足够呢？ - unsafe代码没有破坏内存安全性 • no memory leakage • panic free 在任何合法使用API的情况下 • 所有静态检查提供的保证都应该被满足（不应该被unsafe所破坏） - 所有动态检查都不应该被违背（可以被安全的移除），除非panic是一种允许的行为 ## 现有的可靠性分析方法及其局限性 模糊测试(afl 模糊测试用例程序 ## 结论以及未来的发展 1. Rust优秀的语言设计避免了大量可能发生的潜在错误 2. 目前Rust程序合成的难点在于unsafe代码，泛型与trait，宏等 3. 保障Rust程序的可靠性仍然需要各种程序分析以及软件测试的手段 ## Thanks ## Rust China Conf 2021-2022 – Online, China

## Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer  ## 01 ## Doris简介 ## 系统定位 • 基于MPP（大规模并行处理）架构的分析型数据库 • 性能卓越，PB级别数据毫秒/秒级响应 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 ## 发展历程 ![Image](/uploads/documents/0/1/5/2/01525fea83a74444259958fe4de89db4/p5_2 级 ## 2009 - 进行了通用化改造，开始承接公司内部其他报表系统 - 助力百度统计成为国内最大的中文网站分析工具 ## 2012 - 随百度业务飞速发展，对Doris的性能、可用性、拓展性进行了全面升级 承担百度所有统计报表业务 03 ![Image](/uploads/documents/0/1/5/2/01525fea83a74444259958fe4de89db4/p6_2

## TiDB 可观测性 的设计与实现 ## - 陈霜 ## 精彩继续! 更多一线大厂前沿技术案例 广州站 QCon 全球软件开发大会 时间：2022年7月31–8月1日 地点：广州·万富希尔顿酒店 北京站 GITC 全球大前端技术大会 时间：2022年8月 地点：北京·国际会议中心 北京站 QCon 全球软件开发大会 时间：2022年9月 地点：北京·国际会议中心 e=id.g13672fc9a52_0_156 ☑ Externally Shared ▲ Not in a shared drive 我的云端硬盘 / ☐ ArchSummit-TiDB 可观测性的设计与实现 ☆ ☐ 文件 编辑 查看 插入 格式 幻灯片 排列 工具 插件 帮助 上次修改是在 34 分钟前进行的 ## CPU Profiling By SQL Request go-demo 148.731 $ \mu $ s, gc_sweep: 7.82 $ \mu $ s 我的云端硬盘 - Google 云端硬盘 - Google 云端硬盘 - ArchSummit-TiDB 可观测性的 docs.google.com/presentation/d/12HUWHWEQMU5v0m7hX9yh8fNafv4WRV59cxeRjqO6Qls/edit?n=ArchSummit-TiDB#slide=id