[Image](/uploads/documents/9/5/4/b/954b546d59601c8c7ca544576a5c2dcf/p1_1.jpg) ## Java Chassis通信处理详解 通信优化实践 ## 议题 - 问题与挑战 • 整体线程模型 • Consumer • Producer  仅仅是指编程模型上的同步，跟网络通信无关因为所有场景下网络操作都是异步的 ## •Producer @GetMapping(path="/sayHello") public String sayHello() {

SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 空间换时间 • 缩短对象驻留内存时间，减少gc次数，优化单机吞吐 • 数据交换采用protobuf + gzip处理 - jit、预热 ## 回顾 • 水平分层，纵向分渠道，良好的扩展性 - 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 · 闭环系统 · 索引库数据同步 • 本地缓存的设计，更新策略 • 缩减对象内存 0 ·一致性哈希负载均衡 ## 心得 • 不同的业务场景，不同的特征

9d/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化 ![Image](/u 物理表 财务 微商 物流 车小微 数据市场 应用市场 数据服务 数据开放 物流 库存 营销 订单 实时计算 库存 用户行为 关键业务数据（实时） 跨境电商 RRS 区域运营 服务网 元数据管理 数据质量 据 管 数据安全 ## 实时计算平台框架 数据产品1 数据产品2 数据产品N 存储服务 ![Image](/uploads/document

## 支持10万TPS的高性能服务间通信解读 刘宝  刘宝，华为微服务开发专家，Apache ServiceComb Committer。拥有10年以上Java开发框架的开发和运维经验。热爱微服务，并持续为它们开发一些常用的工具，比如进行

协议栈在终端通信场景的实践 胡凯 hukai45@huaweicom 华为 公共开发部 嵌入式软件能力中心 ‖ 目录 @ HTTP 协议介绍 什么是 HTTP 协议? @ Rust与HTTP协议 介绍 Rust 与 HTTP 协议栈结合的业界实现。 @ 终端 HTTP 通信场景浅析 终端场景下 HTTP 协议的主要使用场景，以及需要思考的问题。 @ Rust 与终端 HTTP 通信场景结合 通信场景结合 我们当前结合 Rust 和终端通信场景的实践的简单介绍, 和1 Part 01 HTTP 协议介绍 什么是 HTTP 协议? Rust China Conf 2022 - 2023, Shanghai China HTTP 协议介绍 HTTP 协议，即超文本传输协议 (HyperText Transfer Protocol) 是一种用于分布式、协作式和超媒体 信息系统的应用层协议。 HTTP 协议主要具有以下特点: WO WO 支持客户/服务器模式。 简单快速: 客户向服务器请求服务时，只需传送 请求方法、路径和请求头。HTTP 协议简单、HTTP 服务器的程序规模小，因而通信速度很快。 灵活: HTTP 支持传输任意类型的数据对象。 无连接: HTTP 限制每次连接只处理一个请求，节 省传输时间。(在 HTTP/1.1 之后变更) 无状态: HTTP 协议对于事务处理没有记忆和能力，

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问  ## 更严格的需求 如果实时短读写需要稳定的高频低延迟响应 ● 或者干脆绕过消息队列缓存，在线应用直接写入数据库 ☐ 需要系统负荷有余量 ☐ 受到较少的干扰 ☐ 使用行存格式 - 如果实时长查询快速返回结果 所有系统资源全力投入计算 ☐ 使用列存格式 ## 案例回顾 TiDB 为保证短读写，使用了行存而非列存

Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈 8518 GopherChina 2017 www.gopherchina.org Grab还在用Golang做什么 Stream processing 整合数以亿计的乘客，司机以及交通信息 Serverless Architecture 函数式计算 机器学习平台 打造工程师与数据科学家之间的桥梁 将人工智能融入平台的每一部分 We’re hiring Q & A References