Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈 Grab还在用Golang做什么 Stream processing 整合数以亿计的乘客，司机以及交通信息 Serverless Architecture 函数式计算 机器学习平台 打造工程师与数据科学家之间的桥梁 将人工智能融入平台的每一部分 We’re hiring Q & A References https://techcrunch.com/2017/03/21/grab-uber-myanmar/

/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化 ![Image](/upl 财务 微商 物流 车小微 数据市场 应用市场 数据服务 数据开放 物流 库存 营销 订单 实时计算 库存 用户行为 关键业务数据（实时） 跨境电商 RRS 区域运营 服务网 元数据管理 数据质量 据 管 数据安全 ## 实时计算平台框架 数据产品1 数据产品2 数据产品N 存储服务 ![Image](/uploads/documents/

SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 分级缓存 ## 搜索框架 App WWW Touch 分销 应用层 空间换时间 • 缩短对象驻留内存时间，减少gc次数，优化单机吞吐 • 数据交换采用protobuf + gzip处理 - jit、预热 ## 回顾 • 水平分层，纵向分渠道，良好的扩展性 - 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 · 闭环系统 · 索引库数据同步 • 本地缓存的设计，更新策略 • 缩减对象内存 0 ·一致性哈希负载均衡 ## 心得 • 不同的业务场景，不同的特征

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## • 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问 uments/7/3/2/5/732572a49722effd68a1810843a60285/p10_3.jpg) ## TiDB ## TiDB 是什么 • 分布式数据库 ☐ 支持方便的横向扩展 ☐ 高吞吐 ☐ 分布式事务支持 ☐ 高可用 关系型模型 MySQL 兼容的 SQL 支持 ☐ 索引支持 ☐ ACID 支持 ![Image](/uploads/documents/

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3

## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   分布式crontab cmd1 cmd2 Mesos 之上的具有分布式容错特性的作业调度器 1. 可替代 cron 2. 有 UI 3. 支持ISO8601标准，允许更灵活地定义调度时间 4. 支持任务依赖 ## Dkron ## 分布式高可用的任务调度系统 1. 易用、有 UI 2. 高可用 3. 可扩展性高，支持大量任务和成千上万结点 ## 我眼里的“西施” 1. 可替代 cron 2. 分布式、高可用 3. 支持多种任务属性

## 阿里云 ## MongoDB 分布式架构演进 张友东（林青） 阿里云数据库技术团队 # MongoDB MongoDB as in "humongous". Used to describe something extremely large or important. ## MongoDB 核心优势 灵活 · 文档模型 高可用 • 复制集 可扩展 分片集群 ##

## Curve 分布式存储设计 程义 — Curve Maintainer   ents/1/3/b/6/13b6145ac1674f4b66b9481848c048a7/p4_1.jpg) ## Curve块存储 ## 研究现状 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. - 成本：共享一份数据，存储成本低 - 易用性：具备分布式的优势和单机体感 - 可靠性：三副本、秒级备份  计算-存储分离 ## Curve块存储 应用场景 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议

NODE_MODULE_VERSION和node版本对应关系 1.7.5.2 附录 1.8 文档和教程 1.8.1 参考资料 1.8.2 ## 跨平台桌面应用框架：Electron 最新版本：v1.0 • 更新时间：20200808 ## 简介 介绍跨平台桌面应用框架Electron的基本概念、基本原理、核心优势以及额外特性；介绍了用Electron开发出的常见应用有哪些；解释了如何安装Elec ork_electron: 跨平台桌面应用框架：Electron 如何使用此Gitbook源码去生成发布为电子书 详见：crifan/gitbook template: demo how to use crifan gitbook template and demo ## 在线浏览 跨平台桌面应用框架：Electron book.crifan.com 跨平台桌面应用框架：Electron 跨平台桌面应用框架：Electron crifan.github.io ## 离线下载阅读 跨平台桌面应用框架：Electron PDF • 跨平台桌面应用框架：Electron ePub 跨平台桌面应用框架：Electron Mobi ## 版权说明 此电子书教程的全部内容，如无特别说明，均为本人原创和整理。其中部分内容参考自网络，均已备注了出处。如有发现侵犯您版权，请通过邮箱联系我 admin 艾特 crifan.com，我会尽快删除。谢谢合作。

## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 胡宇 ## 关于我们 ## Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 ## 😍 ## 关于我们：Airwallex ## E2 轮 Fintech ## 分布式账务系统 从设计架构到实现细节 ## 😍 ## 分布式账务系统 ## Fintech 领域中的软件与互联网软件的不同 ||Fintech|互联网| |---|---|---| |正确性|bug= 资讯|bug 不可怕，快速迭代| |可靠性|丢数据 = 资讯|允许数据丢失| |性能|超低延迟 + 高吞吐|超高吞吐| |交易日志|审计，监管|调试使用| ## 分布式账务系统 需求分析 89/p8_1.jpg) 高可用：在部分节点失效的情况下，依旧可以提供正确的服务 超低延迟：实时交易，超低响应延迟 水平扩展性：利用分布式事务实现钱包集群的的水平扩展，应对高达100万TPS的流量 可演化性：业务逻辑与底层 API 解耦，当业务发生改变时，底层 API 不用改变 ## 分布式账务系统 ## 设计理念 - Rust 是我们可靠的基石 ## 存算分离 ● 事务层与账户层分离