## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致 目前致力于推进京东基础架构技术的创新、对外赋能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ## 我们的愿景

Checkpoint 基于 Chandy-Lamport 算法，实现了分布式一致性快照，提供了一致性的语义。 ## State 丰富的 State API。 ValueState, ListState, MapState BroadcastState。 ## Time 支持基于事件时间的计算，实现 Watermark 机制。乱序数据处理，迟到数据容忍。 ## Window 开箱即用的滚动、滑动、会话窗口。以及灵活的自定义窗口。 开箱即用的滚动、滑动、会话窗口。以及灵活的自定义窗口。 2015 年阿里巴巴开始使用 Flink 并持续贡献社区 ## 阿里云 2019阿里云峰会·上海开发者大会 ## 重构分布式架构 Dispatcher 2. Start job Job Manager 6. Schedule Task Task Manager Task Manager 1. Submit job 3. Request slots /4/7/6/44768622b352d818cb18d2791cad3421/p10_3.jpg) 增量 snapshot Durable Storage ## 基于 credit 的流控机制  ## Streaming SQL

## 阿里云 ## MongoDB 分布式架构演进 张友东（林青） 阿里云数据库技术团队 # MongoDB MongoDB as in "humongous". Used to describe something extremely large or important. ## MongoDB 核心优势 灵活 · 文档模型 高可用 • 复制集 可扩展 分片集群 ##

## 分布式任务系统 cronsun 苏创绩 ## 目录 01 任务系统 02 分布式任务系统 03 cron sun 04 心得体会   分布式crontab cmd1 cmd2 Azkaban 批量工作流任务调度器(Hadoop) 1. 提供功能清晰，简单易用的 Web UI 界面 2. 提供 job 配置文件快速建立任务和任务之间的依赖关系 3. 提供模块化和可插拔的插件机制，原生支持 command、Java、Hive、Pig、Hadoop 4. ... ## Chronos ## Chronos 是一个运行在 Mesos 之上的具有分布式容错特性的作业调度器

## Curve 分布式存储设计 程义 — Curve Maintainer   ents/1/3/b/6/13b6145ac1674f4b66b9481848c048a7/p4_1.jpg) ## Curve块存储 ## 研究现状 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. - 成本：共享一份数据，存储成本低 - 易用性：具备分布式的优势和单机体感 - 可靠性：三副本、秒级备份  计算-存储分离 ## Curve块存储 应用场景 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议

7a79833f29ee5d1d69/p1_1.jpg) ### OpenShift Container Platform 4.14 分布式追踪 分布式追踪安装、使用与发行注记 Powered by TCPDF (www.tcpdf.org) 分布式追踪安装、使用与发行注记 ## 法律通告 Copyright $ \copyright $ 2024 Red Hat, Inc. The property of their respective owners. ## 摘要 本文档提供了有关如何在 OpenShift Container Platform 中使用分布式追踪的信息。 ## 目录 第1章 分布式追踪发行注记 ..... 3 1.1. RED HAT OPENSHIFT DISTRIBUTED TRACING PLATFORM 3.0 发行注记 ..... 3 1 第2章 分布式追踪架构 ..... 31 2.1. 分布式追踪架构 ..... 31 第3章 分布式追踪平台(JAEGER) ..... 34 3.1. 安装分布式追踪平台 JAEGER ..... 34 3.2. 配置和部署分布式追踪平台 JAEGER ..... 37 3.3. 更新分布式追踪平台 JAEGER ..... 69 3.4. 删除分布式追踪平台 JAEGER

81cf71bce74f3b39/p1_1.jpg) ### OpenShift Container Platform 4.6 ## 分布式追踪 分布式追踪安装、使用与发行注记 Powered by TCPDF (www.tcpdf.org) 分布式追踪安装、使用与发行注记 Enter your first name here. Enter your surname here. Enter their respective owners. ## 摘要 本文档提供了有关如何在 OpenShift Container Platform 中使用分布式追踪的信息。 ## 目录 第1章 分布式追踪发行注记 ..... 4 1.1. 分布式追踪概述 ..... 4 1.2. 让开源更具包容性 ..... 4 1.3. 获取支持 ..... 4 1.4. 新功能及功能增强 ... tracing ..... 8 1.6. RED HAT OPENSHIFT 分布式追踪已知问题 ..... 9 1.7. RED HAT OPENSHIFT 分布式追踪问题 ..... 9 第2章 分布式追踪架构 ..... 11 2.1. 分布式追踪架构 ..... 11 2.1.1. 分布式追踪概述 ..... 11 2.1.2. Red Hat OpenShift distributed

## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## Rust 构建分布式账务系统 在 Fintech 公司落地 Rust 项目的经验分享 胡宇 ## 关于我们 ## Airwallex 我们是一家跨境支付领域的 Fintech 独角兽 ## 😍 ## 关于我们：Airwallex ## E2 轮 Fintech ## 分布式账务系统 从设计架构到实现细节 ## 😍 ## 分布式账务系统 ## Fintech 领域中的软件与互联网软件的不同 ||Fintech|互联网| |---|---|---| |正确性|bug= 资讯|bug 不可怕，快速迭代| |可靠性|丢数据 = 资讯|允许数据丢失| |性能|超低延迟 + 高吞吐|超高吞吐| |交易日志|审计，监管|调试使用| ## 分布式账务系统 需求分析 jpg) 高可用：在部分节点失效的情况下，依旧可以提供正确的服务 超低延迟：实时交易，超低响应延迟 水平扩展性：利用分布式事务实现钱包集群的的水平扩展，应对高达100万TPS的流量 可演化性：业务逻辑与底层 API 解耦，当业务发生改变时，底层 API 不用改变 ## 分布式账务系统 ## 设计理念 - Rust 是我们可靠的基石 ## 存算分离 ● 事务层与账户层分离 ● 独立水平扩展

# 分布式NewSQL数据库 TiDB 产品文档 优刻得科技股份有限公司 版权所有 ## 目录 目录 2 概览 9 什么是TiDB 11 产品优势 12 高度兼容 MySQL 12 动态扩展 12 分布式事务 12 HTAP 12 真正金融级高可用 13 适用场景 14 对数据一致性及高可靠、 告警通知 - 证书管理 - 数据库审计 - 安全组 - 数据迁移 - 性能数据 ## 什么是TiDB TiDB 是 PingCAP 公司研发的开源分布式关系型数据库。定位于在线事务处理、在线分析处理 HTAP 的融合型数据库产品。兼容 MySQL 协议，支持水平伸缩，具备强一致性和高可用性。UCloud 基于 PingCAP 的 TiDB，实现 TiDB TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 ## 动态扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。 ## 分布式事务 TiDB 100% 支持标准的 ACID 事务。 ## HTAP 为在线事务处理、在线分析处理提供一站式解决方案，无需独立部署分析处理系统。 ## 真正金融级高可用 相比于传统主从 (M-S)

QCon BEIJING 2018 ## 深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 ## 目录  微博Feed流排序场景介绍  ## 微博—社交媒体领跑者 • DAU : 1.72亿, MAU : 3.92亿 - 关注流基于关系链接用户与内容 ## > 信息获取方式 - 主动获取（关注） - 被动获取（推荐） ## 内容形式 • 博文/文章/图片/视频/问答/话题/... ## 微博Feed流特点介绍—排序原因 ## ➢ 产品特点 • 传播性强 • 互动性好 ## 存在问题 - 信息过载 jpg) ## 目录  微博Feed流排序场景介绍  常规CTR方法排序