## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致 能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ## 我们的愿景 Services ## O

# 分布式NewSQL数据库 TiDB 产品文档 优刻得科技股份有限公司 版权所有 ## 目录 目录 2 概览 9 什么是TiDB 11 产品优势 12 高度兼容 MySQL 12 动态扩展 12 分布式事务 12 HTAP 12 真正金融级高可用 13 适用场景 14 对数据一致性及高可靠、 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 14 对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 14 Real-time HTAP 场景 14 数据汇聚、二次加工处理的场景 15 真正金融级高可用 15 UCloud 云上 TiDB 架构示意图 16 TiDB 16 TiDB Serverless 添加用户及权限 36 重置用户密码 36 删除非root用户 37 备份恢复 38 设置备份策略 39 调整自动备份策略 40 手动备份 40 删除备份数据 41 备份恢复 41 Dashboard/监控访问 43 代理节点 43 配置访问代理 43 访问 46 实例 49 创建TiDB

## Greenplum 6: 负载的理想数据平台 高小明  ## Pivotal Greenplum $ ^{®} $ 全球领先的开源MPP大数据平台   结构化 可扩展性 分布式 事务型   primary segment mirror segment ## 数据分布: 并行化的根基 最重要的策略和目标是均匀分布数据到各个数据节点。 CREATE TABLE orders (id serial, ... order_date timestamp) Distributed by (id);

Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈 弹性云机器数量骤减 90% 响应延迟骤降 80% Grab在用Go做什么 全部的后台服务都是用Go打造 50+微服务 300+Gophers（今年目标扩张至800） Go打造的流式数据系统支撑每天亿万级事件处理 API Gateway RPC & RESTful framework ORM CI system Machine Learning Platform 在API Gateway生成一个全局唯一的traceID，并将其注入请求的Header里。 o 在该请求的每个耗时节点生成一个spanID，以 traceID+spanID为索引计时，并记录其他元数据 将tracing信息自动传入每个耗时操作 最后以traceID为key来聚合所有诊断信息 Distributed Tracing 一个基本的Tracing GopherChina 2017

## QINIU ## 基于Go的大数据平台 七牛云－党合萱 ## 什么是Pandora  ![Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p2_3 MongoDB 时序数据库 日志检索服务 对象存储服务 Report Studio XSpark ## 简单·可信赖 ## 内容提要 - 系统设计分析与架构 - 多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 ② 低延迟 server节点无状态 挑战 七牛云存储 自动调度/负载均衡 时序数据库 大任务隔离 3 适配多种下游 6 自动化运维 日志检索 快速扩容/缩容 远端HTTP服务 监控 ## export service系统全貌 ![Ima

- Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器 - Greenplum 中文社区  ## Greenplum 分布式数据库简介 Greenplum Greenplum 是基于 PostgreSQL 所实现的大规模并行处理(MPP)开源数据平台，具有良好的弹性和线性拓展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容 SQL 标准。拥有独特的高效的 ORCA 优化器，具有强大、高效的 PB 级数据存储、处理和实时分析能力，同时支持 OLTP 型业务的混合负载。  ## Greenplum 集群化概述 数据库的组成  ## • Coordinator/Segment

# TiDB 开源分布式关系型数据库 TiDB PRODUCT PORTFOLIO & VERTICAL CASE STUDY  ![Image](/uploads/documents/3/d/e/b/3deb0740caa715 第二章 TiDB 开源分布式关系型数据库 2.1 产品简介 …… 10 2.2 TiDB 架构图 …… 10 2.3 核心特性 …… 11 2.4 TiFlash 高性能列式分析引擎 …… 12 2.5 TiDB 企业版 …… 12 2.6 TiDB 社区版与企业版差异 …… 13 第三章 TiDB 生态工具 3.1 数据迁移 …… 16 数据迁入 - TiDB Data Data Migration 16 增量数据迁出 - TiCDC 17 数据导入 - TiDB Lightning 18 数据导出 - Dumpling 18 3.2 备份和恢复 - Backup & Restore 18 3.3 安装部署 19 TiUP TiDB Operator 3.4 运维和可视化管理 - TiDB Dashboard 21

5: 新一代数据平台 开源、支持多种云的高级分析数据平台 作者：Keaton Adams、Dan Baskette、Cesar Rojas Pivotal ## 目录 关于本白皮书 ..... 3 摘要 ..... 3 Pivotal Greenplum 5：新一代数据平台 ..... 3 以开源创新替代专有分析环境 ..... 4 支持多种云不受限于基础架构的数据平台 .... 关于本白皮书 Pivotal 最近推出全球第一个开源、支持多云的高级分析数据平台——Pivotal Greenplum 5。本白皮书着眼介绍 Greenplum 5 的核心特征，及多年来围绕该平台发展出的生态系统。 ## 摘要 Pivotal Greenplum 不受限于基础架构，这意味着它是一种可完全移植的分析数据库软件解决方案，可部署在多云环境（公有云和私有云）中，也适用不同的本地配置。其大规模并行处理 专为满足在多结构数据环境中进行高级分析的需求而设计，能够处理多种并发混合工作负载的复杂查询。与旧式 MPP 数据库中常用的传统 RDBMS 查询优化器相比，GPORCA 大幅度地提高了查询性能。 ## Pivotal Greenplum 5：新一代数据平台 作为重要的新版本，Pivotal Greenplum 5 带来了多项产品改进和新增功能，在管理数据和对数据库中存储的信息应用数据科学、分析、报

构建统一的云原生应用可观测性数据平台 向阳 | 云杉网络 研发VP 2022.4.9 14:00-16:30分享 合作媒体 COSCHINA ☐ 示说 ☑ 稀土掘金 segmentfault 思否 ## 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 ## 构建统一的云原生应用可观测性数据平台 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 ## 统一的可观测性数据平台  ## 挑战：数据孤岛、资源开销 Low volume  ## 构建统一的云原生应用可观测性数据平台 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 ## OpenTelemetry的方法 ## OpenTelemetry Architecture

[Image](/uploads/documents/c/d/1/1/cd11ba0b707be61cb140b86841b53505/p1_1.jpg) BEIJING 2017 # 构建基于富媒体大数据的弹性深度学习计算平台 SPEAKER / 土土@七牛 AtLab ## 促进软件开发领域知识与创新的传播  + Ideea ## Connect 数据处理 数据存储 直播点播 数据加速 QINIU QCon[北京站]2017  CHICHE 0 ## 9 色情 0.01 性感 0.98 正常 0.01 ![Image](