## 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、欧拉开源社区  ## 目录 关于本白皮书.....4 摘要.....4 欧拉开源操作系统 面向多样性算计算的创新.....6 欧拉开源操作系统平台架构.....6 引领内核创新.....8 构筑云化基座.....8 高效运行时.....8 安全可信.....8 完善的生态工具链.....8 繁荣社区生态.....8 Greenplum：新一代 HTAP 数据平台.....8 以开源创新替代专有分析环境 以开源创新替代专有分析环境.....8 支持多种云不受限于基础架构的数据平台.....8 全局死锁检测（GDD、Global deadlockdetector）.....10 并发控制优化.....10 集群在线扩容.....10 Greenplum VACUUM 提升.....10 Greenplum 集群多站点复制.....11 Master

## TiDB with TiFlash Extension A Venture Towards the True HTAP Platform weiwan@pingcap.com 全球技术领导力峰会 ## 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店  ## TiFlash is beyond columnar format ## Scalability An HTAP database needs to store huge amount of data • Scalability is very important TiDB relies on multi-raft

## Greenplum 6: 负载的理想数据平台 高小明  ## Pivotal Greenplum $ ^{®} $ 全球领先的开源MPP大数据平台  primary segment mirror segment ## 数据分布: 并行化的根基 最重要的策略和目标是均匀分布数据到各个数据节点。 CREATE TABLE orders (id serial, ... order_date timestamp) Distributed by (id); 03552b8058583920607820/p9_2.jpg) ## OLAP - Online Analytical Processing - 联机分析处理 ## Gartner 2019数据分析行业报告  Pivotal Greenplum

## QINIU ## 基于Go的大数据平台 七牛云－党合萱 ## 什么是Pandora  ![Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p2_3 MongoDB 时序数据库 日志检索服务 对象存储服务 Report Studio XSpark ## 简单·可信赖 ## 内容提要 - 系统设计分析与架构 - 多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover 5 高可用 分钟级数据延迟 ② 低延迟 server节点无状态 挑战 七牛云存储 自动调度/负载均衡 时序数据库 大任务隔离 3 适配多种下游 6 自动化运维 日志检索 快速扩容/缩容 远端HTTP服务 监控 ## export service系统全貌 ![Ima

5: 新一代数据平台 开源、支持多种云的高级分析数据平台 作者：Keaton Adams、Dan Baskette、Cesar Rojas Pivotal ## 目录 关于本白皮书 ..... 3 摘要 ..... 3 Pivotal Greenplum 5：新一代数据平台 ..... 3 以开源创新替代专有分析环境 ..... 4 支持多种云不受限于基础架构的数据平台 .... 关于本白皮书 Pivotal 最近推出全球第一个开源、支持多云的高级分析数据平台——Pivotal Greenplum 5。本白皮书着眼介绍 Greenplum 5 的核心特征，及多年来围绕该平台发展出的生态系统。 ## 摘要 Pivotal Greenplum 不受限于基础架构，这意味着它是一种可完全移植的分析数据库软件解决方案，可部署在多云环境（公有云和私有云）中，也适用不同的本地配置。其大规模并行处理 专为满足在多结构数据环境中进行高级分析的需求而设计，能够处理多种并发混合工作负载的复杂查询。与旧式 MPP 数据库中常用的传统 RDBMS 查询优化器相比，GPORCA 大幅度地提高了查询性能。 ## Pivotal Greenplum 5：新一代数据平台 作为重要的新版本，Pivotal Greenplum 5 带来了多项产品改进和新增功能，在管理数据和对数据库中存储的信息应用数据科学、分析、报

构建统一的云原生应用可观测性数据平台 向阳 | 云杉网络 研发VP 2022.4.9 14:00-16:30分享 合作媒体 COSCHINA ☐ 示说 ☑ 稀土掘金 segmentfault 思否 ## 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 ## 构建统一的云原生应用可观测性数据平台 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 ## 统一的可观测性数据平台  ## 挑战：数据孤岛、资源开销 Low volume  ## 构建统一的云原生应用可观测性数据平台 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 ## OpenTelemetry的方法 ## OpenTelemetry Architecture

[Image](/uploads/documents/c/d/1/1/cd11ba0b707be61cb140b86841b53505/p1_1.jpg) BEIJING 2017 # 构建基于富媒体大数据的弹性深度学习计算平台 SPEAKER / 土土@七牛 AtLab ## 促进软件开发领域知识与创新的传播  + Ideea ## Connect 数据处理 数据存储 直播点播 数据加速 QINIU QCon[北京站]2017  CHICHE 0 ## 9 色情 0.01 性感 0.98 正常 0.01 ![Image](

### The HTAP architecture design of TiDB, and the improvement in v6.2 Wei Wan @ PingCAP ## 精彩继续！ 更多一线大厂前沿技术案例 北京站 GITC 全球大前端技术大会 时间：9月15–16日 地点：北京·国际会议中心 北京站 QCon 全球软件开发大会 时间：9月17–19日 地点：北京·富力万丽酒店 and database development. ## TiDB Introduction TiDB is an open-source NewSQL database that supports HTAP workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high Processing), OLAP (Online Analytical Processing), and HTAP services. ## Agenda 1. A typical user case 2. The challenges to storage module on HTAP scenario 3. The improvements in TiDB v6.2 4. TiDB's

## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。

## Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪洋，华为云 Volcano 社区核心贡献者 ## 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 ## 云原生大数据平台 传统服务 大数据 人工智能  ## 大数据、AI等批量计算场景云原生化面临的挑战 ## 作业管理缺失 Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 ## 调度策略局限 kubectl Job/JobFlow Kube-apiserver vsub Queue Node Node NUMA GPU mxnet ## 项目概况： 业界首个云原生批量计算平台 PyTorch 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 50+ 企业生产落地 ## 关键特性： 1. 统一的作业管理