the lazy dog. ## 目录 行业背景 3 数据量的爆发式增长 3 数据库的未来在云上 3 传统数仓的痛点 4 云时代的数据处理要求 5 PieCloudDB，云原生虚拟数仓 6 PieCloudDB 产品概述 7 PieCloudDB 产品架构 7 PieCloudDB 产品特性 。数据被称为数字经济时代的“石油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 ## I DC:全球数据圈预测 ## 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面对数据计算（Data Computing）的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样，企业的数字化转型面临巨大挑战，急需一款数据库产品，帮助其最大 平均水平。云原生数据库成为大势所趋，各个企业也都在向这一趋势靠拢。2020年数据显示，云数据库已占据整体数据库市场份额的40%，2022年云数据库营收数据将占据数据库整体市场的半数以上。 ## 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有

CONFERENCE CHINA ## 数智赋能 共筑未来  ## 云原生虚拟数仓PieCloudDB ## ETL方案设计与实现 邱培峰 拓数派 技术专家 ## 自我介绍 ## 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发

1 ! ⑨@ $ ^{-0} $ » $ ^{1/4} $ °α·0 $ ^{1/2} $ $ ^{3/4} $ ! À(5Æ•M4³⁄₄±;T.\•®@~ÃÄ ## 用户期望一个兼顾关系型数仓和公有云优势的产品  ## )±—ÉÊ "\#$%&' ! !"\#$%& '()*(+, -. ! ()*+, -.*)/+01 ! /0&123 ! 456&789: ## 虚拟数仓 ## 系统表——mStore ! ®Zt °± 23_e" /'luvμ b cde%f &&gd%hi ! ¿$g%ÀÁÃÚ &e± ## 数据表

Computing for New Discoveries 数据计算，只为新发现 ## PieCloudDB：云原生分布式 虚拟数仓的过去、现在和未来 郭罡 拓数派 ## 关于我 ## • 18年+基础软件一线经验 • 9年：Unix/Linux应用和内核开发、虚拟化（芯片KVM内核支持）、高速网络开发（NIC驱动、IB、DPDK、OVS offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构 2年：分布式系统（存储和缓存）开发、云计算平台架构. • 7年+：数据库内核开发 (HAWQ、PG、Greenplum、PieCloudDb). • 现在负责拓数派的整个研发管理. • 毕业于中国科学技术大学（专业语音识别）. ## PieCloudDB简介 · 一款云原生分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB) 面向用户 • 面向运维 • 面向管理 • 生态相关产品也很丰富 • 但今天会焦距数据库内核 ## 构建之路 (内核Only) • 第一步单机Postgres版本上实现存算分离 · 第二步分布式化 ## 构建之路 - 数据存储 • 数据存储设计考虑 • S3访问友好（各种统计数据用于data skipping、查询加速等） • OLAP友好（PG的HEAP是OLTP行存引擎） • 计算引擎加速友好（SIMD

ments/0/a/1/f/0a1fa9a06ea4418abd2bd720a7903c5d/p1_1.jpg) ### OpenShift Container Platform 4.10 虚拟化 OpenShift Virtualization 安装、使用和发行注记 Powered by TCPDF (www.tcpdf.org) OpenShift Virtualization 安装、使用和发行注记 其他资源 45 第8章 虚拟机 46 8.1. 创建虚拟机 46 8.2. 编辑虚拟机 57 8.3. 编辑引导顺序 63 8.4. 删除虚拟机 65 8.5. 管理虚拟机实例 66 8.6. 控制虚拟机状态 68 8.7. 访问虚拟机控制台 70 8.8. 使用 SYSPREP 自动执行 WINDOWS 安装 78 8.9. 解决故障节点来触发虚拟机故障切换 80 8.10. 在虚拟机上安装 QEMU 客户机代理 81 8.11. 查看虚拟机的 QEMU 客户机代理信息 83 8.12. 在虚拟机中管理配置映射、SECRET 和服务帐户 84 8.13. 在现有 WINDOWS 虚拟机上安装 VIRTIO 驱动程序 85 8.14. 在新 WINDOWS 虚拟机上安装 VIRTIO 驱动程序 88 8.15. 高级虚拟机管理 91 8

ments/4/f/a/9/4fa94f5ec11c26725cf4fa7f08efa244/p1_1.jpg) ### OpenShift Container Platform 4.13 虚拟化 OpenShift Virtualization 安装、使用和发行注记 Powered by TCPDF (www.tcpdf.org) OpenShift Virtualization 安装、使用和发行注记 Virtualization 的信息。 ## 目录 第1章 关于 OPENSHIFT VIRTUALIZATION 5 1.1. OPENSHIFT VIRTUALIZATION 的作用 5 1.2. 关于虚拟机磁盘的存储卷 5 1.3. 单节点 OPENSHIFT 的不同 6 1.4. 其他资源 6 第2章 OPENSHIFT VIRTUALIZATION 架构 7 2.1. OPENSHIFT VIRT-OPERATOR 13 第3章 OPENSHIFT VIRTUALIZATION 入门 15 3.1. 规划和安装 OPENSHIFT VIRTUALIZATION 15 3.2. 创建和管理虚拟机 15 3.3. 后续步骤 16 第4章 WEB 控制台概述 17 4.1. 概述页面 17 4.2. 目录页面 21 4.3. VIRTUALMACHINES 页面 22

## Apache Doris在美团外卖数仓中的应用实践 ## 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢迎大家多给我们提出建议。 ## 数仓交互层引擎的应用现状 目前， MOLAP以Cube为表现形式，但计算与管理成本较高。ROLAP需要强大的关系型DB引擎支撑。长期以来，由于传统关系型DBMS的数据处理能力有限，所以ROLAP模式受到很大的局限性。随着分布式、并行化技术成熟应用，MPP引擎逐渐表现出强大的高吞吐、低时延计算能力，号称“亿级秒开”的引擎不在少数，ROLAP模式可以得到更好的延伸。单从业务实际应用考虑，性能在千万量级关联查询现场计算秒开的情况下，已经

## clickhouse数仓应用实践 演讲人：朱元 日期：2019-10-20   2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维度信息以及相关主题清单数据同步至clichouse数据仓库 Etl服务器 - 通过clickhouse-client将文本导入ck数据库 Oracle数据平台 - 通过kettle每天定时导出文件至本地 clickhouse数据库 ## 数仓建设  ## 数仓建设-维度表 ### 一 般维度表数据量不大. 目前采用的是引擎Log+字典表(dictionary)