over the lazy dog. ## 目录 行业背景 3 数据量的爆发式增长 3 数据库的未来在云上 3 传统数仓的痛点 4 云时代的数据处理要求 5 PieCloudDB，云原生虚拟数仓 6 PieCloudDB 产品概述 7 PieCloudDB 产品架构 7 PieCloudDB ，急需一款数据库产品，帮助其最大化利用数据资产，降本增效，进行更智能高效的数据计算。 ## 数据库的未来在云上 随着云计算时代的到来，不仅使得计算成本极大地降低，也提供了无限丰富的计算资源，释放出数据计算产生智能的更多机会。早在2019年，Gartner便做出预测：数据库市场的未来在云上 $ ^{2} $ 。在2022年首次发布的《数据库中国市场指南》（Market Guide for DBM DBMS，China）中，Gartner指出，中国数据库行业将加速增长并逐步向云端迁移，未来四年，中国数据库行业向公有云迁移的速度将超过全球平均水平。云原生数据库成为大势所趋，各个企业也都在向这一趋势靠拢。2020年数据显示，云数据库已占据整体数据库市场份额的40%，2022年云数据库营收数据将占据数据库整体市场的半数以上。 ## 传统数仓的痛点 很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。MPP

CONFERENCE CHINA ## 数智赋能 共筑未来  ## 云原生虚拟数仓PieCloudDB ## ETL方案设计与实现 邱培峰 拓数派 技术专家 ## 自我介绍 ## 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 [Image](/uploads/documents/1/5/a/1/15a1170487dcdfd23ba5652490fdb3d8/p5_2.jpg) ## PieCloudDB云原生eMPP架构简介 01 存算分离，元数据/缓存/计算/云存储 02 各模块可以独立伸缩，模块间接口统一 πCloudDB eMPP架构 03 每一组计算节点组成一个集群，多集群共享元数据和存储系统 04 计算节点高度并行 jpg) ## 云原生环境下的 ETL • 便宜可扩展的对象存储，各系统通用 • 最好的 ETL 就是不需要 ETL，各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 ## 云原生环境下的 ETL • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 ## 云原生环境下的 ETL

数据计算，只为新发现 ## PieCloudDB：云原生分布式 虚拟数仓的过去、现在和未来 郭罡 拓数派 ## 关于我 ## • 18年+基础软件一线经验 • 9年：Unix/Linux应用和内核开发、虚拟化（芯片KVM内核支持）、高速网络开发（NIC驱动、IB、DPDK、OVS offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构. • 7年+：数据库内核开发 ( (HAWQ、PG、Greenplum、PieCloudDb). • 现在负责拓数派的整个研发管理. • 毕业于中国科学技术大学（专业语音识别）. ## PieCloudDB简介 · 一款云原生分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB) • Postgres生态 • 社区版 (免费获取) · 企业版 · CoC（云上云）版（免费试用） ### PieCloudDB简介 (cont.) • 2022年10.24发布1.0版本，技术和产品上实现了云原生. • 计算和存储分离：弹性计算 & 弹性存储. • 计算和存储都：按需付费. · 多租户隔离. · 2023年3.14上公有云（阿里云）. • 更多功能增强 ### PieCloudDB简介

## clickhouse数仓应用实践 演讲人：朱元 日期：2019-10-20   Oracle数据平台 - 通过kettle每天定时导出文件至本地 clickhouse数据库 ## 数仓建设  ## 数仓建设-维度表 ### 一 般维度表数据量不大. 目前采用的是引擎Log+字典表(dictionary) ! [Image](/uploads/documents/a/5/4/5/a5458db7fb86ab4e1f5c1167e010676e/p9_2.jpg) ## 数仓建设-主题事实清单表 主题事实清单表采用引擎MergeTree. 同步策略: 每日从 oracle 数据平台增量同步到 ck 数仓. create table dw_hr.fct_rpt_dc_shop_vender_day ( stat_year Int16

## Apache Doris在美团外卖数仓中的应用实践 ## 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢迎大家多给我们提出建议。 ## 数仓交互层引擎的应用现状 目前， Impala（MPP Query Engine）和Apache ORCFile（存储格式，编码和压缩）的技术。 Doris的系统架构如下，主要分为FE和BE两个组件，FE主要负责查询的解析、编译、优化、调度和元数 据管理；BE主要负责查询的执行和数据存储。关于Doris的更多技术细节，可参考其官方文档。 ## Doris的特点： • 同时支持高并发点查询和高吞吐的Ad-hoc查询。 • 同时支持离线批量导入和实时数据导入。

IvySQL开源数据库社区 ## PieCloudDB 的云原生之路 姓名：___ 职位：产品及推广总监 公司：拓数派 ## I VORYSQL OpenPie ## 吴疆 • OpenPie 产品和推广总监 深耕云计算和数据库行业十余年 - 毕业于清华大学计算机系，先后在 IBM, EMC, Pivotal, VMWare 参与多个云平台和数据库项目  杭州拓数派科技发展有限公司（又称 “OpenPie”），以 “Data Computing for New Discoveries” 「数据计算，只为新发现」为使命，成立后的短短10个月时间内，完成了包括头部产业基金、东吴证券、元禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库 PieCloudDB，以云计算架构为设计基础，首创全新 eMPP 分布式技术，帮助企业建立竞争壁垒的同时，实现数据价值最大化，并在新基建中承担可靠和可控的世界级云数据库底座。 ## I VORYSQL OpenPie ## 蓬勃发展的拓数派 引领数据计算时代的到来 2021拓数派正式成立 2022 极速进入成长期 2023 引领数据计算时代到来 ## Day-1 当天即获得腾讯投资天使轮投资成为 Day-1 准独角兽 ## 7 月 成立杭州总部、

## 云原生微服务最佳实践 ## 彦林 阿里云智能高级技术专家 & Nacos 创始人 2022/01/07 ## 云原生微服务最佳实践  微服务简介  用户故事 ## 微服务简介 - 云原生和微服务简介 • 微服务的价值和挑战 阿里微服务产品解法和优势 ## 云原生和微服务简介 声明式API Serverless 效率：Run Fast ![Image](/uploads/documents/6/0/2/d/60 通过 AHAS 解决技术风险 - 通过 PTS 解决容量风险 ## 优势 开源、自研、商业化三位一体 开源 DNS 国内事实标准，生态完善 - 十多年双十一洪峰考验，默认高可用 - 阿里云成千上万用户的选择，简单易用 • 专业的微服务团队保障 ## 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 - 日常环境隔离最佳实践 • 网关最佳实践 ## 微服务最佳实践 微服务引擎（Micro

## GCN ## 云原生边云协同AI框架实践  普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead  ## 目录 Edge AI现状与趋势 01 Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 第一部分 ## Edge AI现状与趋势 ## Why Edge AI? - Cloud中心化的AI计算范式不足以应对端上AI应用对实时性、准确性和强交互性的需求 9/9/1199e88c64788228f6adafa316b1feba/p4_2.jpg) ## AI应用到越来越多的边缘场景 智能家居 智能医疗 智慧城市 AR/VR/MR 云数据中心  智慧交通 工业互联网 智慧农业