PieCloudDB Database 产品白皮书
(Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 量提高查询性能。此外,PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化,生成高效的查询计划。 此外,PieCloudDB 兼容 ORCA 优化器 (DORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器,可以帮助用 户对 SQL 进行优化,生成高效的查询计划) 量等) ,管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据 、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 Openpie0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
对SQL的全面支持和多种过程语言(Procedure Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 等测试,实现 了包括聚集下推、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 此外,PieCloudDB 兼容 ORCA 优化器(ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器,可以帮助用 户对 SQL 进行优化,生成高效的查询计划)。 PieCloudDB 通过独特的设计,具备原生多租户能力,每个租户有自己的数据库和虚拟数仓。不同的租户互相隔离, 量等),管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、 元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。0 码力 | 17 页 | 2.02 MB | 1 年前3大模型时代下向量数据库的设计与应用
目前在拓数派负责向量数据库PieCloudVector产品,聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 (filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核 支持向量标量混合查询 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法,如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等0 码力 | 28 页 | 1.69 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
技术部门,是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功,以及主导的Greenplum产品在全球范围的开源影 响力,被《数字商业周刊》选为2019年度封面人物。(《数商周刊》报道) 拓数派创始人、董事长兼首席执行官 • 冯雷带领团队实现数据库云原生虚拟化突破,打造的PieCloudDB(πCloudDB)数据库是来自本土的 生态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高,需要掌握多种 组件的不同使用方法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也无法直接利用云资 源的弹性能力。组件太多,导致集群部署和后期运维管理很麻烦,市场上相关人 才储备量不多,技术兜底依赖于Cloudera,国内第三方公司主要是基础运维和开 One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发,具备社区版、0 码力 | 29 页 | 7.46 MB | 1 年前3PieCloudDB 的云原生之路
IvorySQL开源数据库社区 IvorySQL 用户组技术沙龙北京站 IvorySQL开源数据库社区 PieCloudDB 的云原生之路 姓名:吴疆 公司:拓数派 职位:产品及推广总监 IvorySQL开源数据库社区 吴疆 IvorySQL开源数据库社区 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以 “Data PieCloudDB,以云计算架构为设 计基础,首创全新 eMPP 分布式技术,帮助企业建立竞争壁垒 的同时,实现数据价值最大化,并在新基建中承担可靠和可控 的世界级云数据库底座。 IvorySQL开源数据库社区 2021 2022 当天即获得腾讯投资天使轮投资 成为 Day-1 准独角兽 7月 与中国人民大学成立实习基地,打造 中国的云原生数据库世界级智力高地 11月 4月 获得元禾重元和东吴证券 IvorySQL开源数据库社区 免费试用 PieCloudDB 云上云版:https://app.pieclouddb.com IvorySQL开源数据库社区 目录 数据库的云原生远景 01 云原生数据库 PieCloudDB 简介 02 PieCloudDB 的架构特点 03 总结 04 IvorySQL开源数据库社区 PART 01 数据库的云原生远景 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3云原生数据库 PieCloudDB eMPP架构设计与实现
• Linux/Unix内核和系统开发、虚拟化(芯⽚KVM⽀持实现)和云计算架 构、⾼速⺴络开发(内核和应⽤层如DPDK) • 分布式系统(SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景:安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 • MPP架构:分布式,海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦0 码力 | 31 页 | 1.43 MB | 1 年前3πDataCS赋能工业软件创新与实践
⽣态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼,需要掌握 多种组件的不同使用⽅法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也⽆法直接利用云 资源的弹性能⼒。组件太多,导致集群部署和后期运维管理很麻烦,市场上相 关⼈才储备量不多,技术兜底依赖于Cloudera,国内第三⽅公司主要是基础运 ,数据量也急剧增长, 原本采用的Hadoop平台⽆法满⾜业务的分析需求,主要存在以下问题: Ø 数据同步和采集周期较长,实时性很差 Ø 数据量达到PB级别,数据分析性能直线下降 Ø 采用较多开源组件,技术栈太⼴,数据应用开发周期长 Ø Hadoop集群运维成本较⾼,技术响应慢 解决⽅案: 采用PieCloudDB作为核⼼数字底座,完成原来CDH(Hadoop)平台的替换,构建了制造业⾏业云的数据中台服务,既面向集团内0 码力 | 36 页 | 4.25 MB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
在世界范围内的统计信息显示,Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved. OpenPie Confidential •0 码力 | 43 页 | 1.14 MB | 1 年前3PieCloudDB Database 社区版集群安装部署手册 V2.1
.................................................................................... 39 5. 外部工具或者应用连接配置 .......................................................................................... 上面的筛选框来 筛选查询语句的状态、起始日期和结束日期。 2. 如果需要下载的某次查询的结果,可以点击该SQL文本最右侧的 ,将结果以 csv 格式下载到 本地。 5. 外部工具或者应用连接配置 5.1 打开集群的外部入口 5.2 创建 database 1. CREATE DATABASE testdb; 5.3 修改数据库用户密码 数据库用户默认是平台注册的用户名。 2. select * from pg_authid; 3. alter role jojo password 'openpie' 5.4 配置连接访问 外部工具或者应用可以配置数据库用户名和密码、IP 以及端口等信息进行链接。以下为通过 dbeaver 工 具连接的示例:0 码力 | 42 页 | 1.58 MB | 1 年前3云时代下多数据计算引擎的设计与实现
赋能更多的计算形态. • 云上计算调度. @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延 • 仓湖一体:仓衍生支持开源表格式 • 先读,Iceberg on hdfs/s3读取已基本支持. • 长远不排除”一等公民”. • 联邦查询. @2024 OpenPie. All rights reserved. OpenPie0 码力 | 15 页 | 3.09 MB | 1 年前3
共 13 条
- 1
- 2