PieCloudDB Database 社区版集群安装部署手册 V2.1foundationdb_env=library 10. export vsid=1053 在 deployment 包下的 installation.sh 中,istioctl install 语句中增加 --set hub="10.24.31.157/istio" 选项 备注:实际在客户现场部署时候,--set hub 需要调整为对应的 harbor 地址。 适配 update_helm_repo “postgres”。如果需要新建文件,可以点击 ,命名为“file1”,点击选择数据库 “postgres”、集群“cluster1”,就可以在界面上书写查询语句了。 例如,如果需要新建一个名为 “公司数据库” 的数据库,可以通过以下 “CREATE DATABASE” 语句来实现。 如需执行查询,点击 即可。 4. 创建完数据库后,可以点击菜单栏的 来查看所有数据库的详细信息,包含 sch 以 “员工信息表” 为例,点击选择目标数据库 “公司数据库” 和集群 “cluster1” ,可以使 用“CREATE SCHEMA” 语句创建一个 “公司人事数据” 的 schema。 3. 然后使用 “CREATE TABLE” 语句创建一张 “员工信息表” ,定义好每个字段的名称和类型。 4. 然后在菜单栏点击 ,点击右上角的0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB Database V2.1 版本说明• 聚集下推功能得到增强:通过把聚集操作下推到连接操作之前去执行,极大的减 少连接操作需要处理的数据量,使得查询性能显著提升。 • 实现了 Block Skipping 的优化机制:数据库运行查询语句时,通过计算每个块 (block)中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性 能。 • 极速 Analyze(Smart Analyze): PieCloudDB 实现极速 Cascades 模型的模块化查询优化器,帮助用户对 SQL 进行优化,生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT: Kafka 流数据导入支持,copy 性能大幅提升。 • 外部数据源的查询(实验性功能): PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于 HDFS、MySQL 果直接复制 o 支持执行请求时自由切入/切出页面,不影响用户进行其他操作 o 支持快捷键执行请求 o 支持 sql 文本查找/替换 • 数据导入优化: o 支持数据导入时自由切入/切出页面,无需用户在导入界面停留等待 o 支持 text 文本格式 o 统一报错信息 • 数据库信息:增加表的大小(size) 信息展示 • 计算集群:外0 码力 | 3 页 | 257.15 KB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现每一组计算节点组成一个集群,多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract) 转换 (Transform) 导入 (Load) 文件拷贝 CDC模式 流式传输 ETL本质是不同系统 (数据组织形式)之 间的数据移动 ETL • 便宜可扩展的对象存储,各系统通用 • 最好的 ETL 就是不需要 ETL,各系统共享同一份底层数据 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果,记录进度和错误信息 • INSERT/MERGE 模式 • INSERT 模式,支持单纯导入场景 • 与现有数据没有逻辑关联的时序数据流 • INSERT 模式,步骤1 Ø PieCloudDB Foreign (LPK),当逻辑主键不存在时做插入,已 存在时做更新或者删除 • 数据需要包含顺序键 (OK),以决定操作生效的顺序 • 数据可以重复,但不可以有事务逻辑错误 • Merge/Upsert 模式,步骤1 将数据解析完成,导入与目标表类型相同的临时表中 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN0 码力 | 29 页 | 5.24 MB | 1 年前3
云原生数据库PieCloudDB 性能优化之路(COALESCE( bar.c, 1) = 42) -> Seq Scan on foo -> Materialize -> Seq Scan on bar (5 rows) • 主要处理查询语句中FROM和WHERE部分 • 同时也会考虑到ORDER BY的信息 • 代价驱动 • 为基表生成扫描路径,并计算扫描路径的代价和结果集大小 • 搜索整个连接顺序空间,为连接操作生成连接路径0 码力 | 26 页 | 711.44 KB | 1 年前3
大模型时代下向量数据库的设计与应用1.1, 1.2 …] 15 3 [1.0, 1.1, 1.2 …] PieCloudVector • Faiss OpenMP线程改造 • LLVM解析源码,找到所有 OpenMP指令语句 • 转换为调用自定义线程池和 lambda表达式 • 共享变量替换及并发保护 PieCloudVector • Faiss OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突0 码力 | 28 页 | 1.69 MB | 1 年前3
PieCloudDB Database 产品白皮书 接操作需要处理的数据量,使得查询性能显著提升。在很多分析型场景下,聚集下推会取得百倍或千 售的性能提升。 2.Block skipping PiecloudDB 实现了Block Skipping的优化机制,在数据库运行查询语句时,通过预计算每个块block) 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PiecloudDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书接操作需要处理的数据量,使得查询性能显著提升。在很多分析型场景下,聚集下推会取得百倍或千 倍的性能提升。 2. Block Skipping PieCloudDB 实现了Block Skipping的优化机制,在数据库运行查询语句时,通过预计算每个块(block) 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PieCloudDB PieCloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades0 码力 | 17 页 | 2.02 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库0 码力 | 34 页 | 599.00 KB | 1 年前3
共 8 条
- 1













