πDataCS赋能工业软件创新与实践业务需求: 基于核⼼研发团队在集团首艘豪华邮轮建造项目中的调试完⼯实施管理及质量数据应用的经验,打造集监测、检测成⼀体适用于⼤型复杂 装备建造项目的国产数字化调试完⼯应用平台。旨在为豪华邮轮国产化提供专业的自动化软件应用的同时,加速调试完⼯数字平台国产化 的进程 。 本期项目的主要建设目标: Ø 在设计数据收集的前端,搭载基于国产设计的智能图像算法芯片和传感器的三维结构光体测量设备,来深度挖掘设计和建造0 码力 | 36 页 | 4.25 MB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN formatter(raw) AS r) sub; • INSERT 模式,步骤4 插入目标表 INSERT INTO table SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL 存在时做更新或者删除 • 数据需要包含顺序键 (OK),以决定操作生效的顺序 • 数据可以重复,但不可以有事务逻辑错误 • Merge/Upsert 模式,步骤1 将数据解析完成,导入与目标表类型相同的临时表中 SELECT r.a, r.b+r.c, func(r.d) … FROM (SELECT meta, raw FROM foreign_table LATERAL JOIN no_dup.row_number = 1 • Merge/Upsert 模式,步骤3 目标表删除 PK 匹配行 DELETE FROM table USING temp_table WHERE table.pk = temp_table.pk • Merge/Upsert 模式,步骤4 插入目标表,完成 merge INSERT INTO table SELECT all_columns0 码力 | 29 页 | 5.24 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库@2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 平台底层:eMPP 云原生分布式SQL数据库 我们的目标:支持多模,serverless的实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights0 码力 | 45 页 | 1.32 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1步骤,可以参考以下的实际案例。 假设在一个公司数据库中,需要创建以下六张表,根据它们的类别存放在三个不同的 schema 下。 2. 以 “员工信息表” 为例,点击选择目标数据库 “公司数据库” 和集群 “cluster1” ,可以使 用“CREATE SCHEMA” 语句创建一个 “公司人事数据” 的 schema。 3. 然后使用 “CREATE ,定义好每个字段的名称和类型。 4. 然后在菜单栏点击 ,点击右上角的 ,选择集群“cluster1”、数据 库 “公司数据库”和目标表 “公司人事数据/员工信息表” ,点击 ,选择“员工信息 表.csv”,点击 可以预览表数据,点击左下角的 ,根据文件格式填写分隔符、是否 包含表头和空值字符 串形式等补充信息,点击0 码力 | 42 页 | 1.58 MB | 1 年前3
云时代下多数据计算引擎的设计与实现low-cardinality string aggregation • late materialization • Pipeline Engine、etc • 和JANM结合有大量可能的性能创新点. • 长远目标: • 赋能其他产品. • 赋能更多的计算形态. • 云上计算调度. @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延0 码力 | 15 页 | 3.09 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析传输层加密 • 缓存数据加密 • 存储安全 • 元数据持久化存储 • 用户数据多副本加密储存 • 计算安全 • 集群失效不影响用户数据 • ACID保证 透明加密 透明加密的定义 • 目标 • 加密用户数据 • 使用高强度加密算法 • AES-GCM 128 bit,AES-GCM 256 bit … • 特点 • 用户无感知 • 数据写入自动加密,读取自动解密 透明加密的作用0 码力 | 34 页 | 599.00 KB | 1 年前3
PieCloudDB 的云原生之路IvorySQL开源数据库社区 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 元数据管理的设计目标 IvorySQL开源数据库社区 mstore — FoundationDB上的Catalog 基于 MVCC 的事务隔离级别 将元组以 key-value 的形式存储 到 FoundationDB0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 • 分布式环境下的多版本 @2022 OpenPie. All rights0 码力 | 44 页 | 1.64 MB | 1 年前3
共 8 条
- 1













