πDataCS赋能工业软件创新与实践:全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 是⼀个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题, 是⼤数据技术中的基⽯。让用户可以在不了解分布式底层细节的情况下,开发 分布式程序,以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多,常见约30个,基础组件包括:Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari,其他的计算引擎、列存数据库 数据的查询(json/xml等数据格式), 应用开发不用再基于SPL查询语法,改用通用型的SQL语法即可,⼤⼤缩短了应用开发和迭代周期; Ø 具备流批⼀体化能⼒,兼容Spark和Flink等应用程序,替换了部分Spark应用(SparkSQL); Ø 与集团内部的云平台进⾏了统⼀集成,通过API接⼝实现了系统对接,统⼀进⾏租户和资源的管理,支持资源管控和 隔离、数据透明加密以及租户密钥隔离等; 分布式⼯业自动化应用系统。 具体如下: Ø MEGDAO团队与πDataCS团队双⽅进⾏了战略化合作,平台所有产品全面迁移⾄国产的πDataCS 数据计算系统,优化了原型产 品的诸多基础数据驱动程序。 Ø 基于πDataCS 数据计算系统内置的机器学习算法库,开发自主研发的核⼼模型算法,结合企业流程管理的本地化业务需求,加 速移动端和数据云化的应用升级。 Ø 采用存算分离架构,构建统⼀的0 码力 | 36 页 | 4.25 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSMundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 式程序,以一种可靠、高效、可伸缩的方式进行数据处理。 组件很多,常见约30个,基础组件包括:Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari,其他的计算引擎、列存数据库0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database 产品白皮书 Warehouse,在数据仓库基础之上抽象出来的一种资源调度方法,它可以整合多个数 仓的资源; 。 云原生: 《loud Native,云原生技术使组织能够在新式动态环境 (如公有云、私有云和混合云) 中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; 。 TDE: Transparent Data Encryption,透明数据加密,使用加密密铀或DEK实时进行输入/输出数据加密和解 密,整个过程对应用完全透明,应用无需感知;0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书Massively Parallel Processing,弹性大规模并行处理; 云原生: Cloud Native,云原生技术使组织能够在新式动态环境(如公有云、私有云和混合云)中构建和运行 可缩放的应用程序,能够充分适配和发挥云计算的优势能力; TDE: Transparent Data Encryption,透明数据加密,使用加密密钥或DEK实时进行输入/输出数据加密和解 密,整个过程对应用完全透明,应用无需感知;0 码力 | 17 页 | 2.02 MB | 1 年前3
共 4 条
- 1













