com www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 新一代开源大数据平台 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017.thegiac.com Greenplum Procedure Language PLPython, PLR 2017.thegiac.com PL/Python

深度揭秘Greenplum开源数据库 透明加密 Greenplum 研发工程师 王淏舟 1. 我们所面临的问题 2. 基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署

具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 性 扩 缩 容 结 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论，训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能⼒。组件少，提供可 视化管理平台，运维管理简单，通过短暂学习即可掌握，⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务，7 * 24的安⼼保障。 @2024 OpenPie. All rights reserved. OpenPie Confidential

Rcpp、RcppEigen、RobustRankAggreg 等 R 语言算法库和程序包。 此外，Greenplum 还支持最新版 Apache MADlib（可用 SQL 进行机器学习、深度学习和图分析），它支持高并行 和基于 GPU 的深度学习模型训练，内置于集群硬件中的 GPU，能帮助 Greenplum 6 的用户获得超过 CPU 2 个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在

选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 的初步引入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等 问题，收益显著。本文将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思 考，希望所有读者从文章中有所启发。 作者：腾讯音乐内容库数据平台 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ， 经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引 入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收 益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 数据架构 1.0 2 如图所示为数据架构 严重，牵一发而动全身，容易出现集群稳定性问题，对于我们来说，同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询，成本和难度都比较高。 除此之外，ClickHouse 由国外开源，交流具有一定的语言学习成本，遇到问题无法准确反 馈、无法快速获得解决，与社区沟通上的阻塞也是促进我们进行架构升级的因素之一。 数据架构 2.0 3 基于架构 1.0 存在的问题和 ClickHouse

效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping 等高级特性，全面满足各种复杂的分析查询需求。 IvorySQL开源数据库社区 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 PieCloudDB 设计原则：100%符合DB标准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的 SQL 标准 Ø ACID 事务 IvorySQL开源数据库社区

Skipping等高级特性，全面满足各种复杂的分析查询需求。 @2022 OpenPie. All rights reserved. OpenPie Confidential 文本 时间序列分析 机器学习 数据转换 深度学习 传统BI 地理信息 P i e C l o u d D B 设 计 原 则 ： 1 0 0 % 符 合 D B 标 准 100%兼容DW生态体系 Ø 关系型数学 Ø 完整的SQL

OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @2024 OpenPie. All rights reserved. OpenPie Confidential 产品子功能 太多分支？ • 抽象的⽂件协议接⼝ 行处理，将来 HTAP 的 OLTP 用. @2024 OpenPie. All rights reserved. OpenPie Confidential 向量化 执行计算引擎 • SIMD深度优化 • 核心分析型计算算子完成 • 大量高杠杆率计算特性计划或者进行中 • runtime filter • low-cardinality string aggregation • late

的操作和交互过程。 而对 MapReduce 编程明显是困难的，在原生的 Mapreduce 开发 框架基础上的开发，需要技术人员谙熟于 JAVA 开发和并行原理， 不仅业务分析人员无法使用，甚至技术人员也难以学习和操控。为 了解决易用性的问题，近年来 SQL-0N-HADOOP 技术大量涌现 出来，几乎成为当前 Hadoop 开发使用的一个技术热点趋势。 这 些 技 术 包 括：Hive、Pivotal 近两年，国内的大数据市场逐渐成熟，有真实的大数据处理需求的企 业数量呈现爆炸性的增长，从传统的数据库产品往 MPP 数据库转型 的增长势头十分迅猛。Greenplum 作为 MPP 产品的领头羊，具有较 低的学习成本，只要学习过 SQL，懂数据库的应用开发，学会使用 Greenplum 是很简单的。这也是国内大量客户选择 Greenplum 产品的 原因之一。每当有新的企业客户使用 Greenplum 产品，就会有一批新 PrimaryInstance 在处理一个外部表加载时，只使用一个 CPU 核的资源。 通常，一个 Primary Instance 在处理外部表的数据时，每秒处理大 约 10MB~15MB 的数据。如果采用深度压缩算法，处理能力还会 再打些折扣。 3) 根据外部表工作原因，PrimaryInstance 从 gpfdist 服务抓取数据 (D) 是随机的，与分布策略无关。假设数据分布平坦且顺序随机，