www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 新一代开源大数据平台 Gemfire SQL 语法支持 需要提升 磁盘数据 不是核心焦点 并发性能 不是核心焦点 大数据关联 不是核心焦点 2017.thegiac.com ⽤用户案例例 1 Greenplum + MADlib 助⼒力力邮件营销 2017.thegiac.com 问题 ● 邮件⼴广告点击预测 模型不不够精准，需 要更更好的邮件营销 策略略 代码复杂冗余，很多数据类型 转换 ✓ 代码更更精简，更更便便于维护的代码 X 原始模型预测效果不不理理想 ✓ 新模型能够更更精准地预测⽬目标客 户 商业影响 2017.thegiac.com 用户案例例2 基于API日志的⾦金金融产品⽤用户分析 2017.thegiac.com 问题 ● 更更好地理理解不不同种 类的⽤用户 ● 更更好地了了解⽤用户与 APP的交互 ●

1 从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache

5.5 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 7.5.6 使用案例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 场景需求 . . . . . 服务 (为了持久化配置) 启动 ShardingSphere-Proxy 1. 添加 mode 和 authentication 配置参数到 server.yaml (请参考相关 example 案例) 2. 启动 ShardingSphere‐Proxy (相关介绍) 创建分布式数据库和分片表 1. 连接到 ShardingSphere‐Proxy 2. 创建分布式数据库 CREATE Zookeeper 服务 (为了持久化配置) 启动 ShardingProxy 1. 添加 mode 和 authentication 配置参数到 server.yaml (请参考相关 example 案例) 2. 启动 ShardingProxy (相关介绍) 创建分布式数据库和分片表 1. 连接到 ShardingProxy 2. 创建分布式数据库 CREATE DATABASE rea

长态势。 01 AIGC全生命周期管理 基于PieCloudML，为企业构 建统一的MaaS框架和AIGC开 发框架，对模型和AI Agent进 行高效管理。 03 案例分享 基于PieDataCS的用户案例实 践，从基础的数据底座到 AIGC应用全场景覆盖。 04 中国AGI发展趋势 中国AGI市场融资非常活跃，AGI顶级人才非常欠缺，整 个市场将长期保持快速增长态势。 云原生存储架构，元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户，数据可用不可见，跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能 云原生数据计算系统 虚拟数仓引擎设计 云原生数据计算系统 分布式优化器设计 AIGC应用组织 AIGC全生命周期管理 AIGC应用的全流程优化 AIGC全生命周期管理 AIGC应用最佳优化方案 案例分享 基于PieDataCS的用户案例实践，从基础的数据底座到 AIGC应用全场景覆盖。 04 案例分享 某大型央企的数据底座项目 案例分享 某金融客户的AIGC应用实践 THANKS

AppEngine（Resin/Tomcat…) 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD • Pod 扩容无限制 如何调度 MySQL MySQL 更像“宠物”，使用 StatefulSet 调度 MySQL 容器 VS Deployment 散养 StatefulSet 精养 MySQL 容器化系统架构 REST CLI Kubernetes Master API Server Scheduler Controller Manager NodeM kubelet

6.5 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 7.6.6 使用案例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 场景需求 . . . . . 在 目 录 挂 载 到 /opt/ shardingsphere-proxy/ext-lib。 问题 4：如何使用自定义分片算法？ 回 答： 实 现 对 应 的 分 片 算 法 接 口， 将 编 译 出 的 分 片 算 法 jar 所 在 目 录 挂 载 到 /opt/ shardingsphere-proxy/ext-lib。 使用 Helm ShardingSphere-Proxy 定。有任何一个判定成功。SQL 语句路由到影子库。执行 SQL 不包含注解或者 HINT 影子算法判定不成 功，SQL 语句路由到生产库。 7.6.5 影子算法 影子算法详情，请参见内置影子算法列表 7.6.6 使用案例 场景需求 假设一个电商网站要对下单业务进行压测。压测相关表 t_order 为影子表，生产数据执行到 ds 生产数 据库，压测数据执行到数据库 ds_shadow 影子库。 影子库配置 建议配置如下（YAML

6.5 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 7.6.6 使用案例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 场景需求 . . . . . 在 目 录 挂 载 到 /opt/ shardingsphere-proxy/ext-lib。 问题 4：如何使用自定义分片算法？ 回 答： 实 现 对 应 的 分 片 算 法 接 口， 将 编 译 出 的 分 片 算 法 jar 所 在 目 录 挂 载 到 /opt/ shardingsphere-proxy/ext-lib。 5.2.2 YAML 配置 ShardingSphere‐JDBC 定。有任何一个判定成功。SQL 语句路由到影子库。执行 SQL 不包含注解或者 HINT 影子算法判定不成 功，SQL 语句路由到生产库。 7.6.5 影子算法 影子算法详情，请参见内置影子算法列表 7.6.6 使用案例 场景需求 假设一个电商网站要对下单业务进行压测。压测相关表 t_order 为影子表，生产数据执行到 ds 生产数 据库，压测数据执行到数据库 ds_shadow 影子库。 影子库配置 建议配置如下（YAML

6.5 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 7.6.6 使用案例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 场景需求 . . . . . 在 目 录 挂 载 到 /opt/ shardingsphere-proxy/ext-lib。 问题 4：如何使用自定义分片算法？ 回 答： 实 现 对 应 的 分 片 算 法 接 口， 将 编 译 出 的 分 片 算 法 jar 所 在 目 录 挂 载 到 /opt/ shardingsphere-proxy/ext-lib。 使用 Helm 使用 Helm 在 Kubernetes 定。有任何一个判定成功。SQL 语句路由到影子库。执行 SQL 不包含注解或者 HINT 影子算法判定不成 功，SQL 语句路由到生产库。 7.6.5 影子算法 影子算法详情，请参见内置影子算法列表 7.6.6 使用案例 场景需求 假设一个电商网站要对下单业务进行压测。压测相关表 t_order 为影子表，生产数据执行到 ds 生产数 据库，压测数据执行到数据库 ds_shadow 影子库。 影子库配置 建议

3 安装部署 19 TiUP TiDB Operator 3.4 运维和可视化管理- TiDB Dashboard 21 第四章 TiDB Cloud 41TipBcoud 23 第五章 场景案例 5.1 金融 光大银行 - 分布式数据库在光大银行关键业务系统的应用 。""* 26 北京银行- 打造面向未来的商业银行业分布式核心系统 ，， 28 中国银行 -基于 TiZabbix 构建金融业新一代运维监控平台 ”2019 中国数据库技术年度最佳创新产品 PingCAP 公司荣誉 。 2017 中国最具投资价值TOP 50 。 2017 中国年度创新成长企业 100 强 。 2017 年度中国企业服务产业最佳投资案例 TDP10 。 2018 中国大数据准独角兽榜 。 2018 企业服务产业独角兽榜-数据服务 。 2019 中国最具投资价值企业风云榜 50 强 。 2019 中国数据库技术年度评选年度创新企业 。 是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品, 具备水平扩容或者编容、金融级高可用、实时 HTAP,云原生的分 布式数据库、兼容 MySQL 5.7协议和 MySQL 生态等重要特性, 向用户提供一站式 OLTP.OLAPHTAP 解决 方案,适用于对高可用、一致性要求高、数据规模较大等应用场景。

⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 数据计算。主要解决海量数据的存储和实时计算问题，具备湖仓⼀体化的能⼒， 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少⽽精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。 ⽣态完善，支持主 实时产⽣交易信号以自动执⾏交易。这种数据驱动的量化交易策略可以更快地对市场 变化进⾏响应。 机器⼈顾问： 根据个⼈需求和偏好实时提供⾦融建议，提⾼了获取建议的便利程度，降低了获得服务的成本。GPT 可以学习⼤量历史案例和研究报告，在此基础上，它可以总结出投资策略与建议。用户可以直接使用 这些建议，或根据实际情况进⾏适当调整，这可以极⼤提⾼⼯作效率。 ⾦融市场情绪分析： 对投资相关的⾔论和情绪表达等数据进⾏深