丁晓坤 & 熊峰 一切以用户价值为依归 2 • Clickhouse 的部署与监控管理 • Clickhouse 的应用实践 iData 目录 部署与监控管理 一切以用户价值为依归 3 1 4 部署与监控管理 1 高内存，廉价存储： 单机配置: Memory128G CPU核数24 SATA20T，RAID5 万兆网卡 一切以用户价值为依归 5 部署与监控管理 1 Shard01 Shard02 Shard03 Load Balancing 一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容： 扩容： 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 1 大批量，少批次 WriteModel BatchSize 10k 9 49 413 NO 一切以用户价值为依归 8 部署与监控管理 1 应用监控-业务指标： 一切以用户价值为依归 9 部署与监控管理 1 服务监控-错误日志： 一切以用户价值为依归 10 部署与监控管理 1 服务监控-请求指标： 一切以用户价值为依归 11 部署与监控管理 1 服务监控-扫描详情： 一切以用户价值为依归 12 部署与监控管理 1 服务监控-响应耗时：

济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 Annual Size of the Global Datasphere zetabytes 击需视各2nk 2n 2n6 201 2018 20192070 20717022 2973 2024 2025 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分 统 MPP 数据库解决方案迎来 了一系列的瓶颈: 传统数据仓库的计算和存情是| 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一， 报表结! 传统数据仓库无法及时扩 导致大数据系统天 价值所带来的商业机会 用户在扩 必须同时扩 企业遇到负 时刻或需要紧急得到某个 法弹性、快速地分析业务数据，错失了充分挖掘数据 Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) (elastic Massive Parallel Processing) 分布式技术，旨在为企业提供包含实时处理、 移级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎，助力企业实现数据价值最大化。 pieCloudDB 为企业构建坚如般石的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚拟 化，提供云数仓智能化解决方案，助力企业建立以数据资产为核心的竞争整垒。 Openpie

2025年增长值175ZB，而中国的数据圈有望于2025年爆炸式增长为世界第一 。数据被称为数字经济时代的“石 油”，如同石油驱动了工业化时代的进步，大数据将推动智能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值，企业面临着海量数据的存储与分析需求，业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算（Data Computing）的巨 容计算资源和存储资源，在扩缩容、运维、迁移上都存在一定的挑战。当企业遇到负载高峰时刻或需要紧急得到某个 报表结果时，传统数据仓库无法及时扩资源，导致大数据系统无法弹性、快速地分析业务数据，错失了充分挖掘数据 价值所带来的商业机会。 传 统 数 据 仓 库 架 构 成 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率， DB 在eMPP分布式专利技术、服务器无感知（Serverless）及TDE（透明数据加密）等多项核心技术加持下，为企业构建 高安全，高可靠，高在线「坚如磐石」的云原生虚拟数仓，助力企业实现数据价值最大化，更好地赋能业务发展并走 向绿色，成为新一代AI数据计算基础设施的一个典范。 全面的 SQL 兼容度 多维度弹性扩缩容 高可用能力 高性能的数仓引擎 PieCloudDB 产品特性

国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全面拥抱AI技术趋势。 企业⽂化 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 海 外 研 发 中 ⼼ 北京研发中⼼ 杭 州 总 部 上海全球品牌战略与⽣态发展中⼼ ⼴州研发中⼼ @2024 国的云原⽣数据库世界级智⼒⾼地 11月 4月 获得元⽲重元和东吴证券Pre-A轮投资 标 志着企业进⼊快速成长期 拓数派 正式成立 成立杭州总部、北京研发中⼼、 上海全球品牌战略与⽣态发展中⼼ 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿⼤研发中⼼ 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库⾏业全面⾛向云时代 8月 成立⼴州研发中⼼ 10月 2022拓数派产品发布会 电池医⽣ 车联运⾏ 车联状态 经 营 数 据 应 用 智慧零售 决策跟踪 业务诊断 业务预测 用 户 数 据 应 用 VOC客户洞察 AutoFort 智能运营 客户画像 客户价值评估 营 销 数 据 分 析 数据 应用 @2024 OpenPie. All rights reserved. OpenPie Confidential 客 户 案 例 ： ⼤ 型 先 进

以其优越的性能为越来越多的客 户所理解与接受。作为中国大数据市场的探路先锋，Pivotal 将以一个 我们亲力打造的大数据项目为例，与大家一起分享 Greenplum 在项目 实施过程中为客户创造的那些真实的价值，如何与客户一起开拓大数 据之路。 在国内某大型金融机构的大数据处理平台，使用 Greenplum 数据库产 品支撑其 ODS 及各类集市应用。项目从 2013 年 6 月份开始到 2015 年底，生产环境已经由最初的一套集群发展到 践和真知灼见转化成能够为更多客户服务的宝贵价值！ Big Date2.indd 23 16-11-22 下午3:38 24 三、Greenplum 硬件选型篇 前 面 我 们 通 过 某 金 融 行 业 客 户 Greenplum 的 使 用 案 例 介 绍 了 Greenplum 产品在高吞吐、开放性、 易扩展等方面的卓越表现及其带 给客户的高价值。下面我们将从最佳实践方面介绍下 Greenplum Access）协议，所以如果基于 Infiniband 交换机对 Greenplum 集 群组网，必须在服务器上安装硬件厂商提供的网络驱动，并通过 IPoIB(InternetProtocol over InfiniBand) 协议进行转换，之前遇到某 客户因为驱动和服务器硬件兼容问题，压力一大，服务器自就会自 动重启，最后又将网络设备改回万兆交换机。 ·网卡绑定采用 mode=4 (802.3ad)，流量传输

New Discoveries”「数据计算，只为新发现」为使命，致力于在数字原生时代,运用突破性计算理论、 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和 同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和发挥数据规模优势，构建核心技术壁垒，让大模 型技术全面赋能行业AI场景应用，助力合作伙伴成功，为企业创造更大的商业价值。 全 球 数 据 计 算 系 统 引 领 者 • 归国后在美国500强EMC旗下创建了Greenplum中国，随后在2013年在Paul Maritz（届时VMware CEO，曾任微软Windows平台总负责人）和Scott 的云原生数据库世界级智力高地 11月 4月 获得元禾重元和东吴证券Pre-A轮投资 标志 着企业进入快速成长期 拓数派 正式成立 成立杭州总部、北京研发中心、 上海全球品牌战略与生态发展中心 蓬勃发展的拓数派 驱动数据计算时代的到来 9月 成立加拿大研发中心 7月 PieCloudDB云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 2022拓数派产品发布会

算法充分利用 MPP 架构实现并行 • 更好的可扩展性 • 算法随着数据扩充而线性扩展 • 更高的预测精准度 • 适用更多数据，而不是抽样 • 顶级 ASF 开源项目 • 社区驱动开发模式 MADlib 特性 2017.thegiac.com 客户端 数据库服务器器 Master Segment 1 Segment 2 Segment n com 数据整理理 数据准备 信息价值和证据权 重 成对相关性 删除⾼高度相关变量量 逻辑回归 计算 KS 分值 模型验证 ⼿手动预测 1 2 3 4 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 439 特征 ● 4,517 ⾏行行代码 ● 100 分钟 ● 934 特征 ● 1,438 ⾏行行代码 ● 30 分钟 多 495 个特征，快 3.33x 信息价值 ● ~450 个变量量，~30分 钟计算结果并写⼊入 excel ● 在 GPDB 中花 58 秒计 算 ~200 个变量量的IV 13.7x/变量量 建模 ● < 50

，同时提高了应用的灵活性， 降低了运维成本。 3. 同时支持“汇总+明细”。 4. 模型轻量标准化，极大的降低了生产成本。 综上所述，在变化维、非预设维、细粒度统计的应用场景下，使用MPP引擎驱动的ROLAP模式， 可以简化模型设计，减少预计算的代价，并通过强大的实时计算能力，可以支撑良好的实时交互 体验。 双引擎下的应用场景适配问题 架构上通过MOLAP+ROLAP双引擎模式来适配不同应用场景，如下图所示： 总结与思考 在外卖运营分析的业务实践中，由于业务的复杂及应用场景的不同，没有哪一种数据生产方案能 够解决所有业务问题。数据库引擎技术的发展，为我们提供更多手段提升数据建设方案。实践证 明，以Doris引擎为驱动的ROLAP模式可以较好地处理汇总与明细、变化维的历史回溯、非预设维 的灵活应用、准实时的批处理等场景。而以Kylin为基础的MOLAP模式在处理增量业务分析，固化 维度场景，通过预计算以空间换时间方面依然重要。 要。 业务方面，通过外卖数仓Doris的成功实践以及跨BG的交流，美团已经有更多的团队了解并尝试 使用Doris方案。而且在平台同学的共同努力下，引擎性能还有较大提升空间，相信以Doris引擎 为驱动的ROLAP模式会为美团的业务团队带来更大的收益。从目前实践效果看，其完全有替代Kyl in、Druid、ES等引擎的趋势。 目前，数据库技术进步飞速，近期柏睿数据发布全内存分布式数据库RapidsDB

reserved. OpenPie Confidential 关于我 • 18年+基础软件⼀线经验 • 9年：Unix/Linux应⽤和内核开发、虚拟化（芯⽚KVM内核⽀持）、⾼速 ⽹络开发（NIC驱动、IB、DPDK、OVS offload）等. • 2年：分布式系统（存储和缓存）开发、云计算平台架构. • 7年+：数据库内核开发 (HAWQ、PG、Greenplum、PieCloudDb). 为什么我们觉得数据库云原⽣很重要？ • 破除数据隔离（⼀份数据就好）. • 否则⼀致性问题、也浪费存储空间. • 数据作为新的⽣产要素要流通起来才有更⼤价值. • 参考云被认同的时间线. • 弹性伸缩（成本 & 性能 & 灵活）. • 云对于⼩中⼤客⼾都有价值. @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介

是否允许单一语句 返回多结果集（需 要兼容驱动）。 true | false true useColumnLabel 使用列标签代替列 名。不同的驱动在 这方面会有不同的 表现， 具体可参考 相关驱动文档或通 过测试这两种不同 的模式来观察所用 驱动的结果。 true | false true useGeneratedKeys 允许 JDBC 支持自 动生成主键，需要 驱动兼容。 如果设 置为 true true 则这个设 置强制使用自动生 成主键，尽管一些 驱动不能兼容但仍 可正常工作（比如 Derby）。 true | false False autoMappingBehavior 指定 MyBatis 应如 何自动映射列到字 段或属性。 NONE 表示取消自动映 射；PARTIAL 只会 自动映射没有定义 嵌套结果集映射的 结果集。 FULL 会 自动映射任意复杂 的结果集（无论是 否嵌套）。 statements）； BATCH 执行器将重 用语句并执行批量 更新。 SIMPLE REUSE BATCH SIMPLE defaultStatementTimeout 设置超时时间，它 决定驱动等待数据 库响应的秒数。 Any positive integer Not Set (null) safeRowBoundsEnabled 允许在嵌套语句中 使用分页 （RowBounds）。