ETL方案设计与实现 邱培峰 拓数派 技术专家 云原生虚拟数仓PieCloudDB 大连理工大学软件工程本科 pgsql@qiupf.dev 邱培峰 拓数派技术专家 ETL解决方案及内核组件研发 PieCloudDB 分布式架构简介 ETL 简述 PieCloudDB ETL方案设计 Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 CDC模式 流式传输 ETL本质是不同系统 （数据组织形式）之 间的数据移动 ETL • 便宜可扩展的对象存储，各系统通用 • 最好的 ETL 就是不需要 ETL，各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 • 多种数据源

© XXX Page 1 of 14 CurveFS方案设计（总体设计，只实现了部分）© XXX Page 2 of 14 时间 修订人 修订内容 2021-03-23 李小翠 初稿(背景，调研，架构设计) 2021-03-30 李小翠 增加快照部分 2021-04-13 李小翠、陈威 补充元数据数据结构 2021-04-19 李小翠、吴汉卿、许超杰等 补充文件空间分配，讨论与确认 背景 计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ 可行性分析 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案： CurveFS kv方案设计 curve实现块设备时，元数据不是扁平化的设计，而是采用来有目录层级的 namespace 方式，namespace 已经实现了 fs 元数据管理的雏形，具备了基本的元数据管理功能。（当时为什么要设计为

© XXX Page 1 of 11 curvefs对接s3方案设计（过程文档）© XXX Page 2 of 11 时间 修订人 修订内容 2021-05-20 胡遥 初稿 2021-07-20 胡遥 细化write和read流程 整体架构 整体思路 接口和关键数据结构 mds.proto client端数据结构 metaserver.proto space相关数据结构和proto

方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 纯度 排面 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 销售执行三板斧：分销达标 销售执行三板斧：新品上架陈列稽查 销售执行三板斧：陈列激励 方案设计： 基于深度学习的检测/分类的AI流水线 货架商品检测 货架商品检测 Bottle（瓶装） Combination（组合装） 货架商品检测 Bottle（瓶装） Combination（组合装）

基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • 不兼容现有查询语句 • 不兼容ETL工具 性能低 • 不支持索引 • 优化器无法使用，需要全表扫描 局限性高 • 多表关联查询需要先全表解密 • 只能加密表数据 pgcypto的问题 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb Recall GPDB数据透明加密方案设计 GPDB TDE GPDB透明加密 加密目标 • 表数据 • 预写日志数据 • 主从节点所有数据

大数据量的存储和并行计算。 离线计算简介 离线计算简介 在离线处理这块，主要包含了MR模块和Spark模块，我们的一些ETL操作，就是基于MR模块的，一些用 户行为数据的深度分析，会基于Spark去做，其中我们还有一个XT平台，是美团点评内部基于Hive搭建的 ETL平台，它主要用来开发数据处理任务和数据传输任务，并且可以配置相关的任务调度信息。 实时计算简介 实时计算简介 对于用户行 Kafka同步到Hive上。 美团DB数据同步到数据仓库的架构与实践 - 美团技术团队 Kafka2Hive Kafka2Hive 整个Kafka2Hive任务的管理，在美团数据平台的ETL框架下进行，包括任务原语的表达和调度机制等， 都同其他ETL类似。而底层采用LinkedIn的开源项目Camus，并进行了有针对性的二次开发，来完成真正 的Kafka2Hive数据传输工作。 对Camus的二次开发 对Camus的二次开发 ema，并且其分区、字段等的设计，都要便于下 游的高效消费。对Camus做的第一个改造，便是将Kafka上的Binlog解析成符合目标Schema的格式。 对Camus做的第二个改造，由美团的ETL框架所决定。在我们的任务调度系统中，目前只对同调度队列的 任务做上下游依赖关系的解析，跨调度队列是不能建立依赖关系的。而在MySQL2Hive的整个流程中， Kafka2Hive的任务需要每小时

了具有差异性 的多个模型，融合得到最终的结果。 58 > 2022年美团技术年货 4. 通用建模方法与理解 本节会就比赛的通用建模方法进行介绍，即面对一个新问题，如何进行快速高效的整 体方案设计。 4.1 建模框架与方法 在面对新问题时，我们主要将技术框架分为以下三个阶段，即探索性建模、关键性建 模、自动化建模。三个阶段具有逐渐深化，进一步补充的作用。 图 17 三阶段算法建模 不同数据集注重的内容不一样，在数据充分的场景下，核心问题是模型深化，以解决 62 > 2022年美团技术年货 特征之间交叉，组合等复杂问题。而在小数据下，因为噪音多，不稳定性强，核心问 题是模型的鲁棒。高数据敏感性是方案设计的关键。 方差与偏差的平衡是后期指导优化的关键 从误差分解角度去理解，平方误差可以分解为偏差 (Bias) 与方差 (Variance)[25]，在 中前期模型复杂度较低时，通过提升模型复杂度，能够有效减低偏差。而在偏差已经 429 识图谱可视化解决方案——uni-graph。 整体的功能与架构设计如下图所示，下面我们会介绍一些 uni-graph 的功能细节和 可视化的通用技术策略。 架构图 3. 技术挑战与方案设计 3.1 布局策略 在不同类型的知识图谱中，因数据差异较大，对布局效果的要求也有所不同。能让业 务数据有合适的布局来做可视化呈现，是一项比较大的技术挑战。除了下面几种基本 的布局之外，我们还探索了一些特定场景下的布局方案。

于哪个站点的问题。而且，从一线管理成本来讲，更习惯于哪条路以东、哪条路以南 这样的表述方式，便于记忆和理解，提高管理效率。所以，就有了这样的诉求，我们 希望区域边界更“便于理解”。 66 > 美团 2020 技术年货 整体方案设计 在目标和约束条件确定了之后，整体技术方案分成三部分： 1. 首先，根据三个目标函数，确定商家最优集合。这一步比较简单，做运筹优 化的同学都可以快速地解决这样一个多目标组合优化问题。 2. 同时，模型管理平台还收集各个服务节点的心跳上报信息，维护模型的状态和版本切 换，确保所有节点上模型版本一致。 3.3 离线特征平台 配送线上业务每天会记录许多骑手、商家、用户等维度的数据，这些数据经过 ETL 处理得到所谓的离线特征，算法同学利用这些离线特征训练模型，并在线上利用这些 特征进行模型在线预测。离线特征平台就是将存放在 Hive 表中的离线特征数据生产 到线上，对外提供在线获取离线特征 。简 单来说，AB 实验在产品优化中的应用方法是：在产品正式迭代发版之前，为同一个 目标制定两个（或以上）方案，将用户流量对应分成几组，在保证每组用户特征相同 的前提下，让用户分别看到不同的方案设计，根据几组用户的真实数据反馈，科学的 算法 < 89 帮助产品进行决策。 互联网领域常见的 AB 实验，大多是面向 C 端用户进行流量选择，比如基于注册用户 的 UID 或者用户的设备标识（移动用户

本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© XXX Page 3 of 9 S3模 int loadAllCacheReadFile() {}; private: std::string CacheReadDir_;© XXX Page 8 of 9 }; 方案设计思考 本地硬盘如何管理 借用linux本地文件系统进行管理，存储进本地硬盘的内容以文件的形式来表现。 配置一个目录用于本地硬盘的文件管理，对作为缓存盘的本地硬盘进行格式化并挂载到该目录(如果