Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+1

Diffusion等AI模型成功的关键组件；发明了Transformer-XL，是历史上第一个在词级别和字级别都全面超越RNN的注意力语言模型，解决了语言建模上下文长度的关键问题，定义了语言建模的新标准；曾与DeepMind和CMU合作研究，首次实现小样本性能逼近全监督学习的高效对齐方法。 ii. 视觉方面。团队成员发明了MoCo，引爆了基于对比学习的视觉预训练范式，也是过去三年CVPR引用量最高的工作；发明了ShuffleN I RL联创及负责人John Schulman亲自邀请加盟。 iv. 基础设施方面。团队核心成员曾带领数十人从零开发世界领先的深度学习框架，也具备数千卡集群全自动化硬件运维告警、数百亿特征检索、大规模（数十PB数据、百万台机器）分布式系统数量级性能优化的经验。 c. 目前团队人数超过 80 人，每个月都有在全球某个领域有显著影响力的人加入。 ### 2. 团队聚焦底层技术创新，技术Vision强 Length上追上来，且在精度（无损记忆）和中文能力上Kimi智能助手依然领先。 b. 聚焦底层技术创新，不走技术捷径。最早提出 “Lossless Long Context 可以解决 90% 以上的模型定制问题”，坚持对数据的无损压缩，实现模型能力的提升，不走技术捷径（通过滑动窗口、降采样、小模型等技术实现上下文窗口延长，都是 “技术捷径”） c. 通过这篇文章，您可以了解更多技术方面信息：专访月之暗面杨植麟：lossless

## 七 牛AI训练业务的K8S实践 袁晓沛 七牛容器云负责人 ## QCon 全球软件开发大会 10⽉17-19⽇上海·宝华万豪酒店  扫码锁定席位 ## 九 折即将结束 团购还享更多优惠，折扣有效期至9月17日 扫描右方二维码即可查看大会信息及购票 扫描添加E小欧， 邀您进入EGO会员预报名群 立即报名 TECHNOLOGY EGO ## TABLE OF CONTENTS AI训练的业务情况 AI训练的痛点 为什么用K8S 基于K8S的AI训练 一次踩坑经历 接下来的工作 ## AI训练流程 ![Image](/uploads/documents/1/e/a/e/1eae6abc6c8389e508255ddf048c8d7f/p6_1 创建 训练样本集 Name 供训练任务高速读取 resize, shuffle, stats 训练参数 ServingGate 开放 API 访问 私有 API 访问 按版本访问 启动训练 模型推理 API AppName, AppVersion 一键部署 分阶段发布 分布式、容器化 发布 启动评测 独立评测任务ID 容器化 评测参数 ## AI训练迭代 原始数据

美团DB数据同步到数据仓库的架构与实践 ..... 66 不可不说的Java“锁”事 ..... 74 境外业务性能优化实践 ..... 91 美团广告实时索引的设计与实现 ..... 106 大众点评账号业务高可用进阶之路 ..... 123 美团容器平台架构及容器技术实践 ..... 135 美团即时物流的分布式系统架构设计 ..... 147 美团点评运营数据产品化应用与实践 美团点评运营数据产品化应用与实践 ..... 154 美团服务体验平台对接业务数据的最佳实践-海盗中间件 ..... 167 美团点评智能支付核心交易系统的可用性实践 ..... 176 卫星系统——酒店后端全链路日志收集工具介绍 ..... 192 深入浅出排序学习：写给程序员的算法系统开发实践 ..... 200 每天数百亿用户行为数据，美团点评怎么实现秒级转化分析？ ..... 220 # A IT，寓意是App的运营配置工具（Kit）。通过不断的实践和总结，我们希望能从三个维度解决上述问题： ## 数据JSON化 随着业务的不断迭代，无论采用怎样的数据字段组成，都无法满足业务变化的字段（这里是指像标题、副标题、图片、跳转链接等）要求。对底层数据进行JSON化，其对应的数据字段完全可动态扩展，从而满足业务不断迭代的需求。JSON化随之也会带来运营位字段管理的问题，我们通过字段管理的工具来解决这个问题。