Clickhouse玩转每天千亿数据 趣头条 王海胜 提纲 • 业务背景 • 集群现状 • 我们遇到的问题 业务背景 基于storm的实时指标的计算存在的问题 1：指标口径(SQL) -> 实时任务 2：数据的回溯 3：稳定性 业务背景 什么是我们需要的? 1：实时指标SQL化 2：数据方便回溯，数据有问题，方便恢复 3：运维需要简单 4：计算要快，在一个周期内，要完成所有的指标的计算

全球敏捷运维峰会 广州站 基于ClickHouse+StarRocks 构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 全球敏捷运维峰会 广州站 1. 为什么选择ClickHouse/StarRocks； 2. ClickHouse/StarRocks的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks 如何来补充ClickHouse 的短板；

闻，QQ看点，浏览器，微视， QQ⼩世界等） � 腾讯系内容推荐：阅⽂集团，QQ⾳乐 � Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） ⼀段时间样 本命中的 unique key ID/tag/交叉特征 (全量为：亿，千亿) ⼩特征 （个） 中型特征 （百） ID/tag/交叉特征 (千，千万) ⼩特征 （个） 中型特征 （⼗） � 2.2 hotkey现象，且训练与推理的 hotkey⾼度重合 百万级稠密 交叉参数 千亿级 稀疏输⼊ 层参数 单个样本命 中的key ⽐如：性别，年龄等取值少的特征； Slow-Fast Learning for Mobile-Cloud Collaborative Recommendation 问题3. ⼏⼗个场 景，独⽴链路 总结 � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离线训练， 在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先进⽔平 ⽬标 推荐场景特点 � Feature1（基本特点）

美团点评用户平台研究员 自我介绍 自我介绍 2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 美团推荐 美团搜索 美团广告 美团应用场景简介 • 场景特点 亿级的用户，千万级的O2O商品 海量的用户行为，完整的交易闭环 LBS相关的推荐 • 模型特点 百亿级别的训练数据 千亿级别的模型特征 秒级实时的模型反馈 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 LR 美团超大规模模型应用场景 • 可扩展的机器学习架构  基于Parameter Server架构  数据并行 —— 支持超大规模训练集  模型并行 —— 支持超大规模模型 • 业界千亿级以上的机器学习平台  开源： PaddlePaddle、XDL，etc.  内部： Abacus、XPS， etc. • Online Learning的价值  用户的近期行为，更能表现意图和偏好

吗？
杨植麟：取决于推理成本的下降速度，但我觉得肯定会有。现在⼤家是因为推理成本太⾼，所以都在 做
tradeoff。但是最终直接训练⼀个万亿的
dense
model
肯定效果会⽐⼀个只有千亿参数的模型要 好。
海外独⻆兽：Anthropic
⼀直在提模型的可解释性，这⼀点其实有蛮多争论。你是如何思考可解释性 的？因为刚刚你也提到了模型是⼀个⿊盒，并且其实⼈类到现在还没有弄清楚⾃⼰的⼤脑是怎么⼯作
海外独⻆兽：假如
GPT-4.5、Claude-3、Gemini-2.0
的训练成本是
3
亿美元左右，再往后到
2025
年下⼀代模型的训练成本可能要涨到⼏⼗亿美元，那要探索出
AGI
会是⼀场千亿美元豪赌，你思考过 它最终对⼈类社会的影响吗？ 杨植麟：相对确定的⼀点是实打实的⽣产⼒提升。现在⽤⼀个软件，其实对应
1000
个程序员的智能， 是固定的，以后我们⽤的应⽤背后可能对应
100
万个⼈的智能，⽽且每天都在迭代。
催⽣
Super
App
Founder
Park
2023-11-28
21:30
北京
⽉之暗⾯
Moonshot
AI
是⼀家神秘且特别的⼤模型创业公司。
公司⽬前只发布了⼀款产品，基于千亿⼤模型的
chatbot
产品
Kimi
智能助⼿。发布之初，就打出了 「⻓⽂本」、「⾃研闭源」、「toC」等清晰的标签。
创始⼈杨植麟饱受期待，他毕业于
CMU，师从苹果
AI
负责⼈
Ru

©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 易 购物车 易 用户请求 Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全 钉钉 淘客 航旅 发布消息峰值：数千万条/秒 订阅消息峰值：数千万条/秒 堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100%

©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 易 购物车 易 用户请求 Notify+MetaQ 几十万条/秒 菜鸟蓄洪 天猫满返 交易买卖家 BCP 交易安全 钉钉 淘客 航旅 发布消息峰值：数千万条/秒 订阅消息峰值：数千万条/秒 堆积消息峰值：千亿条 消息中间件核心链路 1.4万亿 万亿洪峰下有哪些问题 机器假死 IO Util，Load飙高 磁盘响应慢 消息大量堆积 网卡故障，甚至流量跑满 磁盘损坏 零点之战：发布消息SLA要求100%

增加了10 倍怎么优化？ 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂  训练优化:  数据并行  模型并行  推理优化: Blade  推荐模型优化: 千亿特征 3. 工程优化 RingAllReduce + 层级级联 EasyVision 多机多卡性能对比 工程优化: 数据并行  M6模型  Transformer模型: RapidFormer All-reduc同步训练 [HybridBackend/SOK] 特征选择 [VariationalDropout] 通信优化 [GRPC++] 实时训练 [增量更新] 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp [split/type conversion]

Spring，没有 Servlet，也无关 JavaEE；新兴独立的开放生态。主框 架仅 0.1 MB。 StreamPark 2.0.0：首个 Apache 版本 37 / 87 1 1 APUS 发布千亿级多模态通用 AI 大模型 开源开发者事件回顾 12 月 19 日，百度正式推出了 Apollo 开放平台的全新升级版本--Apollo 开 放平台 9.0，面向所有开发者和生态合作伙伴，以更强的算法能力、更灵 月，APUS 大模型正式发布。APUS 成立于 2014 年，是一家以产 品技术为核心竞争力的全球化人工智能企业，产品及服务已遍及全球 200 多个国家和地区，用户量超 24 亿。 APUS 大模型是千亿级多模态通用人工智能大模型，具备对文本、图像、音 频、视频的深入理解和生成能力，基于此研发出智能问答大师等系列用户端 AI 产品， 在电商、营销、医疗、网信、教育、制造等多个领域落地应用， 致力于为中国定制的

⽇志查询采⽤类似ES语法，降低⽤户迁移成本 用户行为数据分析 概述 v 基于ClickHouse构建B站⽤户⾏为数据分析产品：北极星 v 行为数据分析平台主要以下功能模块： 事件分析 v 海量埋点事件数据，⽇增数据千亿级。 v ⽤户⾏为事件的多维度分析场景。 v 事件包含公共属性和私有属性，均可作过滤和聚合维度。 v 不同事件有不同的私有属性字段。 v 动态选择的过滤维度和聚合维度。 v 交互式分析延迟要求