万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望 m w a l i b a b a - i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化

• 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 Greenplum数据引擎：内容和方式 价值主张 – 性价比： 性能可达到传统方案（Oracle、Teradata）的 10到100倍， 而成本只是其一小部分 – 可伸缩性：从较低的万亿字节扩展到千万亿字节 – 开放式系统：在通用系统和开放源软件的基础上创建 前提条件 – 硬件：基于开放式标准硬件 – 软件：Postgres和Greenplum – 体系架构：海量并行处理体系，针对商务智能/数据仓库 统一的分析处理功能 • 为数据仓库、市场、 ELT、文本挖掘、统计 运算提供统一的平台 • 可以使用SQL、 MapReduce、R等在 所有层次上对任何数 据进行并行分析 19 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 者开始的规模太小 • 在商用硬件上通过线 性、经济的方式扩展 Greenplum数据引擎体系 主机 网络互连 并行查询规划和调度 区段服务器 （处理和存储）

19%，预计在大模型、 算力等需求刺激下，市场仍将保持稳定增长，到 2026 年全球云计算 市场将突破万亿美元。2022 年，我国云计算市场规模达 4,550 亿元， 较 2021 年增长 40.91%。相比于全球 19%的增速，我国云计算市场 仍处于快速发展期，预计 2025 年我国云计算整体市场规模将超万亿 元。 三是云计算产业环境日益激烈，新一轮竞争全面开启。全球各 国将云计算看作抢占新一轮科技革命制高点的关键环节。云计算巨 年云计算市场增速下降明显，但对 比全球整体经济仅 3.4%的增长，云计算仍然是新技术融合和业态发 展的重要手段。预计在大模型、算力等需求刺激下，市场仍将保持 稳定增长，到 2026 年全球云计算市场将突破万亿美元。 来源：Gartner，2023 年 4 月 图 1 全球云计算市场规模及增速（亿美元） 1《Gartner Forecasts Worldwide Public Cloud End-User 有云市场增长 25.3%至 1,294 亿元。相比于全球 19%的增速，我国云 计算市场仍处于快速发展期，在大经济颓势下依旧保持较高的抗风 险能力，预计 2025 年我国云计算整体市场规模将突破万亿元。 来源：中国信息通信研究院，2023 年 5 月 图 4 中国云计算市场规模及增速（亿元） 从细分领域来看，PaaS、SaaS 增长潜力巨大。2022 年，IaaS 市 场收入稳定，规模在

许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) Apache RocketMQ 介绍 概要 Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 到大批量实时零损失容忍交易系统。 里程碑 2012年，阿里巴巴开始开发RocketMQ，经历了数次双11核心交易链路检验。 2016年11月11日，RocketMQ又一次在阿里巴巴全球购物节上处理了1.2万亿个并发在线消息传输， 后阿里巴巴将RocketMQ捐献给Apache Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员

社交网络分析 • BI 工具 • 图分析工具集 • 图咨询服务 Source ： Graph Aware 图数据库发展趋势 AtlasGraph 研发背景 • 业务对大图分析的诉求（千亿点、万亿边） • 实时风控对图库的性能挑战（ OLTP 毫秒级响应） • 海致图平台产品服务于金融、政府行业有大量业务经验积累（接近客户需求） • 现有开源产品无法满足要求（受限于基础架构设计，优化性能有限） Graph Query Language) ，类 SQL 的图查询 语言，内置上百种分析函数， 面向分析师友好，拥抱标准， 基于 openCypher 向 ISO GQL 迈进 实时大图 支持万亿节点存储及流式计算 引擎的结合，最新数据实时入 库构图，为在线业务决策分析 提供有力支撑 AtlasGraph 架构及实现 新一代图技术应用特征简介 Takeaway AtlasGraph 架构概览

一般用于描述模型的参数数量。例如，具有 50B 参数的模型代表这个 模型有 50 亿个参数。Ollama3 有尺寸 8B 和 70B，Phi-3-mini 有 3.8B 参数等。 T（万亿，Trillion）：在英文里是 Trillion 的缩写，表示万亿。在 AI 大模型 中，”T” 常用来表示模型在训练中处理的 Token 数量。Token 是指模型处理的 基本单元，可以是一个单词、子词，或者字符等。 在大规模预

能还是如何有 ⼀个统⼀的表⽰空间以及可规模化的数据⽣产。


海外独⻆兽：如果算⼒⾜够，会有⼈想做⼀个万亿参数的
dense
model
吗？
杨植麟：取决于推理成本的下降速度，但我觉得肯定会有。现在⼤家是因为推理成本太⾼，所以都在 做
tradeoff。但是最终直接训练⼀个万亿的
dense
model
肯定效果会⽐⼀个只有千亿参数的模型要 好。
海外独⻆兽：Anthropic 并且，我们可以看到，规模化其实是AGI的核⼼⸺其实是架构、算⼒、数据三个要素的规模化。但是 我们不光只是需要规模化，⽽是需要真实的规模化。 这⾥会有很多的维度，举个例⼦，假设我们今天训练了⼀个百万亿的模型参数的模型，但是如果只到 这⼀步，那它可能就不是真实的规模化。 我会从两个例⼦来展开介绍，到底什么是真实的规模化。
我们认为，Transformer是新时代的计算 机。这跟⽼的计算机不⼀ 150
万字以上，相当于可以⼀次让模型处理《三国演义》加《西游记》两本名著。
⼤模型能⼒的⼆元性：为什么要死磕「⻓上下⽂窗⼝」？ 今年年初，在
GPT-4
问世之前，⼀个号称「GPT-4
有
100
万亿个参数」的谣⾔引发了不少关注。在⽆ 数次被转发后，很多⼈信以为真，导致
OpenAI
⾸席执⾏官
Sam
Altman
不得不亲⾃出来辟谣。这也 在⼀定程度上反映了⼤模型领域对于参数量的⼀种「崇拜」。

开辟强化学习新范式 从预训练Scaling Law转变为强化学习Scaling Law 大数据+大参数+大算力的 预训练Scaling Law的边际效应递减 • 人类构造的训练数据已达上限 • 万亿参数规模之后，继续增大参数规 模难以带来质的提升 • 训练算力成本和工程化难度大幅上升 强化学习Scaling Law • 利用合成数据解决数据用尽问题 • 利用self-play强化学习，在不增大参 术业有专攻，专业的工作交给专业的模型去完成 大模型能力很强 但在企业中不要幻想用一个大模型 解决所有问题 51政企、创业者必读 走开源的本地可部署的专业化大模型之路，许多问题就会迎刃而解 参数：不需要千亿、万亿参数规模，百亿甚至几十亿就够用 算力：不需要千卡、万卡运行大模型，单机单卡就可以跑起来 成本：不需要投入千万、上亿资金，少量资金投入就可以 能力：不需要等待下一代AGI面面俱到的能力 响应：响应速度更快，用户体验更好

(Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 对其 GPU 的巨大需求，跻身市值万亿美元俱乐部；  主要芯片供应商开发了不受出口管制影响的替代产品；  在 ChatGPT 的带领下，生成式 AI 的应用在图像、 视频、编码、语音等领域取得了突破性的进展，带动了 180 亿美元的风险投资和企业投资。 做出这样的大语 言模型。深度学习、自然语言处理，需要多年的坚持和积累，没法速成。” 长度是 Llama 1 的 2 倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在 2 万亿的 token 上训练的，微调 Chat 模型是在 100 万人类标 记数据上训练的。 7 / 87 1 1 开源开发者事件回顾 Auto-GPT 横空出世，席卷 AI 圈 “零一万物”发布 的算力指的是执行这些模型所需的计算资源。这包括用于训练和运行模型的硬件（如 GPU 或 TPU）、内存、存储空间以及处理 大量数据的能力。LLM 需要非常强大的算力来处理、理解和生成文本，因为它们涉及到数十亿甚至数万亿个参数的训练和推理。 LLM 的基石是算力，而算力的基石是硬件，硬件的性能直接影响着计算任务的速度、效率和能力。 是全球领先的 GPU 制造商，提供了强大的图形处理单元，专门用于深度学习和AI计算。