万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 产品路线图的一部分。 开 解更多信息，文中对该主题进行了详细讨论：http://bit. ly/1v2UXAT 4 大数据集成与 Hadoop 源数据 转换 净化 丰富 EDW 连续 单处理器 SMP系统 MPP群集系统或GRID 4 路并行 64 路并行 CPU CPU CPU CPU CPU 内存 共享内存 磁盘 磁盘 关键成功因素：大数据集成平台必须支持全部三个维度的可 扩展性 • 线性 有效程度。 • 应用程序横向扩展：确定软件在非共享架构的多个 SMP 节点间实现线性数据可扩展性的有效程度。 图1. 海量数据可扩展性是一项大数据集成的强制要求。在大数据时代，企业必须支持MPP群集系统才能实现扩展。 支持海量数据可扩展性的需求并非只与Hadoop基础架构的出 现有关。多年来，领先的数据仓库供应商（如IBM和Teradata） 和领先的数据集成平台（如IBM ® InfoSphere

云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高 度安全和稳定性，让客户的资源更加聚焦在业务开发上，加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 Spark MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。  根据模板生成 DataWorks 项目描述文档，打包为：dataworks_project.tgz 上传到 Dataworks。【注意】：一期仅支持：1）打包文件手动上传；2）支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后，Dataworks 服务会根据 ODPS DDL 批量生成 MaxCompute 的 table。 6. MaxCompute

是一个分布式消息中间件，由Erlang语言开发， 基于AMQP标准的开源实现，它是由 VMware 支持长期的开源项 目。 • 高性能 ✓ 基于内存的消息； ✓ 极高的吞吐量； ✓ 超轻量级的消息代理引擎； • 可扩展性 ✓ 可扩展的架构； ✓ 高可用的队列； ✓ 支持第三方插件； ✓ 支持多种消息协议； • 高可用性 ✓ 分布式的消息代理服务器； ✓ 灵活的路由机制； ✓ 支持广域网上的多站点灾备模式。 PostgreSQL/MySQL/MS SQL SERVER D. VMware GemFire 当前版本只能部署在物理服务器或虚拟服务器，不支持直接部署到K8s. E. Greenplum 采用了 Share Nothing 的MPP（大规模并行处理）架构。 正确答案：A C E ©

存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 可以基于操作系统虚拟出更加细粒度的资源单位。 5 什么是容器编排调度引擎？ • 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google 编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes 2017年10月17 日，在 DockerCon 欧洲大会上，容器供应商 Docker 宣布重磅消息，将拥抱容器编排对手Kubernetes。 在全球3大容器调度编排引擎中，Kubernetes占据近70%的市场份额， 已成为行业事实标准。 Kubernetes已成为业界最主流的容器调度编排引擎 7

service docker start 建立 docker 用户组 默认情况下， docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统 上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入 service docker start 建立 docker 用户组 默认情况下， docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统 上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入 systemctl start docker 建立 docker 用户组 默认情况下， docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统 上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入

信息孤岛 重组 自营APP 业务功能独立 拆分成小程序 第三方 终端应用 移动应用演进趋势 — APP 乐高化，化整为零，可合可分 小程序实现敏捷与生态 App 小程序引擎 App 小程序引擎 小程序管理与 监控中心 量化分析小程序 理财产品小程序 资讯分享小程序 工作室小程序 虚拟网点小程序 营销小程序 内部办公小程序 上 架 加载 加载 合作伙伴小程序 进基于业务场景的交流，实现跨平台获客，支持小程 序回跳APP，为APP引流 快速索引 用FinClip技术实现的app，其组成的小程序碎片化， 全部可以被索引到，我们可以更进一步通过特殊的索 引服务支持互联网搜索引擎的索引。 外卖 理财 理财 理财 理财 微信 抖音 外卖 外卖 外卖 APP组件化，各功能松散耦合，实现敏捷迭代 松散耦合 用灵活的业务封装来应对市场的快速变化和不确定性， NOSQL数据库 缓存集群 注册中心 对象存储 接入网关 灰度发布 运营服务 云端编译 账户中心 通知中心 小程序管理 版本管理 数据统计 许可证服务 订单中心 规则引擎 支付服务 Rancher容器云 搜索引擎 Serverless Computing 接入网关 a p i … … … … … … 开发端 监控平台 运营端 服务治理 接入网关 a p i …

在节点上配置与机器配置指定的内容不匹配的情况。 containers 包括软件及其所有依赖项的轻量级和可执行镜像。由于容器虚拟化操作系统，您可以在任何位置运行 容器，从数据中心到公共或私有云到本地主机。 容器 容器编 编配引擎 配引擎 用于实现容器部署、管理、扩展和联网的软件。 容器工作 容器工作负载 负载 在容器中打包和部署的应用程序。 控制 控制组 组 (cgroups) 将进程集合分区到组中，以管理和限制资源进程占用。 数据中心从少量机器和应用程序扩展到为数百万客户端服务的数千台机器。 OpenShift Container Platform 以 Kubernetes 为基础，为大规模电信、流视频、游戏、银行和其他应用 提供引擎技术。借助红帽开放技术中的实现，您可以将容器化应用程序从单一云扩展到内部和多云环境。 第 第 2 章 章 OPENSHIFT CONTAINER PLATFORM 架 架构 构 9 2.1.1 尽管容器镜像和从中运行的容器是现代应用程序开发的主要构建块，但要大规模运行它们，则需要可靠且 灵活的分发系统。Kubernetes 是编配容器的事实标准。 Kubernetes 是一个开源容器编配引擎，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes 的 一般概念比较简单： 从一个或多个 worker 节点开始，以运行容器工作负载。 从一个或多个 control plane 节点管理这些工作负载的部署。

为基础，为大规模电信、流视频、游戏、银行和其他应用 提供引擎技术。借助红帽开放技术中的实现，您可以将容器化应用程序从单一云扩展到内部和多云环境。 2.1.1. 关于 Kubernetes 尽管容器镜像和从中运行的容器是现代应用程序开发的主要构建块，但要大规模运行它们，则需要可靠且 灵活的分发系统。Kubernetes 是编配容器的事实标准。 Kubernetes 是一个开源容器编配引擎，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes 用户请求的实际工作负载的地方。worker 节点公告其容量，而作为 master 服务一部分的调度程序决定在哪些节点上启动容器和 pod。重要服务在 每个 worker 节点上运行，包括 CRI-O（即容器引擎）、Kubelet（接受并履行运行和停止容器工作负载请 求的服务），以及服务代理（管理 worker 之间 Pod 的通信）。 在 OpenShift Container Platform 中，机器集用来控制 服务运行，另一些则作为静态 pod 运行。 systemd 服务适合需要始终在特定系统启动后不久出现的服务。对于 control plane 机器，这包括允许远程 登录的 sshd。它还包括以下服务： CRI-O 容器引擎 (crio)，用于运行和管理容器。OpenShift Container Platform 4.7 使用 CRI-O， 而不是 Docker Container Engine。 Kubelet (kubelet)，从