万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

1.18.1 自定义网桥 工具和示例 编辑网络配置文件 实例：创建一个点到点连接 Docker 三剑客之 Compose 项目 简介 安装与卸载 使用 命令说明 Compose 模板文件 实战 Django 实战 Rails 实战 WordPress Docker 三剑客之 Machine 项目 安装 使用 Docker 三剑客之 Docker Swarm Swarm service docker start 建立 docker 用户组 默认情况下， docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统 上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入 service docker start 建立 docker 用户组 默认情况下， docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统 上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入

在节点上配置与机器配置指定的内容不匹配的情况。 containers 包括软件及其所有依赖项的轻量级和可执行镜像。由于容器虚拟化操作系统，您可以在任何位置运行 容器，从数据中心到公共或私有云到本地主机。 容器 容器编 编配引擎 配引擎 用于实现容器部署、管理、扩展和联网的软件。 容器工作 容器工作负载 负载 在容器中打包和部署的应用程序。 控制 控制组 组 (cgroups) 将进程集合分区到组中，以管理和限制资源进程占用。 Platform 集群中管理持久性和非持久性数据的容器存储。 Telemetry 此组件用于收集 OpenShift Container Platform 的大小、健康和状态等信息。 模板 模板 模板描述了一组可参数化和处理的对象，用于生成对象列表，供 OpenShift Container Platform 用于 创建。 用 用户 户置 置备 备的基 的基础 础架 架构 构 您可以在自己提供的基础架构上安装 作为开发者，您可以使用不同的工具、方法和格式来根据您的独特要求开发容器化应用程序，例如： 使用各种 build-tool、base-image 和 registry 选项构建简单容器应用程序。 使用 OperatorHub 和模板等支持组件来开发您的应用程序。 将应用程序打包并部署为 Operator。 您还可以创建 Kubernetes 清单，并将其存储在 Git 存储库中。Kubernetes 适用于称为 pod 的基本单元。

存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 可以基于操作系统虚拟出更加细粒度的资源单位。 5 什么是容器编排调度引擎？ • 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google 编排调度引擎市场 2017年10月，Docker公司宣布支持Kubernetes 2017年10月17 日，在 DockerCon 欧洲大会上，容器供应商 Docker 宣布重磅消息，将拥抱容器编排对手Kubernetes。 在全球3大容器调度编排引擎中，Kubernetes占据近70%的市场份额， 已成为行业事实标准。 Kubernetes已成为业界最主流的容器调度编排引擎 7

为基础，为大规模电信、流视频、游戏、银行和其他应用 提供引擎技术。借助红帽开放技术中的实现，您可以将容器化应用程序从单一云扩展到内部和多云环境。 1.1.1. 关于 Kubernetes 尽管容器镜像和从中运行的容器是现代应用程序开发的主要构建块，但要大规模运行它们，则需要可靠且 灵活的分发系统。Kubernetes 是编配容器的事实标准。 Kubernetes 是一个开源容器编配引擎，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes 用户请求的实际工作负载的地方。worker 节点公告其容量，而作为 master 服务一部分的调度程序决定在哪些节点上启动容器和 Pod。重要服务在 每个 worker 节点上运行，包括 CRI-O（即容器引擎）、Kubelet（接受并履行运行和停止容器工作负载请 求的服务），以及服务代理（管理 worker 之间 Pod 的通信）。 在 OpenShift Container Platform 中，MachineSets 服务运行，其他服务则作为静态 Pod 运行。 systemd 服务适合需要始终在特定系统启动后不久出现的服务。对于 master 机器，这包括允许远程登录 的 sshd。它还包括以下服务： CRI-O 容器引擎 (crio)，用于运行和管理容器。OpenShift Container Platform 4.2 使用 CRI-O， 而不是 Docker Container Engine。 Kubelet (kubelet)，从

为基础，为大规模电信、流视频、游戏、银行和其他应用 提供引擎技术。借助红帽开放技术中的实现，您可以将容器化应用程序从单一云扩展到内部和多云环境。 1.1.1. 关于 Kubernetes 尽管容器镜像和从中运行的容器是现代应用程序开发的主要构建块，但要大规模运行它们，则需要可靠且 灵活的分发系统。Kubernetes 是编配容器的事实标准。 Kubernetes 是一个开源容器编配引擎，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes 用户请求的实际工作负载的地方。worker 节点公告其容量，而作为 master 服务一部分的调度程序决定在哪些节点上启动容器和 Pod。重要服务在 每个 worker 节点上运行，包括 CRI-O（即容器引擎）、Kubelet（接受并履行运行和停止容器工作负载请 求的服务），以及服务代理（管理 worker 之间 Pod 的通信）。 在 OpenShift Container Platform 中，MachineSets 服务运行，其他服务则作为静态 Pod 运行。 systemd 服务适合需要始终在特定系统启动后不久出现的服务。对于 master 机器，这包括允许远程登录 的 sshd。它还包括以下服务： CRI-O 容器引擎 (crio)，用于运行和管理容器。OpenShift Container Platform 4.3 使用 CRI-O， 而不是 Docker Container Engine。 Kubelet (kubelet)，从

作为开发人员，您可以使用不同的工具、方法和格式 根据您的独特要求开发容器化应用，例如： 使用各种 build-tool、base-image 和 registry 选项来构建简单的容器应用。 使用 OperatorHub 和模板等支持组件来开发应用程序。 将应用程序打包并部署为 Operator。 您还可以创建 Kubernetes 清单并将其存储在 Git 存储库中。Kubernetes 处理称为 pod 的基本单元。pod 为基础，为大规模电信、流视频、游戏、银行和其他应用 提供引擎技术。借助红帽开放技术中的实现，您可以将容器化应用程序从单一云扩展到内部和多云环境。 2.1.1. 关于 Kubernetes 尽管容器镜像和从中运行的容器是现代应用程序开发的主要构建块，但要大规模运行它们，则需要可靠且 灵活的分发系统。Kubernetes 是编配容器的事实标准。 Kubernetes 是一个开源容器编配引擎，用于自动化容器化应用程序的部署、扩展和管理。Kubernetes 用户请求的实际工作负载的地方。worker 节点公告其容量，而作为 master 服务一部分的调度程序决定在哪些节点上启动容器和 pod。重要服务在 每个 worker 节点上运行，包括 CRI-O（即容器引擎）、Kubelet（接受并履行运行和停止容器工作负载请 求的服务），以及服务代理（管理 worker 之间 Pod 的通信）。 在 OpenShift Container Platform 中，机器集用来控制

健康检查 • 多版本部署 • 多版本流量灰度 • 多集群/多环境灰度 • … KubeVela 具备全部发布能力 的标准化应用管理引擎 KubeVela 简介 第二部分 What is KubeVela？ KubeCon NA 发布 一个标准化的云原生应用平台构建引擎。 • 基于 Kubernetes 和 OAM 模型构建 • 纯 Golang 编写 • 社区发起，社区构建 • 正式发布第 正式发布第 4 天，登顶趋势榜首 应用 平台团队 Canary Autoscale Route Web Service Database 能力模板（即：抽象） 业务用户 选择并初始化部署环境 部署环境模板 选择能力模板 填写模板参数 组装能力为“应用” RDS Route Web Service Database 生产集群 Pod Nginx Pod 测试集群 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 能力模板自由组合） • 放置于应用代码库中（gitops 友好） • 无需学习 K8s 细节（ 完整的 用户侧抽象 ） • 可自动适配任意 k8s 集群与部 署环境（环境无关） 查看“能力模板”的用法 1. 能力模板注册时，KubeVela 控制器会 自动生成 OpenAPI v3 的 json schema

云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高 度安全和稳定性，让客户的资源更加聚焦在业务开发上，加速业务发展。 本文所描述的解决方案主要解决 Hadoop 客户如何快速、平滑的迁移到 login.config=/root/gss-jaas.conf javax.security.auth.useSubjectCredsOnly=false 6.3.1.2 客户信息收集模板  客户需要登录到 Dataworks 填写“Hadoop 搬站信息”表单，需提供如下信息：  Hadoop 类型和版本（CDH 自建、CDH 云上自建、Hadoop IDC 自建、Hadoop Hive UDTF SQL，参见 6.4.1 的第 3、4 步。 4. 根据模板生成 DataWorks 项目描述文档，打包为：dataworks_project.tgz 上传到 Dataworks。【注意】：一期仅支持：1）打包文件手动上传；2）支持 OOIZE 调度引擎的配 置模板和 Dataworks 工作流配置模板。 5. 上传完成后，Dataworks 服务会根据 ODPS DDL