Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 针对硬件特性的适配、还需要安装OS 等，最后还要在OS上安装应用，并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点：包括新环境的硬件、软件和 应用与遗留系统的集成，比如，监控、 服务注册中心、文件传输、消息集成、 ITSM等系统的部署集成。 4. 由于上层所依赖的底层环境在不同交 付环境中是不同的，而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异，此外由于事后更新OS、三方库 或者系统，这些变更又缺乏校验关系，

这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储： 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 写入HBase中，分析结果输出到用户的监控前端系统展示，实现物联网数据的实时 监控分析。 优势 易接入： 轻松对接消息系统、流计算系统 高并发： 满足千万级并发访问 存算分离： 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景，主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力，在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计，基于消息队 列的异步调用能够显著降低前端业务的响应时间，提高吞吐量；基于消息队列还能实现削峰填谷，把慢服务分离到 后置链路，提升整个业务链路的性能。

云原生实践。 与2019年全面云化相比，2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看，产品侧，阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧，云原生四大核心技术实现规模和创新的双重突破，成为从技术能力向业务 生命周期（Lifecycle） • 网络（Networking） • 状态（State） • 捆绑（Binding） 每种需求存在的问题和局限性，导致传统解决方案如企业服 务总线（ESB）及其变体（如消息中间件，轻量级的集成框架 等）不再适用。随着微服务的发展，以及容器和 Kubernetes 的普及和广泛使用，云原生开始影响这些需求的实现方式。 未来趋势是通过将所有传统的中间件功能移至其他运行时来

令人担忧。传统体系结构中使用的大多数方法，如窃取密钥、执行中间人攻击以 及在静止或传输中窃取可读数据，仍然适用于无服务器应用程序。然而，由于无 服务器计算架构的存储共享特点，攻击者可以利用共享存储权限配置错误或漏洞 窃取系统的敏感数据。 全局信息泄露：无服务器计算架构中函数调用的不同服务通常也会被其它用 户的函数调用来提供服务，无法像传统应用程序使用单个集中式配置文件存储的 云原生安全威胁分析与能力建设白皮书 Server 发 送经过构造的错误请求，将自己的权限提升为 API Server 的权限, 创建挂载宿 主机资源的 Pod，实现容器逃逸。图 14 展示了攻击者利用 k8s 提权漏洞进行 攻击的路径。 云原生安全威胁分析与能力建设白皮书 41 图 14 k8s 权限提升攻击路径 3.3.2 攻击过程复现 攻击流程如下大致攻击流程如下： 1. 构造错误请求，建立经 k8s API Server http_delimiter * 2 ssock.send(payload1.encode('utf-8')) 正常的请求地址中带有 stdin、stout 和 tty 三个参数，该代码中构造的错误 请求/api/v1/namespaces/{namespace}/pods/{pod}/exec 未包含对应的参 数，由此利用系统漏洞代理到 Kubelet 的高权限 websocket 连接[28]。

地址，并将 第一个可用的私有 Pv4地址通告给群集的其余部分。如果有多个私有IPv4地址可用，Consul将在启动时退出并显示错误 如果指定“[::]”，Consul将 通告第一个可用的公共IPv6地址。如果有多个可用的公共IPv6地址，Con ul将在启动时退出并显示错误。Consul同时使用TCP和UDP以及相同的端口。如果您有防火墙，请务 同时允许这两种协议。在Consul 1.0及更高版本 数据复制 。在需要大量读取服务器的情况下，这可用于向集群添加读取可伸缩性。 ● -syslog1：此标志允许记录到syslog。这仅在Linux和OSX上受支持。如果在Windows上提供，将 致错误。 ● -ui：启用内置Web UI服务器和所需的HTTP路由。这消除了将Consul Web UI文件与二进制文件 开维护的需要。 ● -ui-dir：此标志提供包含Consul的Web UI资源的目录。这将自动启用Web UI。该目录必须对代理 读。从Consul 0.7.0及更高版本开始，Web UI资产包含在二进制文件中，因此不再需要此标志; 仅指定 ui标志就足以启用Web UI。指定'-ui'和'-ui-dir'标志将导致错误。 原文链接：consul 命令行

码 实 现 ： 闭 源 > 开 源 > 混 源 服 务 器 ： 物 理 机 > 虚 拟 化 > 容 器 化 聚焦到应用系 统风险源头 API安全性 失效的用户认证、安全性、错误配置、注入等 闭源组件 软件物料清单的描述 软件物料清单（SBOM, Software Bill Of Material）是云原生时代应用风险治理的基础设施。 特点： • 是治理第三方组件风险（开源+闭源）的必备工具； 序号 含义 API1 失效的对象级授权 API2 失效的用户认证 API3 过度的数据暴露 API4 资源缺失和速度限制 API5 功能级别授权已损坏 API6 批量分配 API7 安全性错误配置 API8 注入 API9 资源管理不当 API10 日志和监控不足 解决方案： • API资产梳理（暴露面、风险分析） • API链路调用威胁阻断 • OWASP API安全 TOP

• apiserver 通过 /metrics 接口暴露监控数据，直接拉取即 可 • apiserver 在 Kubernetes 架构中，是负责各种 API 调用 的总入口，重点关注的是吞吐、延迟、错误率这些黄金指 标 • apiserver 也会缓存很多数据到内存里，所以进程占用的 内存，所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment type 分别统计 • scheduler_schedule_attempts_total 按照调度结果统计的调度重试次数。 “unschedulable” 表示 无法调度，“error” 表示调度器内部错误 Kubernetes控制面 etcd 的监控 • ETCD 也是直接暴露 /metrics 接口，可以直接抓取 • ETCD 可以考虑使用 sidecar 模式来抓，对于运维比较简 单一些，不需要先部署

库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS 服务注册发现 配置中心 RPC HTTP HTTP HTTP HTTP 调度分配 斯凯奇 云原生网关最佳实践

extension for Envoy Application Runtime — Layotto 背景 Service Mesh 解决了微服务治理的痛点，但在实际业务开发 中，缓存、数据库、消息队列、配置管理等， 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层，应用程序中只针对这套标准的 API 编程， 无需考虑实际运行时的后端服务形态。 优点