为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 集群数增加，导致 Broker 扩张 • 如何调度它们 • 如何管理理它们 服务器器如何管理理 Kubernetes 集群资源管理理和调度 容器器技术提供资源隔离 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存

ReportStorageMode = redis AttrStorageMode = mongodb TiDB = influxdb [MQTT] Broker = tcp://emqx-headless:1883 ClientID = server0 UserName = dashboard Secret = iSurpass2018 CertFile = dev.isurpass.com.cn.crt KeyFile = dev.isurpass.com.cn.key [MQTT] Broker = tcp://emqx-headless:1883 ClientID = beehive0 UserName = dashboard Secret = iSurpass2018 ServiceAddress = :9092 [Interval] Overtime = 30 [MQTT] Broker = tcp://emqx-headless:1883 Secret = iSurpass2018 Salt = iSurpass PingTimeout =

Services API Cluster3 NSX-T vSphere PKS • Includes • PKS Controller, NSX-T • CFCR, Harbor, Broker • Deploys & Configures - CFCR - vSphere - NSX-T Integration - Harbor • Manages Cluster Day 2 K8s-2 Worker Worker Kubernetes Cluster Services API K8s-3 Worker Worker Worker GCP Service Broker 25 API PKS Controller #pks create-cluster K8s-1 n=3 #pks create-cluster K8s-2 n=3 #pks create-cluster

NameSpace NameSpace NameSpace Kubernetes NameSpace NameSpace NameSpace NameSpace VMware PKS Broker UAA VMware PKS API BOSH CredHub ©2019 VMware, Inc. 15 PKS已經做好11大領域超過百項的安全強化措施 PKS對

FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------

Queue Manager Online & Offline Task OfflineTask DynamicQuota Rebalance Worker TKEx-API Message Queue Dynamic Quota Operator Cluster _1 Cluster_1 Quota for Biz A etcd DynamicQuota reconcile

根据注解的code信息，在错误码中生成对应的grpc status code • 确保错误码唯一，后续在API层响应用户数据确保唯一错误码，例如: 下单失败(1008) • errors里设置with message，携带更多的错误信息 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息