## Apache Kafka with Istio on
K8s
Sebastian Toader & Zsolt Varga
2021-Feb-26
## Production grade Apache Kafka on Kubernetes
• Scalability
• Resiliency
• Security
• Observability
• Disaster recovery to enable mTLS for all services
• Kubernetes service account based authn/authz
• Secure cross-
cluster interaction between client apps and Kafka
## Challenges - Kafka broker SSL with client auth
• Kafka certificate attached automatically by Istio Proxy sidecar container
• Client certificate includes the
K8s service account of the Kafka client application
• SPIFE://
/ns//sa/ 0 码力 |
14 页 |
875.99 KB
| 1 年前 3
### A. 准备主机/虚拟机
安装 k8s 集群需要至少 4 台主机/虚拟机，下面是参考配置：
1 台作为 k8s master
CPU：2 核，内存：8GB，系统盘：40GB，docker 数据盘：80GB
3 台作为 k8s node
CPU：2 核，内存：16GB，系统盘：40GB，docker 数据盘：40GB，ceph 数据盘：1TB
$ ^{*} $ 下面是 vSphere "overlay2.override_kernel_check=true"
]
}
systemctl restart docker
Step2: 安装 k8s
# 添加 yum 源
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors gpg
EOF
# 安装 k8s 组件
yum install -ykubelet-1.18.2-0 kubeadm-1.18.2-0 kubectl-1.18.2-0 --disableexcludes=kubernetes
# 将 kubectl 设置为开机自启动
systemctl enable kubectl.service
### E. 部署 k8s master 节点
Step1:
0 码力 |
54 页 |
1.23 MB
| 2 年前 3
Zabbix高级应用 --
K8s集群监控
## 当代张思德
高级运维工程师，FiberHome
## ZABBIX 2019 Conference
• Cactifans
• Zabbix
• Microservice
•
K8s
• Golang 44522f70fb825d70b7a872912278b2fe/p9_2.jpg)
## Kubernetes 监控
Zabbix Agent
HTTP Agent
k8s master
k8s pod
k8s node
应用
CPU/内存/磁盘/网络
服务/日志/...
状态/CPU/内存
## Kubernetes Metrics Server 安装
### https://github
| Zabbix监控主机 | k8s-pods (27 Items) |
| k8s pods master | 1m | 0 | | HTTP agent | | | | 0 码力 |
25 页 |
11.98 MB
| 2 年前 3 ## k8s 操作手册
## 前言：
1. 蓝色字体表示命令行命令，正式执行时不要复制前面的#号，#号只是提示应该使用root权限操作
2. 绿色字体表示注释，有时注释太多就不用绿色表示了
3. 注意：本文档的所有操作请先在测环境进行实践，请不要直接在真实的服务器中操作！
## 版权声明：
本文档以开源的形式发布，所有条款如下：
（1）无担保：作者不保证文档内容的准确无误，亦不承担由于使用此文档所导致的任何后果 ★第 0 章、K8S 集群搭建准备工作
## 相关单词原义：
docker 码头工人
pod 集装箱
kubernetes 舵手，领航员
helm 舵轮，驾驶盘
chart 图表，海图
## ① k8s 对系统要求
linux 内核在 3.10 及以上，服务器规格 2 核 cpu，2G 内存及以上，可以装在虚拟机里，也可以装在实体机上
## ② 规划主机名及 ip
k8s 的服务器使用固定 k8s-node01.cof-lee.com="" k8s-node01="" 10.99.1.62="" k8s-node02.cof-lee.com="" k8s-node02="" eof="" ★k8s="" 初始化时要求系统里有="" etc="" resolv.conf="" 文件及系统对外通信网口上配置有默认路由；根据实际情况添加="" #="" cat="">> /etc/resolv 0 码力 |
126 页 |
4.33 MB
| 2 年前 3 ts/6/0/b/6/60b6c84ca7dc738919767577e0f04c59/p4_1.jpg)
## Management Plane
Policy Management
Cluster Operations
User Management
Lifecycle Management
## User Interface | Application Catalog | Monitoring ## • What CRD provides
• Very flexible way to extend managed resource into a current Kubernetes cluster
• Auto-generated API in Kubernetes API server
- Customized resource controller to implement your version name to use for REST API: /apis/ /
version: v1
# either Namespaced or Cluster
scope: Namespaced
names:
# plural name to be used in the URL: /apis///0 码力 |
12 页 |
1.08 MB
| 2 年前 3 广州站
## 基于KUBERNETES的微服务实践
涂小刚
2019.8.11
## k8s平台组件
## k8s平台接入流程
## k8s服务接入流程
## k8s环境空间和应用名规范
## 统一规划环境名和业务应用名，适配标准自动化运维。
|k8s-api配置对象|作用|
|---|---|
|k8s-namespace|通过配置文件关键字dev/test/prod等声明应用所属的环境，隔离不同环境业务，通过特定标识来识别业务线。|
|k8s-servic |k8s-service|k8s-dns注册服务名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。|
|k8s-app-name|容器host应用名称，deployment名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。|
现有环境名
test
preview
prod
## 业务线名称
ai
dt
ad
应用名称
ai-dc-server
ai-dc-web 0 码力 |
19 页 |
1.34 MB
| 2 年前 3 的定义
## Control Plane
Traffic
LB\Ingress
## API Gateway
Sidecar
Sidecar
App
App
POD
POD
K8S Cluster
## API Gateway
## V S
概念
Exposes your services as managed APIs
流量
南北流量（内外）
负载均衡
硬负载（LVS、Nginx） sidecar proxy
Control Plane
Traffic
LB\Ingress
API Gateway
Sidecar
Sidecar
App
App
POD
POD
Cluster
## 蚂蚁金服 API Gateway Mesh 实践
APP
Zhiguohong (honkiko@github)
## Tencent Cloud
## Agenda
01 Problems with K8s Service
02 How to optimize work
## What is K8s Service
## - It exposes a set of pods via VIP using a load balancer
## • Two types
• ClusterIP provides in-cluster access
Pod X
- NodePort provides out-of-cluster access
Scaling a Multi-Tenant k8s Cluster in a Telco## Scaling a Multi-Tenant k8s Cluster in a Telco Pablo Moncada eBPF Summit October 28, 2020 ## About MasMovil group • 4th telecom company in Spain - Provides voice and broadband services to +12M customers0 码力 | 6 页 | 640.05 KB | 1 年前3
k8s操作手册 2.3## k8s 操作手册 ## 前言： 1. 蓝色字体表示命令行命令，正式执行时不要复制前面的#号，#号只是提示应该使用root权限操作 2. 绿色字体表示注释，有时注释太多就不用绿色表示了 3. 注意：本文档的所有操作请先在测环境进行实践，请不要直接在真实的服务器中操作！ ## 版权声明： 本文档以开源的形式发布，所有条款如下： （1）无担保：作者不保证文档内容的准确无误，亦不承担由于使用此文档所导致的任何后果 ★第 0 章、K8S 集群搭建准备工作 ## 相关单词原义： docker 码头工人 pod 集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ## ① k8s 对系统要求 linux 内核在 3.10 及以上，服务器规格 2 核 cpu，2G 内存及以上，可以装在虚拟机里，也可以装在实体机上 ## ② 规划主机名及 ip k8s 的服务器使用固定 k8s-node01.cof-lee.com="" k8s-node01="" 10.99.1.62="" k8s-node02.cof-lee.com="" k8s-node02="" eof="" ★k8s="" 初始化时要求系统里有="" etc="" resolv.conf="" 文件及系统对外通信网口上配置有默认路由；根据实际情况添加="" #="" cat="">> /etc/resolv0 码力 | 126 页 | 4.33 MB | 2 年前3
绕过conntrack，使用eBPF增强 IPVS优化K8s网络性能Bypassing conntrack: Optimizing K8s Service By Enhancing IPV5 with eBPF Jianmingfan (kenieevan@github) Zhiguohong (honkiko@github) ## Tencent Cloud ## Agenda 01 Problems with K8s Service 02 How to optimize work ## What is K8s Service ## - It exposes a set of pods via VIP using a load balancer ## • Two types • ClusterIP provides in-cluster access Pod X - NodePort provides out-of-cluster access ![Imag configure may differ • Performance of a cluster in different time slot may differ • Due to CPU oversold • Suggestion: • Run the test against the same cluster during near time • Make CPU the bottleneck0 码力 | 24 页 | 1.90 MB | 2 年前3共 1000 条