复用高 架构演进 组件增多 架构复杂 维护困难 架构演进 传统模式 K8S模式 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 Debug • 配置驱动 • 配置补齐 监控 日志 链路 限流熔断 错误收敛 报警 • 方便报警 • 减少冗余信息 微服务的治理阶段 监控 日志 链路 限流熔断 总览、错误、流量、延迟 报警 微服务的治理阶段 监控 日志 链路 限流熔断 https://ego.gocn.vip/f rame/core/logger.html 报警 索引收敛 日志分类 • 框架日志 • 业务日志 • 慢日志

涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 建、管理、删除用户/用户组，并灵活配置用户/用户组权限，来完成用户职能权限的 划分。 ➢ 企业空间：具有层级结构和访问权限控制的资源隔离单元。您可以按照企业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 审计日志：提供资源的操

rights reserved. 3 2017 Lenovo Internal. All rights reserved. 大纲 • 背景和挑战 • 企业级容器云设计与思考 • 让一切自动化 • 监控与日志 • Showcase • 那些坑，那些事 4 2017 Lenovo Internal. All rights reserved. 背景和挑战 • IT环境比较复杂 • 集中运维模式，人少活多 Internal. All rights reserved. 监控与日志 • 监控：传统监控+新监控平台 OS CPU/Disk/Memory Kubernetes Docker Applications 20 2017 Lenovo Internal. All rights reserved. 监控与日志 • 日志平台：多种采集手段并行 OS Kubernetes Docker rights reserved. Showcase • 平台主要功能特点 – 多集群管理 – 自服务式应用发布和上线部署 – 应用快速Scale Out – 应用滚动更新 – 集群容器登陆 – 应用日志查看 – 支持MySQL/Redis等常用组件服务市场 22 2017 Lenovo Internal. All rights reserved. Showcase • 部署示例：配置简单，自服务

海尔工业互联网 -才云整体解决方案 海尔工业互联网 - 才云整体解决方案 多集群管理 存 储 网 络 混合云 监控日志 基础服务 镜像仓库 认证鉴权 资源管理 面向业务开发 CI/CD 微服务 应用商店 面向业务管理 弹性伸缩 API Gateway 负载均衡 应用编排 日志监控 告警 服务发现 API 业务中台 多租户管理 运维中台 云端操作系统 数据中台 面向数据与智能 灵活定制化的数据变换 控制能力: • 认证鉴权机制 • 流量控制 • 黑白名单 • 服务路由 可靠高效: • 分布式，高可用 • 高性能，低延迟 • 线性扩容 海尔工业互联网 –微服务之监控日志 Node PrometheusServer（Pod） Retrieval Storage PromQL Local Storage Web UI（Pod） Grafana（Pod） API 应用发布（灰度发布、滚动升级） 6. 应用弹性伸缩 7. 日志、监控告警 8. 配置管理 9. 多种存储（NFS、GlusterFS、Ceph、NAS） Compass Compass 支持边缘容器服务 1. 集群和边缘节点共享资源 • 共享用户系统 • 共享认证和授权 • 共享监控告警系统 • 共享 Docker registry • 共享日志管理系统 Devop App to NS or Endpoint

Confidential © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 日志管理 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon 借助 FluentBit 进行日志管理 https://aws.amazon.com/blogs/opensource/ centralized-container-logging-fluent-bit/ • 新增 AWS FluentBit 容器插件 • 优化成本. Route logs from Amazon EKS 和 Amazon ECS 集群的日志会直接发送到S3， 并且通过 Amazon Pod、节点、命名空间和服务汇总 了 Amazon Elastic Container Service for Kubernetes (EKS) 和 Kubernetes 集群 的性能和运行状况。 收集日志 和性能指标 监控, 排查以及 设置告警 采取措施 分析 Amazon CloudWatch © 2019, Amazon Web Services, Inc. or its Affiliates

使用难等问题。 2. 产品架构 Alauda Kubernetes (AKS) 主要由 Alauda Kubernetes Engine (AKE) 、系统运维管理（管 理平台、监控、日志）、权限管理、账号体系管理等多个业务模块组成，可以根据用户使用 场景提供最佳网络、存储技术及解决方案。产品本身更好的发挥了 Kubernetes 产品特性， 让开发者更关注业务本身，让整个平台可 Kubernetes 高可用和非 高可用集群，简化了 Kubernetes 集群安装和部署，有效地实现快速安装部署，从而节 约时间和人力成本。 ² 系统运维管理 通过系统运维视角，配合标准的日志、监控平台，为用户提供了一整套可视化的产品， 让业务、监控等复杂行为变成可视化的业务形态，确保平台的高可用，同时为容器化应 用提供资源调度、部署运行、服务发现、扩容缩容等一整套功能，更好的突出业务本 Prometheus + Grafana 解决方 案，Alauda 会提供产品维护及使用帮助 ü 日志：可对接已有日志平台，也可使用 ELK（Elasticsearch、Logstash、Kibana） 或 EFK（Elasticsearch , Fluentd, Kibana）收集日志信息，Alauda 提供产品维护 及使用帮助 ² 权限管理 将用户划分成角色组，将权限赋予角色，角色赋予人，配合

分布式的流式数据平台 ⾼高吞吐 容错性 Broker Broker Broker Producer Consumer Topic Topic Topic Producer Consumer 平台承载知乎业务⽇日志、数据传输和消息队列列服务 平台线上稳定运⾏行行 基于 Kubernetes 的 Kafka 集群 13 个， 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 CPU • 依照集群类型测试基准数据 容器器⽹网络 • 容器器采⽤用独⽴立的内⽹网 IP ⽅方案 存储 容器器挂载服务本地⽬目录 Kafka ⾼高性能 • ⽂文件系统缓存 Kafka ⽇日志落盘 集群概览 如何调度 Kafka 容器器 磁盘是容器器的调度单元 ⽬目标 • Broker 在节点分散 • 节点存储使⽤用均匀 磁盘调度⽅方法 根据服务器器磁盘状态计算分数，分数⾼高者被调度

4.Failed。这个状态下，Pod 里至少有一个容器以不正常的状态（非 0 的返回码）退出。这个状态的出现，意味着你得想办 法 Debug 这个容器的应用，比如查看 Pod 的 Events 和日志。 5.Unknown。这是一个异常状态，意味着 Pod 的状态不能持续地被 kubelet 汇报给 kube-apiserver，这很有可能是主从 节点（Master 和 Kubelet）间的通信出现了问题。 -c /bin/bash 登录进某个Pod的某个容器 6.查看容器的日志 kubectl logs 查看某个pod的日志 kubectl logs –f -c 跟踪容器的日志，相当于tail –f 7. 在线修改pod的副本数量 kubectl scale rc 48 K8s技术在H3Cloud OS中的应用介绍 如果一个Pod已经Running，但是里面的服务不正常，可以通过kubectl logs 来查看这个Pod里面容器的 log日志。 49 www.h3c.com Confidential 秘密 49 49 新华三集团 www.h3c.com Thanks！

怎么进⾏行行离线部署？ d. 快速部署常⻅见应⽤用并确保兼容性？ e. 是否可视化⻚页⾯面，部署⻔门槛？ a. 集群如何⽆无缝升级？ b. 集群如何快速扩容？ c. 监控、告警、⽇日志是否完善？ d. 如何进⾏行行快速安全加固？ e. 集群如何进⾏行行备份和恢复？ 1 2 企业在云原⽣生时代的挑战 3 KubeOperator 开源容器器平台的技术优势 KubeOperator Kubernetes 发⾏行行版，专注于帮助企业规划、部署和运营 ⽣生产级别的 Kubernetes 集群。 计算 ⽹网络 存储 ⽤用途 ⼀一键部署 可视化安装 管理理 备份 伸缩 监控 ⽇日志 Day 0 Day 1 Day 2 规 划 部 署 运 营 升级 在线 / 离线 KubeOperator 的开发团队和运作模式 • 由 Jumpserver 开源明星团队打造； • Logo 和 配⾊色（X-Pack）； 可观察性 内置 Prometheus，⽀支持对集群、节点、Pod、Container 的全⽅方位监控和告警；内置 EFK、Loki ⽇日志⽅方案；内置 Grafana 作为监控和⽇日志展示； ⽀支持消息中⼼心，通过钉钉、微信通知各种集群异常事件（X-Pack）； 升级 ⽀支持集群升级； 伸缩 ⽀支持增加或者减少 Worker 节点； 备份 ⽀支持 etcd