RAINBOND服务⽇日志管理理 好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.2 Rainbond⽇日志收集原理理 RAINBOND 线上培训（第⼋八期） 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源，以及相关原理理 node服务功能与⻆角⾊色 rbd-eventlog组件功能与⻆角⾊色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取⽂件系统中容器⽇志的路径，
 监视来⾃容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。 接收来

● -config-file：要加载的配置文件。有关此文件格式的更多信息，请阅读“ 配置文件”部分。可以 次指定此选项以加载多个配置文件。如果多次指定，则稍后加载的配置文件将与先前加载的配置文件 并。在配置合并期间，单值键（string，int，bool）将简单地替换它们的值，而列表类型将被附加在 起。 ● -config-dir：要加载的配置文件的目录。Consul将使用后缀“.json”或“ json”或“.hcl”加载此目录中的所 文件。加载顺序是按字母顺序排列的，并且使用与上述config-file选项相同的合并例程 。可以多次指 此选项以加载多个目录。未加载config目录的子目录。有关配置文件格式的详细信息，请参阅“ 配置 件”部分。 ● config-format：要加载的配置文件的格式。通常，Consul会从“.json”或“.hcl”扩展名中检测 置文件的格式。将此选项设置为“jso ，因为它们必须能够持久化群集状态。 外，该目录必须支持使用文件系统锁定，这意味着某些类型的已安装文件夹（例如VirtualBox共享文 夹）可能不适合。注意：服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌，因此 访问可以授予对服务器上的任何令牌以及非服务器上的服务注册期间使用的任何令牌的访问权限。在 于Unix的平台上，文件使用0600权限编写，因此您应确保只有受信任的进程才能与Consul作为同一

拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 准备ES 安装Filebeat 编写Filebeat配置文件 测试并下发配置 全网重启filebeat 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ Filebeat异常退出如 何处理？ 如何做上报性能调优？ 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1

erlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件，控制面：API Server、Scheduler、 Pod，显然我们应该关注这些操作的 成功率和耗时 • Categraf 的仓库中 inputs/kubernetes/kubelet-metrics- dash.json 就是 Kubelet 的大盘文件 • kubelet_running_pods：运行的Pod的数量，gauge类型 • kubelet_running_containers：运行的容器的数量，gauge类型， container_state标签来区分容器状态 ipvs。所以要重点关 注 sync_proxy_rules 相关的指标 • Categraf 的仓库中 inputs/kubernetes/kube-proxy- dash.json 就是 kube-proxy 的大盘文件 • up 关注 kube-proxy 的存活性，应该和 node 节点的数量相等 • rest_client_request_duration_seconds 针对 apiserver 的请求延迟的指标

下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强，满足更大吞 吐量 存储自动扩缩容 手工填加机器， 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写，性能高 易用程度 封闭体系，集成各 类优秀能力较差 集成能力强，多模 态接口，兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点，使得应用场 这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储：

限，威胁宿主机上的其他容器和内网安全。另外，随着各个企业云上业务的快速 发展，越来越多的应用开发深度依赖 API 之间的相互调用。根据 2023 上半年的 攻击数据显示，攻击者利用 API Key、敏感文件执行、敏感信息读取等手段发起 的攻击次数呈明显上升趋势，占总攻击事件的 1.69%。API 滥用已成为导致企 业 Web 应用程序数据泄露的最常见的攻击媒介，通过攻击 API 来达成攻击目的， 云原生安全威胁分析与能力建设白皮书 21 下面我们对威胁全景中攻击路径 1 至路径 5 的具体攻击手段，进行详细的 分析。 2.2 路径 1：镜像攻击 镜像是一个包含应用/服务运行所必需的操作系统和应用文件的集合，用于 创建一个或多个容器，容器和镜像之间紧密联系，镜像的安全性将会影响容器安 全。图 6 展示了攻击者利用镜像进行攻击的主要方式。 图 6 容器镜像安全风险 2.2.1 镜像投毒攻击 Dockerfile 文件中存储了固 定密码等敏感信息并对外进行发布，都可能导致数据泄露的风险。攻击者会使用 扫描工具，比如 SecretScanner 等，探测镜像中存在的敏感信息，发现容器镜 像和文件系统中的敏感数据。 2.2.5 针对镜像不安全配置的攻击 镜像是容器运行的基础，容器引擎服务通过使用不同的镜像来启动容器。镜 像是按层封装好的文件系统和描述镜像的元数据构成的文件系统包，包含应用所

API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进 一步要有能够指出问题根因、甚至提前就预警的手段。 拓扑流量图：是不是按预期运行 分布式跟踪:哪些调用 故障或者拖慢了系统 监控与告警： 主动告诉我 问题发生了！ 微服务部署后就像个黑盒子，如何发现问题并在 远端运维是主要的课题，那么就需要从宏观告知 研发人员，并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题，这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生 统一监控视图与展现 Metric 是指在多个连 续的时间周期 内用于度量的 KPI数值 Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联，通过 关联性数据分析可获得故障的 快速界定与定位，辅助人的决 策就会更加精确 根据运维场景和关注点的不同，以不同图表或者曲

经验才能开发 某游戏公司自定义workload Pinterest 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 日志监控 • 健康检查 • 多版本部署 • 多版本流量灰度 • 多集群/多环境灰度 • … KubeVela 具备全部发布能力 的标准化应用管理引擎 KubeVela 简介 第二部分 What is CRD 注册中心 KubeVela 的 Application 对象 镜像与启动参数 多组件 如何扩容 扩容指标，实例数范围 组件类型 可灵活扩展的其 他能力 • 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 能力模板自由组合） • 放置于应用代码库中（gitops 友好） • 无需学习 K8s 细节（ 完整的 用户侧抽象 ） • 可自动适配任意 可自动适配任意 k8s 集群与部 署环境（环境无关） 查看“能力模板”的用法 1. 能力模板注册时，KubeVela 控制器会 自动生成 OpenAPI v3 的 json schema 文件和文档。 2. 通过 vela 的命令行工具可以查看。 3. 用户也可以自己基于 json schema 去 渲染集成进自己的前端。 KubeVela 的能力模板 – 组件类型 抽象封装方式

API10 日志和监控不足 解决方案： • API资产梳理（暴露面、风险分析） • API链路调用威胁阻断 • OWASP API安全 TOP 10（权限控制、注入等） RASP——应用出厂免疫 轻量级探针端 + 统一管控中心 + 积极防御插件 运营时威胁与攻击 注入攻击 URL黑名单 跨站脚本攻击 …… 恶意文件访问 反序列化攻击 扫描器攻击 OWASP Top 10 文件读写 数据库访问

数据打通并不简单 ③ Metrics与「非Aggregatable」的Log 例如：QPS降低与进程、服务器的日志有关联吗？ ③ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ④应用、系统、网络的Log之间 例如：应用日志ERROR与Ingress日志有什么关联吗？ ④ 看云网更清晰 Simplify the growing complexity complexity. 数据打通并不简单 ⑤「非Request scope」的Log与Trace之间 例如：系统日志异常与Request时延增大是否有关联 ⑤ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ⑥ 应用、系统、网络的Trace之间 例如：访问一个服务的耗时究竟有哪些部分组成？ App，Sidecar，Node，KVM，NFVGW？ ⑥ 看云网更清晰 零侵扰的采集与分析 发送 零侵扰的云原生应用可观测性 Flow 数据节点 云原生，水平扩展 监控数据 性能指标 调用日志 网络链路 由业务代码驱动的可观测性数据、云API数据 调用关系 知识图谱 链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID N F V 公 有 云 / 私 有 云 企业混合云 控制器 10W采集器