RAINBOND服务⽇日志管理理 好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.2 Rainbond⽇日志收集原理理 RAINBOND RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源，以及相关原理理 node服务功能与⻆角⾊色 rbd-eventlog组件功能与⻆角⾊色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取⽂件系统中容器⽇志的路径，
 监视来⾃容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。

云原生监控体系建设 秦晓辉 快猫星云 联合创始人 个人介绍 秦晓辉，常用网名龙渊秦五、UlricQin，山东人，12年 毕业自山东大学，10年经验一直是在运维研发相关方向， 是Open-Falcon、Nightingale、Categraf 等开源软件 的核心研发，快猫星云联合创始人，当前在创业，为客 户提供稳定性保障相关的产品 个人主页：https://ulricqin.github.io/ io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注

从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引，助力夯实产业互联网的安全底座。 《趋势》认为，2021年将进一步完善个人信息保护体系，企业对个人信息利用规范化，数字安全合规管理将成为企业的必备能力。与此同时，企业还 应将安全作为“一把手工程”，在部署数字化转型的同时，推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时， 的基石;云上原生的安全能力让成本、效率、安全可以兼得，上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失，所以当安全投入 的成本大于能够避免的资产损失价值时，变 得毫无意义！ 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率！ 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案！ 传 统 安 全 工 作 传 统 由 独 立 安 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术

4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.................................................................................29 2.4.6 第三方组件攻击 1 基础设施即代码安全............................................................................59 4.3.2 权限管理............................................................................................... 60 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 年，CNCF 又更新了云原生的定义，把服务网格和声明式 API 给加了进来。后来，随着云计算的不断发展，云原生的簇拥者越来越多，这 一体系在反复的修正与探索中逐渐成熟。VMware

1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT：安全、稳定、性能 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构（微服务）应用的对承载平台提出新要求 传统实践中，主要采用虚机/物理机+Sprin

全生命周期API管理-1 服务是从内研发视角来看的，但是对于外部消费者只想找到并集成API而已，并不想了解API背后的运维细节或者需要协调运维能力！API成了一 种可以交易的商品，可以购买增强自己APP的能力，比如在自己APP里显示天气预报数据，从外部去管理应用平台，形成了一种新PaaS组织方式。 • 逻辑API：已有API的组 API文档：每一个API有 一个活档，指导集成。 形成市场，能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header， 比如CORS等 配置入站协议转 换等 配置后端治理策略 等，比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面，自己就 可以自助的从API 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品，可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发，首先需要有提示应用出问题的手段 • 当提示出现问题后，就需要有定位问题位置的手段，进

调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 启动管控收集进程 watch配置变化 9 Agent运行时 10 日志接入 购买云ES 录入ES 创建主机组 添加主机 配置日志主题 选择主机组 日志配置 权限管理 资源设置

监管机构保障成分清单的可信度 软件物料清单 • 软件物料清单（SBOM, Software Bill Of Material）是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证，代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP 可以帮助企业进行漏洞管理、应急响应、资产管理、许可证和授权管理、知识产 权管理、合规性管理、基线建立和配置管理等。 作用示例 SBOM使用场景 1）从广义的分类上看，SBOM有三种不同的使用主体： 〇 软件生产商使用SBOM来协助构建和维护他们提供的软件； 〇 软件采购商使用SBOM来进行采购前参考、协商折扣和制定采购策略； 〇 软件运营商使用SBOM为漏洞管理和资产管理提供信息，管理许可和 合规性，并快速识别软件和组件依赖关系以及供应链风险。 2）从企业角色类型来看，对SBOM有不同的使用需求： 〇 开发团队：用于管理软件资产，在开发早期即可评估安全风险，筛选 适合的组件/软件，并持续更新SBOM； 〇 安全团队：通过提交的SBOM分析软件风险，并通过统一管理进行持 续监控，及时响应安全事件； 〇 法务团队：核查软件授权问题，避免后续公司业务自身权益受到损害。 实践要点 实践要点——与漏洞情报关联

灵活的低代码能力 实现页面组件、数据组件、功能组件的快 速编排，一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导，融合瀑布式管理需求， 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品，提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 全功能云IDE开发 每个云IDE都是一个云端小笔记本，一人一 本，多人可形成云端小局域网。可独立编 0 50 100 150 200 250 本单位 省公司 省公司（直投） 专业公司 入驻项目数 工程类 研发类 新业务开发 87055条/个 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数，其中x86构建16 CODE DEPLOY OPERATE MONITOR RELEASE TEST BUILD DEV BUILD TIME OPS RUN TIME 上线即安全（安全左移）+ 自适应安全（持续监控&响应） SEC 安全需求 业务需求进来以后从五个维度对业务需求进行安全分析 威胁分析模型 威胁资源库 安全需求基线 威胁情报库 病例库 安全开发-安全需求分析 安全需求分析通过将安全策

KubeVela：以应用为中心的 渐进式发布最佳实践 孙健波 阿里云-云原生应用平台团队 技术专家 关于我 • 孙健波 • 阿里云 (@天元) • 云原生应用平台团队--应用管理和应用交付 • Github(@wonderflow) • OAM - Open Application Model (https://oam.dev/) • KubeVela (http://kubevela 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 日志监控 • 健康检查 • 多版本部署 • 多版本流量灰度 • 多集群/多环境灰度 • … KubeVela 具备全部发布能力 的标准化应用管理引擎 KubeVela 简介 第二部分 What is KubeVela？ KubeCon NA 发布 一个标准化的云原生应用平台构建引擎。 CRD对象 使用方式 (json schema) 示例：上线新功能 metrics 平台研发团队： ● 开发了一个新 Operator 叫做 metrics（监控） ● 编写一个 K8s 能力描述文件 metrics.yaml 平台管理员： ● 执行 $ kubectl apply -f metrics.yaml 用户： ● 立刻就可以在 Application 中定义一个新的字段 metrics