RAINBOND服务⽇日志管理理 好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.2 Rainbond⽇日志收集原理理 RAINBOND RAINBOND 线上培训（第⼋八期） 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源，以及相关原理理 node服务功能与⻆角⾊色 rbd-eventlog组件功能与⻆角⾊色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取⽂件系统中容器⽇志的路径，
 监视来⾃容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。

从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引，助力夯实产业互联网的安全底座。 《趋势》认为，2021年将进一步完善个人信息保护体系，企业对个人信息利用规范化，数字安全合规管理将成为企业的必备能力。与此同时，企业还 应将安全作为“一把手工程”，在部署数字化转型的同时，推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时， 的基石;云上原生的安全能力让成本、效率、安全可以兼得，上云正在成为企业解决数字化转型后顾之忧的最优解…… 安全是为了预防资产损失，所以当安全投入 的成本大于能够避免的资产损失价值时，变 得毫无意义！ 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率！ 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案！ 传 统 安 全 工 作 传 统 由 独 立 安 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术

4.4 集群环境下的横向攻击........................................................................29 2.4.5k8s 管理平台攻击.................................................................................29 2.4.6 第三方组件攻击 1 基础设施即代码安全............................................................................59 4.3.2 权限管理............................................................................................... 60 应用架构》，探讨了云原生应用架构的 5 个主要特征：符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年，Google 作为发起方成立 CNCF，指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 2018 年，CNCF 又更新了云原生的定义，把服务网格和声明式 API 给加了进来。后来，随着云计算的不断发展，云原生的簇拥者越来越多，这 一体系在反复的修正与探索中逐渐成熟。VMware

开场：云原生与制品管理 - 初识Harbor：云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生( 云原生与制品管理 [2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站：goharbor.io CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略 机器人账户 Webhooks 项目配置 项目1 项目标签管理 项目扫描器设置 项目级日志 系统设置（鉴权模式等） 内容复制 垃圾回收(GC) 配额管理 扫描管理 用户管理 系统标签管理 P2P预热管理

全生命周期API管理-1 服务是从内研发视角来看的，但是对于外部消费者只想找到并集成API而已，并不想了解API背后的运维细节或者需要协调运维能力！API成了一 种可以交易的商品，可以购买增强自己APP的能力，比如在自己APP里显示天气预报数据，从外部去管理应用平台，形成了一种新PaaS组织方式。 • 逻辑API：已有API的组 API文档：每一个API有 一个活档，指导集成。 形成市场，能力 互补 全生命周期API管理-2-Azure API Management 配置Http Header， 比如CORS等 配置入站协议转 换等 配置后端治理策略 等，比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面，自己就 可以自助的从API 概念，以及对应的运维概念（比如 HPA),在层次上是靠近对资源的抽象治理层面，对于业务研发人员而言是不友好的。应用 =Workload+运维特性+.......多种东西的集成，也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范，这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像

地艰难！ 业务沟通、需求分析与设计的交流平台 低代码平台表达的是业务逻辑。低代码平台的作用是将业务需求中的逻辑关系理清楚，帮助企业实现这个逻辑。 好的低代码平台要能适应企业的需求变化，提供需求变更管理 如果组件的实现方式依旧是 coding，依旧是别人熬夜，你来拖拉拽，这不叫低代码，这叫劳动力外包。国内这类 伪低代码产品，靠着模板走量批发的模式。客户买的是人工，不是技术 • 低代码平台与企业技术 更灵活、更实时地运营，从而带来竞争压力。接受云原生和多云方法作为一种新常态，意味着企业可以避免云计算供应商锁定， 可以提供超过5个9的响应率（99．999％），以避免每次停机导致平均数百万美元的损失。企业管理者终于意识到，云计算供 应商锁定会阻碍多云方法所带来的创造力、可用性和流动性。 • 云原生PaaS可以屏蔽多云的差异， 统一的不分何种云上的一致的运行 同一服务或者应用。 • 避免厂家锁定，客户可以自由选择 是未来下一代云，目前云厂商还在摸索阶段 • 有望成为云计算终极形式，云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年，全球数据存储总量预计为58ZB，平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题： 通过当前的中心化云计算处理和存储海量新 增数据费用高昂；二、隐私和安全问题： 当前的中心 化云计算无法保证个人数据的隐私和安全性；三、数字 资产流动性问题： 数据是一种资产，互联网巨头数据

1、信息管理 MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT：安全、稳定、性能 oud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 未来 云原生的业务承载平台？ 什么是云原生->为云而生 • 落地的核心问题：业务微服务的划分和设计(DDD,咨询方案等）、部署困难、维持运行困难、云资源 管理与应用管理视角分离导致复杂性等 • 传统方案:仅仅考虑了一部分变化而引起的不稳定，如通过基于人工规则的服务治理保护链路、如时 延体验较差的部署策略等 • 云原生是告诉我们：能够适应业务变化的微服务+能够适

Anywhere 交付同学的烦恼 !"#$A 我们还是个创业公司运维 经验少，产品所有依赖的中 间件服务资源都想⽤阿⾥公 共云上的 %&#$B 我们⾃⼰的商业经营数据 必须存储在公司⾃建机房，其 他的数据为了节约运维管理成 本，还能享受云上的弹性能⼒， 可以考虑⽤云上服务 '()*#$C 我们主要服务国外客户， 根据当地政府的监管要求，我 们必须使⽤aws⼚商提供的中 间件服务 主角：工程师小明负责公司XX系统的客户交付 Plugins⽣ 态⼒量 Crossplane优势 • Kubernetes：使⽤Kubernetes add-on 将集群打造为通⽤控制平⾯。 • 跨⼚商：⽀持多个⼚商基础设施资源 的管理· Terraform不⾜之处 • ⾯向业务应⽤不够友好。 • 云服务⽆跨⼚商规范标准。 Crossplane不⾜之处 • 概念复杂，扩展不易。 CNBaaS既需要Terraform IaC架构的简洁强⼤ (hcl / cuelang) AutoOps Service Upgradle Service Monitoring … CNBaaS：我们致力于站在面向业务应用友好的角 度，在云厂商之上，统一定义和管理Backend Service。 云产品 规格自 动匹配 服务自 适配云 厂商 服务支 持多种 生产方 式 CNBaaS使命 One definition can be delivered

Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 议），在 /stats/summary 暴露的是容 器的概要监控数据（普通json协议）， 在 /metrics 暴露的是自身的监控数据 （prometheus协议） • Kubelet 的核心职责就是管理本机的 Pod 和容器，典型的比如创建 Pod、销 毁 Pod，显然我们应该关注这些操作的 成功率和耗时 • Categraf 的仓库中 inputs/kubernetes/kubelet-metrics- 业务 容器 agent 监控服 务端 mtail Pod-002 业务 容器 agent mtail • 指标数据是性价比最高的数据 类型，传输存储成本相对较低 • 日志的处理和存储成本最高， 能用指标解决的尽量就用指标 解决，不要用日志 • 如果是从第三方采购的产品， 我们也尽量要求供应商统一暴 露 prometheus 接口，也别去 处理日志 业务应用依赖的中间件

KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库（注意，主要解决容量问题）。 3.分布式数据库 1、需要较多的机器资源； 2、对于替换数据库技术的公司，代价较大，放弃多年积累； 1）引入框架，研发人员 2）引入中间件，研发人员+运维人员=》研发团队 3）引入数据库，研发+运维+DBA=》研发中心、CTO/公司管理层 3、一般场景下，不解决性能问题（特别是延迟）。 分布式数据库使用的约束： 4.数据库网格 4.数据库网格 Service Mesh 是一个基础设施层，用于处理服务间通信。云原生应用有着复杂的服 通常是由一系列轻量级的网络代理组成的，它们与应用程序部署在一 起，但应用程序不需要知道它们的存在。 -- Willian Morgan / Linkerd CEO 4.数据库网格 数据面板+数据能力 存储面板+存储能力 控制面板+治理能力 4.数据库网格 微服务 MicroServices 服务网格 ServiceMesh 数据库网格 DatabaseMesh 云原生 Cloud-Native