Rainbond服务日志管理
RAINBOND服务⽇日志管理理 好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.Rainbond⾃自身的⽇日志管理理机制 2.对接 Elasticsearch 3.演示示例例 ⼤大纲 RAINBOND 线上培训(第⼋八期) 2019/7/31 1.RAINBOND⾃自身⽇日志管理理机制 1.1 ⽇日志界⾯面 RAINBOND RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源,以及相关原理理 node服务功能与⻆角⾊色 rbd-eventlog组件功能与⻆角⾊色 NODE服务会监视DOCKERD进程,观察其创建与销毁容器。获取⽂件系统中容器⽇志的路径, 监视来⾃容器标准输出和标准错误输出,并以UDP协议分发到RBD-EVENTLOG组件。 接收来⾃NODE服务的推送,⽤WEBSOCKET协议将⽇志内容推送到⽤户所操作的应⽤控制台。0 码力 | 11 页 | 1.62 MB | 1 年前3云原生微服务最佳实践
云原生微服务最佳实践 彦林 阿里云智能高级技术专家 & Nacos 创始人 2022/01/07 云原生微服务最佳实践 微服务简介 最佳实践 用户故事 微服务简介 • 云原生和微服务简介 • 微服务的价值和挑战 • 阿里微服务产品解法和优势 云原生和微服务简介 微服务的价值和挑战 图片源自:http://www.zyiz.net/ 价值 效率(人越来越贵,算力越来越便宜) 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress(Envoy) 云原⽣⽹关 Sentinel 用户容器 用户POD Tracing Prometheus 全链路压测 PTS AHAS ARMS ACK/ASK 调度+弹性 解法 • 提供完整微服务产品矩阵 • 通过 MSE 解决微服务最 核心服务发现和配置管理, 通过服务治理提升高可用 • 默认高可用 • 阿里云成千上万用户的选 择,简单易用 • 专业的微服务团队保障 Dubbo/Spring-Cloud-Alibaba/Envoy 服务框架+服务⽹格 用户容器 用户容器 最佳实践 • 微服务最佳实践 • 服务治理最佳实践 • 日常环境隔离最佳实践 • 网关最佳实践 微服务最佳实践 MSE微服务引擎 Nacos/Zookeeper/Eureka 注册中⼼+配置中⼼0 码力 | 20 页 | 6.76 MB | 1 年前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
2 容器提权和逃逸攻击............................................................................24 2.3.3 拒绝服务攻击........................................................................................25 云原生安全威胁分析与能力建设白皮书 组件攻击.........................................................................................27 2.4.2 服务对外暴露攻击................................................................................27 2.4.3 业务 pod 第三方组件攻击....................................................................................29 2.5 路径 4:微服务攻击................................................................................... 29 2.5.1API 攻击0 码力 | 72 页 | 2.44 MB | 1 年前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM HRM …… BPM MES 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型 应用价值提升 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是0 码力 | 42 页 | 11.17 MB | 6 月前3consul 命令行
-advertise-wan:广告WAN地址用于将我们通告的地址更改为通过WAN加入的服务器节点。当与t anslate_wan_addrs配置选项结合使用时,也可以在客户端代理上设置此选项。默认情况下,-adverti e通告地址。但是,在某些情况下,所有数据中心的所有成员都不能位于同一物理或虚拟网络上,尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊,同时使 专用VLAN互相闲聊 此标志用于控制服务器是否处于“引导”模式。重要的是,在此模式下,每个数据中 只能运行一台服务器。从技术上讲,允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式; 否则,无法保证一致性,因为多个节点能够自我选择。在引导群集后,建议不 使用此标志。 ● -bootstrap-expect:此标志提供数据中心中预期的服务器数。不应提供此值,或者该值必须与群 中的其他服务器一致。 中的其他服务器一致。提供后,Consul将等待指定数量的服务器可用,然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind:应绑定到内部群集通信的地址。这是群集中所有其他节点都应该可以访问的IP地址。默认 况下,这是“0.0.0.0”,这意味着Consul将绑定到本地计算机上的所有地址,并将 第一个可用的私有 Pv4地址通告给群集的其余部0 码力 | 5 页 | 346.62 KB | 1 年前316-Nocalhost重新定义云原生开发环境-王炜
界,⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分,使得应⽤系统的维护边界适配组织架 构的权责边界。 ⼀般来说,越庞⼤的组织架构,应⽤系统会被拆分地越来越细,“微服务”的数量也变得越来越多。⽽在“微服 务”的拆分的实践中,很容易出现将组织架构的权责边界⼀股脑地对标到“微服务”�的拆分粒度中,这可能导致 “微服务”拆分粒度过细,数量进⼀步剧增的问题。最终,“微服务”之间的调⽤关系就像跨部⻔协作,也变得 得 越来越复杂,问题在想要新增需求时尤为突出。 “微服务”带来便利的同时,对开发⼈员⽽⾔,还带来了额外的挑战:如何快速启动完整的开发环境?开发的 需求依赖于其他同事怎么联调?如何快速调试这些微服务? ⽽对于管理⼈员来说,也同样带来了⼀系列的挑战:如何管理开发⼈员的开发环境?如何让新⼊职的同事快 速进⾏开发? 试想⼀下,要开发由 200 个“微服务”组成的云原⽣应⽤,会遇到哪些困难呢? Localhost 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增加,开发应⽤所需要的本地资源越来越多,最终导致本地⽆ 法满⾜开发的配置需求。0 码力 | 7 页 | 7.20 MB | 6 月前3SBOM 为基础的云原生应用安全治理
Material)是代码库中所有开放源代码和第三方组件的清单。 • SBOM能够列出管理这些组件的许可证,代码库中使用的组件的版本及其补丁程序状态。 云原生应用安全风险面 第三方组件 开源组件 应用安全 风险面 Web通用漏洞 SQL注入、命令执行、XXE、XSS等OWASP TOP10 业务逻辑漏洞 水平/垂直越权、短信轰炸、批量注册、验 证码绕过等 合规需求、安全配置 未能满足安全合规、未建立安全基线、敏 的设备数量超过十万台。 Realtek 的WiFi SDK漏洞 2021年12月,Apache开源组件Log4j被发现两个 相关漏洞,分别为任意代码执行漏洞和拒绝服务攻 击漏洞,攻击者可以通过构造特殊的请求进行任意 代码执行,以达到控制服务器、影响服务器执行的 目的。该漏洞已影响超6万个开源软件,涉及相关 版本软件包32万余个,被认为是“2021年最重要的 安全威胁之一” Apache Log4j2 漏洞 别系统中存在的已知安全漏洞或者潜在的许可证授权问题。 IAST——API安全检测 doubo fosf://xxx.services.id 网关 nginx doubo java java java web /etc/nginx/conf.d/* ciaapi.dszc-amc.com /etc/nginx/conf.d/* m-crm.dszc-amc.com zczj.dszc-amc0 码力 | 30 页 | 2.39 MB | 1 年前3基于Consul的多Beats接入管控与多ES搜索编排
系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 Web-UI Api-server1 HostGroup HostGroup MasterCluster Opsd Monitord Syncd … … 腾讯云产品 … Docker HostGroup CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表, 并向Master发起Agent注册逻辑,获取agent id 配置获取 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent 使用ES原生ML能力提供排障效率 深挖日志价值,提高故障感知与异常分析能力 22 技术栈 技术选型 前端 TypeScript、Angular 8、 Ng-zorro 后台 Golang、Iris、Consul、微服务化设计、 Pongo2模板管理 配置 Consul、Elasticsearch Agent Golang、ELK beats、Logstash、LXC资源管 控、 Consul、其他自定义插件0 码力 | 23 页 | 6.65 MB | 1 年前302. Kubevela 以应用为中心的渐进式发布 - 孙健波
正式发布第 4 天,登顶趋势榜首 应用 平台团队 Canary Autoscale Route Web Service Database 能力模板(即:抽象) 业务用户 选择并初始化部署环境 部署环境模板 选择能力模板 填写模板参数 组装能力为“应用” RDS Route Web Service Database 生产集群 Pod Nginx Pod 测试集群 生产集群 Components Developer Experience Tools (CLI, Dashboard, Appfile etc) Traits Autoscaling Rollout Route Web Service attach to End Users others ... Addon Registry Addon Discovery Cron Job App Controller Deployment Controller Dependency Manager KubeVela 的整体架构 BaaS 阿里巴巴的应用管理实践 电商 PaaS 应用交付平台 AI PaaS 应用管理服务 Kubernetes 内部终端用户 我们在这里 Alibaba Cloud Infrastructure Alibaba Internal Infrastructure Other Cl0 码力 | 26 页 | 9.20 MB | 1 年前324-云原生中间件之道-高磊
TEE是运行态主动防护的高级手段,对高安全生产 环境建议使用。 成本较高,所以要视业务场景要求取舍。 Mesh零信任 mTLS服务间访问授权,主要针对Pod层WorkLod的访问控制 应用透明,全局管理视角,细粒度安全策略 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 云原生应用 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 口以及数据模型,并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP),将在线事务|分析混合计算模型 基础上,实现多模数据模型,使得集成成本经一步降低。 • 计算层,与存储彻底剥离开来,实际是微服务化架构, 可以自由伸缩,并自动故障转移,采用读写分离,适应 高负荷的场景。另外也需要进一步将计算和内存分离出 来,使得计算层彻底变为无状态,可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless0 码力 | 22 页 | 4.39 MB | 6 月前3
共 28 条
- 1
- 2
- 3