24-云原生中间件之道-高磊
据的完整性,并且自动自愈(Serverless)。 • 通过跨域数据同步能力,实现多地域数据多活。 这个例子,也给数据库云原生化上的技术架构演进提 供了一个范本,并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原 生DB 统计 分析 物联网数据存储和查询 将车联网数据、设备监控数据、客流分析管控数据、交通数据、传感器数据实时 B C 多模云原生数据 库 用于云原生DB的 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模,所以通过 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行,迁移成本低。 • 或者由于云原生数据库支持多协议能力, 比如原生APP使用MYSQL协议访问传统数 据库,可以不加修改的,还是使用老的 MYSQL协议驱动,依然可以和云原生数据0 码力 | 22 页 | 4.39 MB | 6 月前3云原生微服务最佳实践
mse-tag:gray 网关最佳实践 K8s(API-Server) App3(服务网格) VPC2 云原生网关 VPC1 Nacos(业务域1) App2(微服务) 云原生网关 1、网络不通 2、业务边缘部署 3、协议不同 4、安全域不同 5、跨region 云原生网关 云原生网关 Fuction(Serverless) App1(单体应用) 证书管理 认证登录 三方认证 WAF防护 MSE微服务引擎 Nacos 云原⽣⽹关 Nacos 用户VPC 业务节点 业务节点 用户VPC 业务节点 业务节点 同Region,同AZ优先,Region内容灾; 跨Region异地容灾,通过网关打通跨region服务 云原⽣⽹关 云原⽣⽹关 Region1 Region2 AZ1 AZ2 AZ3 AZ4 注册中心平滑迁移最佳实践 ZK/Nacos/Eur eka/Consul Nacos-Sync 大规模场景下推荐 小规模场景、非Java场景下推荐 Agent Agent 开源 Spring Cloud 默认不支持双注册,MSE 提供了无侵入的双注册方案,无需修改 代码,开发无需关注,支持平迁。 Nacos 生态 几乎支持所有主流语言 阿里微服务DNS最佳实践 多语言生态集成方案 生态仓库: https://github.com/nacos-group0 码力 | 20 页 | 6.76 MB | 1 年前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
性;大规模可复制能力,可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见,云原生作为一种新兴的安全理念,是一种构建和运行应用程序的 技术体系和方法论,以 DevOps、持续交付、微服务和容器技术为代表,符合云 原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平 范围 由中国信息通信研究院牵头编写,规定了基于云原生构建的平台与应用的安 全能力成熟度评估模型,包括基础设施安全域、云原生基础架构安全域、云 原生应用安全域、云原生研发运营安全域以及云原生安全运维域五个方面 6 云原生安全 API 安全治理 由中国信息通信研究院牵头编写,适用于用帮助用云企业评估自身云原生平 台和应用的 API 安全防护能力水平,定位问题、指导能力建设,适用于规范 云 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。 由于宿主机操作系统内核支持的进程总数有限,如果某个容器遭到了 Fork Bomb 攻击,那么就有可能存在由于短时间内在该容器内创建过多进程而耗尽宿 主机进程资源的情况,宿主机及其他容器就无法再创建新的进程。 存储型 DoS0 码力 | 72 页 | 2.44 MB | 1 年前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
MIS、ERP… 2、流程规范 BPM、EAI… 3、管理监控 BAM、BI 4、协作平台 OA、CRM 5、数据化运营 SEM、O2O 6、互联网平台 AI、IoT 数据化运营 大数据 智能化管控 互联网平台 跨企业合作 稳态IT:安全、稳定、性能 敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM 台,去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标 支持微服务级别的细粒度资源隔离 支持快速扩缩容 支持热升级,服务更新不影响业务可用性 支持服务的快速地部署、扩展、故障转移 支持更细致、自动化的运维,快速恢复 …… 过去 现在 未来 云原生的业务承载平台? 什么是云原生->为云而生 认 为 是 能 够 适 应 于 云 原 生 理 念 的 技 术 , 而 微 服 务 被 认 为 是 适 合 D o c k e r 这 种 环 境 , 它 们 一 起 直 接 进 入 云 原 生 领 域 。 M e s o s 、 D o c k e r C o m p o s e 、 K 8 s 等 容 器 编 排 软 件 相 继 出 现 2 0 0 9 年 阿 里 云 飞 天 系 统 诞 生0 码力 | 42 页 | 11.17 MB | 6 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
关注点分离:开发者关注应用本身,运维人员关注模块化运维 能力,让应用管理变得更轻松、应用交付变得更可控; • 平台无关与高可扩展:应用定义与平台层实现解耦,应用描述 支持任意扩展和跨环境实现; • 模块化应用运维特征:可以自由组合和支持模块化实现的运维 特征描述。 • Components:在 OAM 中,“应用”是由多个概念共同组合而成。第一个概念是: 应用组件(Components),它是整个应用的重要组成部分。应用组件既可以包括 云原生平台在抽象化OS的同时,却对更底层基础设施的运维无能为力,因为它完全面向应用,甚至连自己如何 被安装、运维都无能为力!就像是从房子里面去搭建一个整体房子一样困难。 事实是这正是传 统运维工作的领 域,但是我们需 要提升抽象程度 来简化传统运维 传统的基础设施管理方法是人工的手动处理模式,不仅仅效率低下,而且还有很 多人为操作的风险,比如误操作。同时,对基础设施的配置更改需要文档记录, 如果没有做0 码力 | 24 页 | 5.96 MB | 6 月前3consul 命令行
consul命令行 ● advertise:广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下,-bind通告地 。但是,在某些情况下,可能存在无法绑定的可路由地址。此标志允许闲聊不同的地址以支持此功能 如果此地址不可路由,则该节点将处于恒定的振荡状态,因为其他节点将不可路由性视为故障。在Co sul 1.0及更高版本中,可以将其设置为 go-sockaddr 模板。 ● -adverti data-dir:此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要,因为它们必须能够持久化群集状态。 外,该目录必须支持使用文件系统锁定,这意味着某些类型的已安装文件夹(例如VirtualBox共享文 夹)可能不适合。注意:服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌,因此 访问可以授予对服务器上的 户执行。在Windows上,您应确保该目录具有适当的权限,因为这些权限将被继承。 ● datacenter:此标志控制代理程序运行的数据中心。如果未提供,则默认为“dc1”。Consul拥有 多个数据中心的一流支持,但它依赖于正确的配置。同一数据中心中的节点应位于单个LAN上。 ● dev:启用开发服务器模式。这对于快速启动Consul代理并关闭所有持久性选项非常有用,可以启 内存服务器,该服务器可用于快速0 码力 | 5 页 | 346.62 KB | 1 年前301. MOSN 高性能网络扩展实践 - 王发康
开发复杂功能不方便 支持的库(SDK)相对较少 WASM Extension 跨语言语言支持(C/C++/Rust)、 隔离性、安全性、敏捷性 处于试验阶段,性能损耗较大; WASM 目前仅对C/C++/Rust 友好, 对 GoLang Runtime 还未完全支持; 不能复用已有的 SDK,需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低(UDS gRPC server 能力, 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力, 改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 trailers, optionFlags} …… 同时,我们也会将其剥离出来形成一套 标准的扩展: proxy_golang,类似 proxy_wasm ,方便 Nginx、OpenResty 等也能够支持 GoLang 扩展。 MoE 方案介绍 — 功能职责 Envoy MOSN MoE Data Plane HTTP(L7) HTTP Filter GoLang L7 extension0 码力 | 29 页 | 2.80 MB | 1 年前312-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫
计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束: 3.分布式数据库 3.分布式数据库 类库/框架 数据库中间件 分布式数据库 数据网格 TDDL Sharding-JDBC DRDS Sharding-Proxy GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累;0 码力 | 23 页 | 1.91 MB | 6 月前3带给你“一份应用需求定义,到处交付”的云原生交付体验
s add-on 将集群打造为通⽤控制平⾯。 • 跨⼚商:⽀持多个⼚商基础设施资源 的管理· Terraform不⾜之处 • ⾯向业务应⽤不够友好。 • 云服务⽆跨⼚商规范标准。 Crossplane不⾜之处 • 概念复杂,扩展不易。 CNBaaS既需要Terraform IaC架构的简洁强⼤ 还需要有Crossplane跨⼚商的特性 CNBaaS is better CNBaaS On-Premise OnCloud 云原生IaC方式定义服务 传统云上白屏化运维方式: 繁杂的手动操作,且无法快速复制 CNBaaS 可基于Cue语法,声明服务基础信息 以及组件扩展信息,支持最优规格匹配 自适配云组件配置&规格 声明式 服务规格需求 需求自适配 需求自适配 On Premise On VPC eg. Kube DB • Chart Version选择 Terraform 通用服务schema定义 服务版本管理 面向组件Vendor Schema定义 组件注册 CNBaaS 统一服务目录 Helm CNBaaS Engine根据组件 支持的运行时动态调度 云资源生产 Lifecycle管理 张健川(聪言) CNBaaS Demo Contact us 王国东(骁奕) Email:guodong.wgd@alibaba-inc0 码力 | 16 页 | 30.13 MB | 1 年前325-云原生应用可观测性实践-向阳
200亿$ 500亿$ 问题:依赖于eBPF,仅支持Kernel 4.15+ simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 业界动向 —— 云厂商监控 阿里云ARMS 问题:依赖于eBPF,仅支持Kernel 4.15+、仅阿里云(K8s需托管) 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd0 码力 | 39 页 | 8.44 MB | 6 月前3
共 22 条
- 1
- 2
- 3