22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊敏态IT:敏捷、弹性、灵活 各行业IT应用系统不断丰富与创新 总部 机关 内部员工 分支 机构 内部员工 移动 接入 内部员工/合作伙伴 OA CRM HRM …… BPM MES 稳态IT WEB APP 移动用户 采购 平台 互联网 平台 数字 营销 敏态IT 互联网/物联网应用 创新应用 PC用户 物联网 物联终端 互联网、 大数据 AI、 IoT 数字化转型 应用价值提升 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。0 码力 | 42 页 | 11.17 MB | 6 月前3
consul 命令行consul命令行 ● advertise:广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下,-bind通告地 。但是,在某些情况下,可能存在无法绑定的可路由地址。此标志允许闲聊不同的地址以支持此功能 如果此地址不可路由,则该节点将处于恒定的振荡状态,因为其他节点将不可路由性视为故障。在Co sul 1.0及更高版本中,可以将其设置为 go-sockaddr 模板。 ● -adverti data-dir:此标志为代理程序存储状态提供数据目录。这是所有代理商都需要的。该目录在重新启 后应该是持久的。这对于在服务器模式下运行的代理尤其重要,因为它们必须能够持久化群集状态。 外,该目录必须支持使用文件系统锁定,这意味着某些类型的已安装文件夹(例如VirtualBox共享文 夹)可能不适合。注意:服务器代理和非服务器代理都可以在此目录中的状态中存储ACL令牌,因此 访问可以授予对服务器上的 户执行。在Windows上,您应确保该目录具有适当的权限,因为这些权限将被继承。 ● datacenter:此标志控制代理程序运行的数据中心。如果未提供,则默认为“dc1”。Consul拥有 多个数据中心的一流支持,但它依赖于正确的配置。同一数据中心中的节点应位于单个LAN上。 ● dev:启用开发服务器模式。这对于快速启动Consul代理并关闭所有持久性选项非常有用,可以启 内存服务器,该服务器可用于快速0 码力 | 5 页 | 346.62 KB | 1 年前3
云原生微服务最佳实践微服务治理全链路灰度最佳实践 • 斯凯奇 云原生网关最佳实践 来电 微服务治理全链路灰度最佳实践 app 充电宝设备节点 web 网关 服务注册发现 配置中心 HTTP HTTP HTTP HTTP HTTP 10% 90% web web web服务 Gray 基线版本 用户中心 Dubbo Gray Dubbo 基线版本 RPC RPC 订单中心 app pos web MSE 云原生网关 认证鉴权服务 primweb web 订单中心 促销中心 商品中心 库存中心 渠道中心 用户中心 营销中心 会员中心 日志服务 安全 全链路监控 web服务 ES 云数据库 Rredis 版 RDS 云数据库 POLARDB 微服务中心 限流熔断 消息队列 AHAS ARMS SLS Web应⽤防⽕墙 分布式任务LTS Nacos-Sync 大规模场景下推荐 小规模场景、非Java场景下推荐 Agent Agent 开源 Spring Cloud 默认不支持双注册,MSE 提供了无侵入的双注册方案,无需修改 代码,开发无需关注,支持平迁。 Nacos 生态 几乎支持所有主流语言 阿里微服务DNS最佳实践 多语言生态集成方案 生态仓库: https://github.com/nacos-group0 码力 | 20 页 | 6.76 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)运行时安全能力建设...................................................................................53 4.2.1Web 应用和 API 安全...........................................................................54 4.2.2 云原生运行时安全 DevOps、持续交付、微服务和容器技术为代表,符合云 原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 服务架构提高灵活性和可维护性,借助敏捷方法、DevOps 支持持续迭代和运维 自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。 云原生安全威胁分析与能力建设白皮书 12 1.1.2 云原生安全 云原生安全作为云原生的伴生技术,旨在解决云原生技术面临的安全问题, 之间的相互调用。根据 2023 上半年的 攻击数据显示,攻击者利用 API Key、敏感文件执行、敏感信息读取等手段发起 的攻击次数呈明显上升趋势,占总攻击事件的 1.69%。API 滥用已成为导致企 业 Web 应用程序数据泄露的最常见的攻击媒介,通过攻击 API 来达成攻击目的, 已成为上半年攻防演练中各攻击队最常用的攻击手段之一。 在 5G 核心网和边缘计算方面,容器化的网元和边缘计算平台越来越普遍,0 码力 | 72 页 | 2.44 MB | 1 年前3
基于Consul的多Beats接入管控与多ES搜索编排系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 Web-UI Api-server1 HostGroup HostGroup MasterCluster Opsd Monitord Syncd … … 腾讯云产品 … Docker • 配置一致性离线分析 • 多beats同时管控 11 当前收益 快 稳 准 • 快速接入(5min) • 配置UI化标准化 • 配置变更实时感知 • 部署全自动化 • 多Beats支持 • Beats运行时cpu/mem可控 • Agent监控视图 • 离线/容量/延时监控 • 分布式集群管理 • 异常快速定位 • 关联公司CMDB • 资源权限管理 • 配置灰度控制发布0 码力 | 23 页 | 6.65 MB | 1 年前3
1.3 MOSN 在云原生的探索及实践技术调研,到产品孵化,历经重重困难,最终通过双 11 规模化验证。借力开源、反哺开 源,进行 Cloud Native 生态融合,在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布, 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin,Jaeger 等 • 支持 ZK,Nacos 等 • 支持 Dubbo 3.0 • 支持 thrift, kafka 等 协议 • 支持 Istio 1.10 • 支持 Ingress Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便;支持的库(SDK)相对较 少 WASM Extension 跨语言语言支持 (C/C++/Rust)、隔离性、安 全性、敏捷性 处于试验阶段,性能损耗较大; WASM 目前仅对C/C++/Rust 友好,对 GoLang Runtime 还未 完全支持; 不能复用已有的 SDK,需要做网 络 IO 适配改造 External-Proc0 码力 | 36 页 | 35.61 MB | 1 年前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation,backfill • 不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 关键特性: 1. 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、0 码力 | 18 页 | 1.82 MB | 1 年前3
01. MOSN 高性能网络扩展实践 - 王发康开发复杂功能不方便 支持的库(SDK)相对较少 WASM Extension 跨语言语言支持(C/C++/Rust)、 隔离性、安全性、敏捷性 处于试验阶段,性能损耗较大; WASM 目前仅对C/C++/Rust 友好, 对 GoLang Runtime 还未完全支持; 不能复用已有的 SDK,需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低(UDS gRPC server 能力, 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力, 改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 trailers, optionFlags} …… 同时,我们也会将其剥离出来形成一套 标准的扩展: proxy_golang,类似 proxy_wasm ,方便 Nginx、OpenResty 等也能够支持 GoLang 扩展。 MoE 方案介绍 — 功能职责 Envoy MOSN MoE Data Plane HTTP(L7) HTTP Filter GoLang L7 extension0 码力 | 29 页 | 2.80 MB | 1 年前3
09-harbor助你玩转云原生-邹佳目标为K8s集群 • 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 提供以项目为单位的逻辑隔离,存储共享 不同角色具有不同的访问权限,可以与其它用户系统集成 配额管理 制品的高效分发-复制 [1] 基于策略的内容复制机制:支持多种过滤器(镜像库、tag和标签)与多种触 发模式(手动,基于时间以及定时)且实现对推送和拉取模式的支持 初始全量复制 增量 过滤器 目标仓库 源仓库 目标项目 源项目 触发器 推送(push)或者拉取(pull)模式 过滤器 制品的高效分发-缓存 • 在项目级别提供“缓存”能力 • 已缓存下来的制品与“本地”制品无异 • 相关的管理策略可以应用到缓存的镜像上,比 如配额、扫描等 • 目前仅支持上游Dockerhub*和其它Harbor, 更多上游仓库的支持正在进行中(与复制共享 同样的仓库适配器) 注: 可有效解决Dockerhub 限速的问题 制品的高效分发-P2P预热 • 将所选镜像提前分发到(加热)P2P网络以便客户端拉取内容时从P2P网0 码力 | 32 页 | 17.15 MB | 6 月前3
24-云原生中间件之道-高磊数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据,支持高吞吐量实时入库及数据实时查询,实现数据资源 智慧化运营。 优势 低成本存储: 支持PB级数据存储 高并发: 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 B C 多模云原生数据 库 用于云原生DB的 JDBC 极少量 改动 修改驱 动包 数据迁 移 • 由于云原生数据库支持多模,所以通过 ETL或者DTC等工具迁移数据是非常方便的 • 应用程序只需要修改JDBC的依赖即可以在 新环境中运行,迁移成本低。 • 或者由于云原生数据库支持多协议能力, 比如原生APP使用MYSQL协议访问传统数 据库,可以不加修改的,还是使用老的 MYSQL协议驱动,依然可以和云原生数据 一个服务进行部署,MON、OSD、MGR 守 护进程会以 pod 的形式在 Kubernetes 进行 部署,而 rook 核心组件对 ceph 集群进行 运维管理操作。 Rook 通过 ceph 可以对外提供完备的存储 能力,支持对象、块、文件存储服务,让 你通过一套系统实现对多种存储服务的需 求。同时 rook 默认部署云原生存储接口 的实现,通过 CSI / Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初0 码力 | 22 页 | 4.39 MB | 6 月前3
共 23 条
- 1
- 2
- 3













