24-云原生中间件之道-高磊
编 码 和 测 试 之 后 , 安 全 工 程 师 才 介 入 , 如 果 发 现 问 题 , 又 需 要 研 发 修 复 和 重 新 测 试 , 严 重 影 响 效 率 传 统 安 全 流 程 强 调 上 线 前 解 决 一 切 问 题 , 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 可信执行环境(TEE)采用Intel SGX技术实现的密文数据上的计算操作,TEE 中的内存是受保护的,用户查询语句在客户端应用加密后发送给云数据库, 云数据库执行检索操作时进入TEE环境,拿到的结果是密文状态,然后返 回给客户端,数据面从传输、计算到存储全链条都是处于加密的,只有可 信执行环境内才进行明文计算。 • SSL+TDE+TEE=E2E云原生数据库安全方案。 RDMA 高级能力-云原生数据库-应用的基石-5-应用迁移 群,然而在线业务、流式作业具有明显的波峰波谷特性,在波谷时段,会有大量的资源处于闲置状态,造成资源的浪 费和成本的提升。在离线混部集群,通过动态调度削峰填谷,当在线集群的使用率处于波谷时段,将离线任务调度到 在线集群,可以显著的提高资源的利用率。然而,Hadoop Yarn目前只能通过NodeManager上报的静态资源情况进行分配, 无法基于动态资源调度,无法很好的支持在线、离线业务混部的场景。0 码力 | 22 页 | 4.39 MB | 5 月前316-Nocalhost重新定义云原生开发环境-王炜
务”�的拆分粒度中,这可能导致 “微服务”拆分粒度过细,数量进⼀步剧增的问题。最终,“微服务”之间的调⽤关系就像跨部⻔协作,也变得 越来越复杂,问题在想要新增需求时尤为突出。 “微服务”带来便利的同时,对开发⼈员⽽⾔,还带来了额外的挑战:如何快速启动完整的开发环境?开发的 需求依赖于其他同事怎么联调?如何快速调试这些微服务? ⽽对于管理⼈员来说,也同样带来了⼀系列的挑战:如何管理开发⼈员的开发环境?如何让新⼊职的同事快 在单体应⽤的时代,对于开发者来说是极为友好的,�开发者使⽤本机运⾏应⽤,修改代码后实时⽣效,通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数 Bookinfo 应⽤和开发者,并为开发者分配了 Bookinfo 应⽤的开发空间。 现在打开 VS Code ,进⼊ Nocalhost 插件,点击上⽅的“地球”按钮,同样输⼊ Web 控制台的地址,回⻋确 定。 点击 “Sign In” 按钮,输⼊开发者的登陆账号:foo@nocalhost.dev,密码:123456,登陆后即可⼀键部 署 Bookinfo 并体验⽆需重新构建镜像的应⽤开发。 Nocalhost0 码力 | 7 页 | 7.20 MB | 5 月前336-云原生监控体系建设-秦晓辉
接口,抓取各个node(即kubelet)的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例,调用 apiserver 的接口即可,维护较为简单,采集频率可以调的稍大,比 如30s或60s • 所有的拉取请求都走 apiserver,如果是几千个node的大集群,对 apiserver 可能会有较大压力 Kubernetes Node - 容器负载监控 抓取方案 的耗时分布,histogram类型,按 照 url + verb 统计 • workqueue_adds_total 各个 controller 已处理的任务总数 • workqueue_depth 各个 controller 的队列深度,表示一个 controller 中的任务的数量,值越大表示越繁忙 • process_cpu_seconds_total 进程使用的CPU时间的总量,rate 之后就是 CPU 使用率 scheduler 通过 /metrics 接口暴露监控数据,直接拉取即 可 • scheduler 在 Kubernetes 架构中,是负责调度对象到合 适的node上,会有一系列的规则计算和筛选。重点关注调 度这个动作的相关指标 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml,大盘可以参考 k8s/scheduler- dash.json • rest_clien0 码力 | 32 页 | 3.27 MB | 5 月前322-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊
如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时、按需扩展/收缩所 用资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 场景 2 如果应用负载升高/降低,如何及时按需扩展/收缩所用 资源? 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 云原生底座=控制器+调度器的组合+Docker=根据环境的变化而动+基于封装 一致性的大规模分发 服务编排基本原理: • 以度量为基础,以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 事实标准的K8S容器服务设计 成应用与物理资源(IaaS,虚 拟机、物理,多云)的中间抽 象层,因为应用很复杂,很容 易陷入差异化定制市场,抽象0 码力 | 42 页 | 11.17 MB | 5 月前3云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)
者编写 好的代码,自动准备好相应的计算资源,完成运算并输出结果,从而大幅简化开 发运维过程。无服务器计算作为事件驱动架构,将工作负载分解成多个无缝隔离 的执行环境,每个执行环境都承载着一个特定任务并负责处理一个单独事件,在 时间与空间中各自运行。例如,基于 Knative[21]实现的 Serverless 架构将无服 务抽象为三个关键的组件,分别为构建应用的 build 组件、提供流量的 生应用的架构和拓扑结构可以在几秒钟内发生变化,这对安全也是巨大的挑战。 同时由于云原生生态开源,以及基础设施的重要性,云原生安全态势管理(KSPM) 相关能力建设成为必要。 (1)资产管理 资产管理是一项关键任务,它涵盖了云基础设施、应用程序和服务的全面管 理。在云原生环境中,至少需对集群中 POD、Service、Namespace 等资产进 行统计,并进行关联性分析,形成多集群的统一可视化管理控制台。针对相关资 的管理 控制,包括集群网络策略管理,如 NetworkPolicy、POD 运行策略管理,如禁 止特权容器、集群准入策略管理,如镜像控制等,同时还需建立策略随策略应用 对象动态跟随,策略管理及回滚等辅助能力。 云原生安全威胁分析与能力建设白皮书 62 五、总结与展望 企业上云已成为实现数字化转型的关键途径,以容器、服务网格、微服务、 不可变基础设施和声明式 API 等为代表的云原生技术已经被广泛采用,并深刻0 码力 | 72 页 | 2.44 MB | 1 年前3基于Consul的多Beats接入管控与多ES搜索编排
100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 检测数据是否上报 传统Beats接入流程 配置更改 现网配置是否全部一致? 日志上报是否有延时? Filebeat是否资源消耗过多? Filebeat异常退出如 何处理? 如何做上报性能调优? 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 beats性能 调优? ES写入参 数调整 升级ES配 置 发现延时 Cpu/mem充足 Cpu/mcem充足 提升beats资 源配额 Cpm/mem受限 ES负载低 ES负载高 日志延时统计 dashboard Beats进程资 源采集分析 日志接入 cpu/mem对比 提升cpu/mem 配额 Beats缓存调大 Beats Worker 并发调大 提高写入并发0 码力 | 23 页 | 6.65 MB | 1 年前3Consul及Consul Connect介紹
Easy 劉宇雷-Hashicorp Solutions Engineer Agenda 1. 服務網格是什麼? 簡要歷史回顧 2. 什麼是Consul,它如何工作? 3. 演示: 如何在非容器化的環境下使用Consul的服 務網格 4. 問&答 ⁄ 簡要歷史回顧: 從單體式軟件到微服務 The Dawn of Time (pre-2010) In the beginning was0 码力 | 26 页 | 6.71 MB | 1 年前3Volcano加速金融行业大数据分析平台云原生化改造的应用实践
传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度,无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 • 不支持Gang-scheduling、Fair-share scheduling • 不支持多场景的Resource reservation,backfill 统一的作业管理 提供完善作业生命周期管理,统一支持几乎所有主流的计算框架,如 Pytorch, MPI, Horovod, Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列,队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化,并结合 resource support • 首个Batch调度器 ü 2022年Volcano成为Spark on kubernetes的首个 batch调度器 ü 1.5K Pod/s 的大规模批量任务调度能力 Spark基于Volcano的用法 1. Specify custom scheduler 2. Specify custom feature step 3. Specify scheduler0 码力 | 18 页 | 1.82 MB | 1 年前3(四)基于Istio on Kubernetes 云原生应用的最佳实践 - Alibaba Cloud K8S Playground
创建Ingress查看Kiali 路路由-> 命名空间istio-system,点击创建。输⼊入名称为kiali, 域名也为kiali, 选择服务kiali及端⼝口20001. 后续步骤中会随时查看Kiali,来展示服务之间的调⽤用关系。 部署应⽤用 使⽤用 kubectl 部署简单的服务 1 kubectl apply -f app.yaml 上⾯面的命令会启动全部的3个服务,其中也包括了了 addedvalues0 码力 | 6 页 | 1.33 MB | 1 年前3云原生图数据库解谜、容器化实践与 Serverless 应用实操
Build 如何在这些⼯具直接进⾏选择和切换? Cloud Native Buildpacks buildah buildkit kaniko Function Serving 4 种函数调⽤类型(CNCF Serverless ⽩⽪书) Function Serving 同步函数: HTTP / blocking / Req & Resp 运⾏时: Knative Serving0 码力 | 47 页 | 29.72 MB | 1 年前3
共 17 条
- 1
- 2