36-云原生监控体系建设-秦晓辉•Kubernetes体系庞大,组件众多,涉及underlay、overlay两层网络,容器内容器外两个namespace,搞懂需要花些时间 •Kubernetes的监控,缺少体系化的文档指导,关键指标是哪些?最佳实践是什么?不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高, 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件,控制面:API 越来越流行,几乎所有云厂商都提供 了托管服务,这就意味着,服务端组件的可用性保障交 给云厂商来做了,客户主要关注工作负载节点的监控即 可。如果公司上云了,建议采用这种托管方式,不要自 行搭建 Kubernetes,毕竟,复杂度真的很高,特别是 后面还要涉及到升级维护的问题。既然负载节点更重要, 我们讲解监控就从工作负载节点开始。 Kubernetes 所在宿主 的监控 Kubernetes所在宿主的监控 宿主的监控,比较常规和简单,无非就是 raf/blo b/main/k8s/daemonset.yaml Kubernetes Node - 容器负载监控 关键指标 CPU使用率,分子是每秒内容器用了多少CPU 时间,分母是每秒内被限制使用多少CPU时间 sum( irate(container_cpu_usage_seconds_total[3m]) ) by (pod,id,namespace,container,ident,image)0 码力 | 32 页 | 3.27 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)年,云原生产业联盟发布《云原生发展白皮书》[1],指出云原生是面 向云应用设计的一种思想理念,充分发挥云效能的最佳实践路径,帮助企业构建 弹性可靠、松耦合、易管理可观测的应用系统,提升交付效率,降低运维复杂度, 代表技术包括不可变基础设施、服务网格、声明式 API 及 Serverless 等。云 原生技术架构的典型特征包括:极致的弹性能力,不同于虚拟机分钟级的弹性响 应,以容器技术为基础的云原生 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。 由于宿主机操作系统内核支持的进程总数有限,如果某个容器遭到了 Fork Bomb 攻击,那么就有可能存在由于短时间内在该容器内创建过多进程而耗尽宿 主机进程资源的情况,宿主机及其他容器就无法再创建新的进程。 存储型 DoS 攻击:针对存储资源,虽然 Docker 通过 Mount 命名空间实现 了文件系统的隔离,但 好的代码,自动准备好相应的计算资源,完成运算并输出结果,从而大幅简化开 发运维过程。无服务器计算作为事件驱动架构,将工作负载分解成多个无缝隔离 的执行环境,每个执行环境都承载着一个特定任务并负责处理一个单独事件,在 时间与空间中各自运行。例如,基于 Knative[21]实现的 Serverless 架构将无服 务抽象为三个关键的组件,分别为构建应用的 build 组件、提供流量的 serving 组件和生产消费事件的0 码力 | 72 页 | 2.44 MB | 1 年前3
16-Nocalhost重新定义云原生开发环境-王炜法满⾜开发的配置需求。 云原⽣解放了部署和运维,开发呢? Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 / 7 云原⽣和 Kubernetes 的普及,进⼀步屏蔽了“微服务”应⽤的复杂度,这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题,现代的微服务应⽤开发,都会将每⼀个组 件打包成 Docker 镜像,并以⼯作负载的形式对其进⾏部署。利⽤ DevOps push 推送镜像到仓库 修改 Kubernetes ⼯作负载的镜像版本 等待镜像拉取结束 等待 Pod 重建 查看修改后的代码效果 这直接拖慢了开发的循环反馈过程,每次修改,动辄需要数分钟甚⾄⼗分钟的等待时间。 Nocalhost - 重新定义云原⽣开发环境 Nocalhost 是⼀个云原⽣开发环境,希望让开发云原⽣应⽤像开发单体应⽤原始⼜简单。 Nocalhost 重新梳理了开发过程所涉及到的⻆⾊和资源: 验。 为了快速理解 Nocalhost 重新定义的云原⽣开发环境,让我们⾸先站在不同的⻆⾊来看 Nocalhost 能给他们 带来什么。 开发⼈员: 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈,修改代码⽴即⽣效 ⼀键部署开发环境,摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动,⽀持远程调试 图形化的 IDE 插件,⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发0 码力 | 7 页 | 7.20 MB | 6 月前3
24-云原生中间件之道-高磊能设计,基于消息队 列的异步调用能够显著降低前端业务的响应时间,提高吞吐量;基于消息队列还能实现削峰填谷,把慢服务分离到 后置链路,提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求,应用将假设其依赖的云原生服务具备跟云一样的可用性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 Pod的形式提供算力,后续执行作业时涉及到的资源调度,依然由Yarn负 责。 • 在镜像和发布周期方面,容器镜像技术精简了应用的运行环境,镜像只需提供应用必须的依赖环境,使其存储空 间得到了极大的减少,上传和下载镜像的时间变的更短,快速启动和销毁变的很容易,总体极大的缩短了应用的 发布周期。 • 在资源利用率方面,借助云原生架构的技术能力,多方位提升系统的资源利用率,如细粒度调度(将CPU和内存 这两个核心资源划分的0 码力 | 22 页 | 4.39 MB | 6 月前3
云原生微服务最佳实践• 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress(Envoy) 云原⽣⽹关 Sentinel0 码力 | 20 页 | 6.76 MB | 1 年前3
中国移动磐舟DevSecOps平台云原生安全实践安全测试,给出漏洞的实际触发路径并提供实际可落地的修复建议。根据需求阶段提出的安全设计方案,配置IAST中的自定义规 则,基于IAST的扫描结果可以实现安全需求设计的闭环管理,大幅减少安全漏洞,有效降低风险暴露时间。 程 序 源 码 程 序 目 标 码 ( 插 桩 后 ) 平 台 机 器 码 应 用 系 统 I A S T 插 桩 A g e n t 展 示 漏 洞 结 果 编 译 解 释 运 能力输出:针对自有安全能力可以 增值输出政企客户 安全管控-镜像扫描 在自动、增量、批量进行镜像上线前的扫描后,生产节点拉取安全镜像,运行后提供服务,但漏洞问题日新月异,有很多迭代 速度慢的业务应用随着时间的推移,一些新的漏洞也需及时发现整改。镜像扫描工具会自动、周期性对已上线业务应用的镜像进行 多维度深度扫描,及时发现新出现的安全问题,及时修正。 业务 容器 业务 容器 业务 容器 业务 容器 提供“一站式”开发安全平台&工具,工具种类丰富 。 不改变原有开发流程,研发&测试人员轻感知,让安全“悄无声息” 纵深漏洞发现体系,每个阶段做最有效果的安全工作,提供最有效 的安全结果,降低安全人员漏洞验证的难度和时间,提高效率 磐舟一体化安全开发交付平台亮点 安全目前仍然是以卡点或门禁 的方式存在于DevOps流程中, 尽管已经实现了左移,但仍然 对效率造成一定的损耗,所以 我们需要探索如何将安全无缝0 码力 | 22 页 | 5.47 MB | 1 年前3
consul 命令行-retry-join "10.0.4.67" # Using IPv6 $ consul agent -retry-join "[::1]:8301" ● -retry-interval:加入尝试之间等待的时间。默认为30秒。 ● -retry-max- -join:退出返回代码之前尝试的最大尝试次数1.默认情况下,将其设置为0,将其解 为无限次重试。 ● -join-wan:启动时加入另一个万人代理 时重试wan连接。这对于我们知道地址 终可用的情况很有用。从Consul 0.9.3开始,云支持自动加入也是如此。 ● -retry-interval-wan- -join-wan:尝试之间等待的时间。默认为30秒。 ● -retry-max-wan- -join-wan:退出返回代码之前尝试的最大尝试次数1.默认情况下,将其设置为0 将其解释为无限次重试。 ● -log-level:Con 减少所有服务器同时拍摄快照的机会。由于日志将变得更大并且raft.db文件中的空间在下一个快照之 无法回收,因此增加此值将替换磁盘空间的磁盘空间。如果需要重播更多日志,服务器可能需要更长 原文链接:consul 命令行 时间才能从崩溃或故障转移中恢复。在Consul 1.1.0及更高版本中,默认为16384,在先前版本中, 设置为8192。 ● -raft-snapshot-interval:它控制服务器检查是否需要将快照保存到磁盘的频率。他是一个很少需0 码力 | 5 页 | 346.62 KB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊新一代架构(微服务)应用的对承载平台提出新要求 传统实践中,主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源 • 增加环境、网络(端口)和资源管理的复杂性,治理成本高 • 监控粒度难以满足微服务应用运维的需要,线上问题难以排查定位,往往需要研发介入 我们需要一种 Spring-Cloud-.... Netfilex OSS • eureka • hystrix • turbine • archaius • atlas • Fegin • Ribbon • Zuul 需要多长时间,才 能使得整个团队掌 握和熟练掌握? 担心的是:业务团 队在技术上不是长 项 依赖于某一种微服 务框架,可能其服 务治理能力不全、 只能绑定在一种语 言进行研发、升级 怎么办? 1 2 • 第二个困难已经被Mesh技术架构解决了 iceMesh的功能几乎重叠了! GW API GW API 过去两者的关系很清晰,而且由于当时Service Mesh和API Gateway是不同的产品,两者的重合点只是在功能上。而随着时间的推移,当 Service Mesh 产品和 API Gateway 产品开始出现相互渗透时,两者的关系就开始变得暧昧。基于gloo的思路,其实可以得到更一致的整合,但是目前gloo理念还在l 路0 码力 | 42 页 | 11.17 MB | 6 月前3
01. MOSN 高性能网络扩展实践 - 王发康• 不同方式加载 CGO 程序,则 GoLang runtime 运行时机可能不一样 • CGO 交互内存生命周期管理 Envoy 相关 • 默认配置不不支持 HTTP1.0 • Envoy 时间模块使用的是 UTC • upstream 支持 HTTP2 需要显示配置 • 访问日志换行需要自行配置 format 支持 • 异常场景下响应状态码不标准 • 各个 work 处理请求均衡性问题 metrics MOSN(GoLang) • Admin API • Debug log • GoLang runtime 指标 Envoy 和 MOSN 交互层 • MOSN(GoLang) 侧执行时间统计 • 交互异常数统计 • GoLang 程序异常场景下的容灾处理 MoE 方案介绍 — 方案总结 研发 效能 双模 支持 生态 丰富 • 将 MOSN 作为 Envoy 动态 so,提0 码力 | 29 页 | 2.80 MB | 1 年前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践Nodes node 1 node 2 node 3 Scheduler user Job-3 Job-4 Job-5 SLA 避免大作业饿死 解决方案:通过SLA配置作业的最长等待时间,降低大作业饿死的可能性 apiVersion: batch.volcano.sh/v1alpha1 kind: Job metadata: name: test-job annotations:0 码力 | 18 页 | 1.82 MB | 1 年前3
共 15 条
- 1
- 2













