24-云原生中间件之道-高磊的成本大于能够避免的资产损失价值时,变 得毫无意义! 而传统安全开发周期管理由于角色分离、流 程思路老旧、不关注运维安全等问题严重拖 慢了DevOps的效率! 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案! 传 统 安 全 工 作 传 统 由 独 立 安 全 工 程 师 负 责 , 与 开 发 人 员 沟 通 安 全 问 题 , 产 生 大 量 沟 通 成 本 传 统 安 全 检 查 编 码 和 测 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 险 是 不 可 预 知 的 ! 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 现从运行态左移到研发态,将大大提高效率 和降低成本 默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 节的桥梁,安全管理人员或者部分由 AIOps组件可以从全局视角观察,动态 调整策略,解决新问题并及时隔离或者 解决! DevSecOps 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试,通过污点跟踪对源代码或者二进制程序(也包括Docker镜像等) 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极0 码力 | 22 页 | 4.39 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性; 4、缺乏较好的数据平滑迁移和过渡方案; 5、Java Only(或其他)。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 KingShard Vitess ? Spanner Aurora GaussDB PolarDB OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源;0 码力 | 23 页 | 1.91 MB | 6 月前3
36-云原生监控体系建设-秦晓辉Grafana-agent Datadog-agent node-exporter Categraf Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况,是一个需要关注的点,容器层面主要关注CPU和内存使用情况,Pod 层面主要 关注网络IO的情况,因为多个容器共享Pod的net namespace,Pod内多个容器的网络数据相同 引擎的接口读取到,也可以直接读取 cAdvisor 的接口,Kubelet 里 内置了cAdvisor,cAdvisor 不管是 docker 还是 containerd 都可以采集到,推荐 { 抓取方案一 } • 左侧这个配置大家在网上比较容易搜到,通过kubernetes_sd_configs做服务发现,查找所有node,通过 Kubernetes apiserver 的 proxy 接口,抓取各个node(即kubelet)的 如30s或60s • 所有的拉取请求都走 apiserver,如果是几千个node的大集群,对 apiserver 可能会有较大压力 Kubernetes Node - 容器负载监控 抓取方案 { 抓取方案二 } • 直接调用 kubelet 的接口 /metrics/cadvisor ,不走 apiserver 这个 proxy,避免对 apiserver 的请求压力 • 采用 Daemonset0 码力 | 32 页 | 3.27 MB | 6 月前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊ent API,但是它却 把研发和运维的描述放在了一起;其二是Operator(CRD),我们不得不为不同 客户开发很多不同特质的Operator,交付成本依然很高。 定制Operator这种解决方案,看似 比较合理,但是强烈依赖于K8S这种 容器调度系统,无法做到通用化, 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念,用户面对的是Workload和Pod这样的概念,以及对应的运维概念(比如 多种东西的集成,也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范,这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像 多区域分发 配置 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 再也不会出现由于理解不一致导致的交付失败 的情况,而不论底层容器云实现如何,应用的 交付的方式都是一致的。 DevOps是一种文化,是一种组织赋能,在无所不在,OAM除了在交付过程中提供了基于应用的 交付方案,同时将CICD与底层实现解耦,可以插接无限制的工具组件,使得可以对应不同交付 场景所要求的不同工具链。比如叠加serverless能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAA0 码力 | 24 页 | 5.96 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊现在 未来 云原生的业务承载平台? 什么是云原生->为云而生 • 落地的核心问题:业务微服务的划分和设计(DDD,咨询方案等)、部署困难、维持运行困难、云资源 管理与应用管理视角分离导致复杂性等 • 传统方案:仅仅考虑了一部分变化而引起的不稳定,如通过基于人工规则的服务治理保护链路、如时 延体验较差的部署策略等 • 云原生是告诉我们:能够适应业务变化的微服务+能 另一个方向是,将底层计 算、存储和网络进行超融 合,提供极其简单的底层 运维能力,进一步简化云 原生+资源层整体运维和 提升资源利用质量。 标准化能力-按需调度-Serverless 业务价值 架构 • 彻底消除传统服务端基础设施依赖,降低研发复杂性和运维难度 • 按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发,无须关心基础设施 • 只需要将视频存入存储,接入极其简单,达到极致业务体验 总体而言就是下面这几个方面的事情: • 生命周期(Lifecycle) • 网络(Networking) • 状态(State) • 捆绑(Binding) 每种需求存在的问题和局限性,导致传统解决方案如企业服 务总线(ESB)及其变体(如消息中间件,轻量级的集成框架 等)不再适用。随着微服务的发展,以及容器和 Kubernetes 的普及和广泛使用,云原生开始影响这些需求的实现方式。 未来趋势0 码力 | 42 页 | 11.17 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)标准规范 的制定完善工作,CNCF、CSA 等组织以及行业联盟等纷纷提出云原生安全标 准及参考技术规范。同时,主要经济体国家的标准也在制订和完善过程中,使得 行业逐步走向规范,推动了产品和解决方案逐步走向成熟。 在中国信息通信研究院、云安全联盟和相关企业的共同努力下,云原生的安 全标准陆续制定和颁布,当前相关主要的标准如表 1: 表 1 云原生安全相关标准 序号 标准名称 简要内容 会造成镜像仓库和用户双方的安全风险。 2.2.4 敏感信息泄露攻击 当开发人员使用默认的或在容器镜像中保留硬编码的敏感数据,比如密码、 API 密钥、加密密钥、SSH 密钥、令牌等,或者在 Dockerfile 文件中存储了固 定密码等敏感信息并对外进行发布,都可能导致数据泄露的风险。攻击者会使用 扫描工具,比如 SecretScanner 等,探测镜像中存在的敏感信息,发现容器镜 像和文件系统中的敏感数据。 3.3 拒绝服务攻击 由于容器与宿主机共享 CPU、内存、磁盘空间等硬件资源,且 Docker 本 身对容器使用的资源并没有默认限制,如果单个容器耗尽宿主机的计算资源或存 储资源(例如进程数量、存储空间等),就可能导致宿主机或其他容器的拒绝服 务。 计算型 DoS 攻击:Fork Bomb 是一类典型的针对计算资源的拒绝服务攻击 手段,其可通过递归方式无限循环调用 fork()系统函数,从而快速创建大量进程。0 码力 | 72 页 | 2.44 MB | 1 年前3
09-harbor助你玩转云原生-邹佳[2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站:goharbor.io CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 项目 存储 访问控制 制品资源 Members Images Guest: Developer: Administrator: docker pull ... docker pull/push ... Project operation & management Settings 提供以项目为单位的逻辑隔离,存储共享 不同角色具有不同的访问权限,可以与其它用户系统集成 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理:根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意:不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据,V2.1之前为阻塞式GC,V2.1之后实 现非阻塞式 释放并回收空间/可能释放配额 1 2 3 构建高可用(HA)仓库服务0 码力 | 32 页 | 17.15 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊是未来下一代云,目前云厂商还在摸索阶段 • 有望成为云计算终极形式,云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年,全球数据存储总量预计为58ZB,平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题: 通过当前的中心化云计算处理和存储海量新 增数据费用高昂;二、隐私和安全问题: 当前的中心 化云计算无法保证个人数据的隐私和安全性;三、数字 资产流动性问题: 数据是一种资产,互联网巨头数据 这些问题,预计到2022年,每10个字节的数据中,将有 7个字节的数据是没有数据中心的。 综合IDC、麦肯锡报告、华为报告,在2019年,全球中 心化云计算市场规模为2602亿美元,云存储市场为 491.3亿美元;而与之对应的去中心化云存储市场约30 亿美元,去中心化云计算市场约100亿美元。未来,10 年到20年,去中心化云计算、云储存市场有望实现10年 100倍的增长,达到 的规模。 高级能力-精益化运维-云原生AIOps 用的“一键安装、多 处运行”的应用编排目标 AIOps精细化运维 依托于K8S和ServiceMesh等度量数据精确性的提升,并给予AI算法从不同维度计算应用架构运 行态势,实现基于响应的自动化运维方案,大大降低了用户使用门槛,更安全更可靠的交付 最终软件产品。 目前的重点在于底座进一步实现应用与底层基础设施解耦,全面提升研发、运维效率,降低应用落地的整体成本 成熟度评估方法0 码力 | 20 页 | 5.17 MB | 6 月前3
25-云原生应用可观测性实践-向阳simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 开箱即用的解决方案 Metrics, tracing, and logging 2017.02.21 Peter Bourgon simplify the growing complexity © rights reserved. 2.0 服务:统一的可观测性平台 可观测性平台(Metrics、Tracing、Logging) 基础设施团队 业务团队A 业务团队B 业务团队C 业务团队D …… 存储、检索服务 观测数据 观测数据 观测数据 观测数据 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co. the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. Tag:统一的数据存储 InfluxDB DeepFlow 5.3 Elasticsearch DeepFlow 5.1 1x ClickHouse DeepFlow 5.7 3x 300x 100K 300K 100M0 码力 | 39 页 | 8.44 MB | 6 月前3
01. MOSN 高性能网络扩展实践 - 王发康喜欢开源,乐于分享。 https://github.com/wangfakang 目 录 MoE 背景介绍 01 MoE 方案介绍 02 MoE 实践效果 03 MoE Roadmap 04 MoE 背景介绍 MoE 是什么 为什么做 MoE 方案调研与分析 MoE 背景介绍 — 什么是 MoE 处理性能高 (C++) 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库(SDK)相对较少 WASM Extension 跨语言语言支持(C/C++/Rust)、 GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing Filter0 码力 | 29 页 | 2.80 MB | 1 年前3
共 23 条
- 1
- 2
- 3













