24-云原生中间件之道-高磊Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供,如果是HCI架构, 作为总体集成方,会降低安全集成成本 可信计算环境:OS安全、TPM加密、TEE可信环境 云原生安全:镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极 大优化整体效率和成本 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试,通过模拟业务流量发起请求,进行模糊测试,比如故障注入 或者混沌测试 语言无关性,很高的精确度。 难以覆盖复杂的交互场景,测试过程对业务造成 较大的干扰,会产生大量的报错和脏数据,所以 云原生PaaS平台 • 四大件在云原生场景下带来什么客户 价值? • 四大件在云原生场景下技术架构有什 么创新? 业务异步化|削峰填谷 高级能力-云原生数据库-应用的基石-1-价值和差别 先从一个广告词来看看云原生数据库和一般数据库的差别 项目 传统数据库 Oracle 云原生 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞0 码力 | 22 页 | 4.39 MB | 6 月前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊n Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 负载均衡 客户环境 • 关注点分离:开发者关注应用本身,运维人员关注模块化运维 能力,让应用管理变得更轻松、应用交付变得更可控; • 平台无关与高可扩展:应用定义与平台层实现解耦,应用描述 支持任意扩展和跨环境实现; • 模块化应用运维特征:可以自由组合和支持模块化实现的运维 现交个各个开源项目和 厂商去实现,譬如: kubevela。 OAM实现原理分析 • OAM是更高级的抽象, 执行面打包都是通用 格式,比如HELM,很 好的兼容了现有的基 础设施,无论怎样的 基础设施,都能在高 层保持一致的情况下, 在差异化的环境下运 行,而让业务研发人 员更加关注业务,而 不是基础设施本身。 • OAM本身就是基础设 施即代码的典范设计, 在中间层隔离了用户 使用和底层执行体, 进一步加强了统一性。0 码力 | 24 页 | 5.96 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊云原生学院 第 22 期 云原生产品与架构系列:第1讲 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 10月27日(周三)晚8点-9 点 高磊 主 办 方 : 互 动 平 台 : 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 工作量 成本 新一代架构(微服务)应用的对承载平台提出新要求 传统实践中,主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源 • 增加环境、网络(端口)和资源管理的复杂性,治理成本高 • 监控粒度难以满足微服务应用运维的需要,线上问题难以排查定位,往往需要研发介入0 码力 | 42 页 | 11.17 MB | 6 月前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-1 远端控制 云端分析系统 设备端 自动化解决用户使用体验问题,计算量属于窄带范畴, 所以计算算力重点在于云端,云端计算体系架构成熟, 成本较低,在业务上本地的设备根据模式信号反馈一些 动作,比如下雨关窗帘,是自动化范畴,上传云端的数 据都是属性数据,比如谁什么时候干了什么,后续云端 根据个人喜好数据为用户提供比如按照个人喜好调节温 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 简化运维,降低成本, 客户专注于业务领域。 • 无论是AIoT还是边缘 计算,核心要素是计 算,计算平台的训练 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 企业可以在业务高峰时使用混合云补充 算力,并在低谷时从公有云撤回算力, 经济性和业务支撑两不误 • 可以结合私有云和公有各自的优势,尤 其是数据安全方面,这是客户使用公有 云的最大顾虑 • 在云原生产生之前,混合云架构就存在 了,云原生的混合云,除了具备传统混 合云的属性和特性,也同时具备了支撑 现在应用程序更好在不同云形态部署、 运行的能力。 • 云之间同步服务元数据为相同的服务治 理提供基础,同步镜像,为同一服务拓0 码力 | 20 页 | 5.17 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 3、可用性不足,宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 OceanBase TiDB Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员0 码力 | 23 页 | 1.91 MB | 6 月前3
09-harbor助你玩转云原生-邹佳(邹佳), VMware主任工程师/Harbor 核心维护者和架构师 Harbor-助你玩转云原生 关于我 Steven(佳) Zou(邹),VMware中国研发中心主任工程师, Harbor开源项目架构师及核心维护者,拥有十多年软件研发及 架构经验,获得PMP资格认证及多项技术专利授权。曾在HPE、 IBM等多家企业担任资深软件工程师和架构师,专注于云计算及 云原生等相关领域的研究与创新。著有《Harbor权威指南》等 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 [1] 云原生(cloud-native)技术使组织能够在现代化和动态的环境下(如公有云、私有云 GitHub访问/访问者* 40K+/10K+ Fork 4000+ 下载* 5K+ *: 数据周期10/02-10/16 (2周) 初识Harbor [2] – 社区 初识Harbor [3] – 整体架构 截止:v2.0 初识Harbor [4] – 功能 … 项目N 制品管理 访问控制(RBAC) Tag清理策略 Tag不可变策略 P2P预热策略 缓存策略0 码力 | 32 页 | 17.15 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)权限提升攻击路径................................................................... 41 图 15 利用 CVE-2018-1002105 窃取高权限凭证...............................42 图 16 未授权访问结果................................................. 图 17 绕过 Istio JWT 认证访问结果........................................................45 图 18 云原生应用保护能力建设架构图....................................................47 图 19 制品安全能力建设............................. 明确云原生和云原生安全。 1.1.1 云原生 2015 年,Pivotal 的高级产品经理 Matt Stine 发表新书《迁移到云原生 应用架构》,探讨了云原生应用架构的 5 个主要特征:符合 12 因素应用、面 向微服务架构、自服务敏捷架构、基于 API 的协作和抗脆弱性。同一年,Google 作为发起方成立 CNCF,指出云原生应该包括容器化封装、自动化管理、面向 微服务。到了 20180 码力 | 72 页 | 2.44 MB | 1 年前3
36-云原生监控体系建设-秦晓辉的核心研发,快猫星云联合创始人,当前在创业,为客 户提供稳定性保障相关的产品 个人主页:https://ulricqin.github.io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 花些时间 •Kubernetes的监控,缺少体系化的文档指导,关键指标是哪些?最佳实践是什么?不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高, 监控难度加大 从 Kubernetes 架构来 看要监控的组件 Kubernetes架构 l 服务端组件,控制面:API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点,最核心就是监控Pod容器和节点本 kubelet 和 kube-proxy l 业务程序,即部署在容器中的业务程序的监控,这 个其实是最重要的 随着 Kubernetes 越来越流行,几乎所有云厂商都提供 了托管服务,这就意味着,服务端组件的可用性保障交 给云厂商来做了,客户主要关注工作负载节点的监控即 可。如果公司上云了,建议采用这种托管方式,不要自 行搭建 Kubernetes,毕竟,复杂度真的很高,特别是 后面还要涉及到升级维护的问题。既然负载节点更重要,0 码力 | 32 页 | 3.27 MB | 6 月前3
25-云原生应用可观测性实践-向阳simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生,水平扩展 监控数据 性能指标 调用日志 网络链路 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 混合云全栈可观测架构 〔分布式〕 流量分析 解析 聚合 关联 压缩 零侵入的流量采集与分析 发送 零侵入的云原生应用可观测性 Flow 数据节点 云原生,水平扩展 监控数据 性能指标 调用日志 网络链路 YUNSHAN Networks Technology Co., Ltd. All rights reserved. 实战8:怎样打标签 容 器 云 资源池 区域 可用区 虚拟化 宿主机 虚拟机 云服务 RDS Redis 容器 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD 应用0 码力 | 39 页 | 8.44 MB | 6 月前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况: • 业界首个云原生批量计算平台 • 2019年6月开源,2020年进入CNCF,目前是CNCF孵化级项目 • 2.9k star,500+ 全球贡献者 • 50+ 企业生产落地 Queue vc-controller vc-scheduler vsub kubectl Node NUMA GPU Node NUMA GPU … VolcanoGlobal 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Server Queue Controller Job Controller 交互式服务、常驻服务、离线分析业务统一平台调度; • Job级别的调度管理,包括生命周期、依赖关系等; • 支持业界主流计算框架,如Spark、TensorFlow等; • 多用户公平分配资源,快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载; • Queue动态资源共享,DRF、优先级抢占 用户收益: • 大数据作业从Yarn平滑迁移至K8s; •0 码力 | 18 页 | 1.82 MB | 1 年前3
共 27 条
- 1
- 2
- 3













