12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 3、可用性不足,宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架使用的约束: 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束: Cockroach DB …… 3.分布式数据库 1.水平扩展性 2.计算存储分离 3.分布式事务 4.多副本机制 5.SQL接入支持 6.云原生支持 容量 性能 一致性 可高用 易用性 伸缩性 代替单机数据库(注意,主要解决容量问题)。 3.分布式数据库 1、需要较多的机器资源; 2、对于替换数据库技术的公司,代价较大,放弃多年积累; 1)引入框架,研发人员 2)引入中间件,研发人员+运维人员=》研发团队0 码力 | 23 页 | 1.91 MB | 6 月前3
云原生微服务最佳实践net/ 价值 效率(人越来越贵,算力越来越便宜) • 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 MSE微服务引擎 Nacos Ingress(Envoy) 网关最佳实践 K8s(API-Server) App3(服务网格) VPC2 云原生网关 VPC1 Nacos(业务域1) App2(微服务) 云原生网关 1、网络不通 2、业务边缘部署 3、协议不同 4、安全域不同 5、跨region 云原生网关 云原生网关 Fuction(Serverless) App1(单体应用) 证书管理 认证登录 三方认证 WAF防护 限流熔断0 码力 | 20 页 | 6.76 MB | 1 年前3
云原生图数据库解谜、容器化实践与 Serverless 应用实操⽂档:Nebula 架构 官⽹:⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边,并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control #operator in KinD. You can now have K8s+all- Deps+Nebula-Operator in a one- liner. Nebula Operator Kind,⼀键 单机玩转 Nebula K8s 集群 siwei.io 5�24 PM · Sep 1, 2021 3 Copy link t… roadmap of nebula-operator Nebula0 码力 | 47 页 | 29.72 MB | 1 年前3
24-云原生中间件之道-高磊助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;2020年井喷的 文件系统级别的隔离效果。 • 容器编排层实现基于名词空间、PSP 策略的编排隔离能力,保证不同租户从应用部署侧即无法访问其他租户的存储卷服务。 高级能力-云原生存储-应用的基石-2-技术架构 Rook是一个集成了Ceph、Minio等分布式存 储系统的云原生存储方案,意图实现一键 式部署、管理方案,且和容器服务生态深 度融合,提供适配云原生应用的各种能力。 从实现上,可以认为 Rook 是一个提供了 Ceph 集群管理能力的 Operator。其使用 CRD 方式来对 Ceph、Minio 等存储资源进 行部署和管理。 Ceph文件存储 MiniO对象存储 • Operator:实现自动启动存储集群,并监控存储守护进程,并确保存储 集群的健康; • Agent:在每个存储节点上运行,并部署一个 CSI / FlexVolume 插件, 和 Kubernetes 的存储卷控制框架进行集成。Agent0 码力 | 22 页 | 4.39 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊物联终端 互联网、 大数据 AI、 IoT 数字化转型 应用价值提升 应用数量增长 应用类型丰富 应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 场景 3 如果业务系统要升级,如何平滑升级?万一升级失败是 否能够自动回滚?整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? 发现故障 (假死) 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 工作量 成本 新一代架构(微服务)应用的对承载平台提出新要求 传统实践中,主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展0 码力 | 42 页 | 11.17 MB | 6 月前3
(四)基于Istio on Kubernetes 云原生应用的最佳实践 - Alibaba Cloud K8S Playground云原⽣生应⽤用的最佳 实践 2018-11-09 � 部署Istio 打开容器器服务控制台,在左侧导航栏中选中集群,右侧点击更更多,在弹出的菜单中选中 部署Istio。 在打开的⻚页⾯面中可以看到Istio默认安装的命名空间、发布名称; 通过勾选来确认是否安装相应的模块,注意勾选下Kiali Kiali; 点击 部署Istio 按钮,⼏几⼗十秒钟之后即可完成部署。 ⾃自动 Sidecar 注⼊入 查看namespace: 命名空间istio-system,点击创建。输⼊入名称为kiali, 域名也为kiali, 选择服务kiali及端⼝口20001. 后续步骤中会随时查看Kiali,来展示服务之间的调⽤用关系。 部署应⽤用 使⽤用 kubectl 部署简单的服务 1 kubectl apply -f app.yaml 上⾯面的命令会启动全部的3个服务,其中也包括了了 addedvalues 服务的版本v1. 定义 Ingress kubectl get gateway 应⽤用缺省⽬目标规则 1 kubectl apply -f destination-v1.yaml 等待⼏几秒钟,等待⽬目标规则⽣生效。这意味着上述3个微服务已经都部署在istio的环境中了了。你可以使⽤用以下命令来查看⽬目标规则: 1 kubectl get destinationrules 查看Ingress Gateway的地址 点击左侧导航栏中的服务0 码力 | 6 页 | 1.33 MB | 1 年前3
36-云原生监控体系建设-秦晓辉Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点,最核心就是监控Pod容器和节点本 身,也要关注 kubelet 和 kube-proxy l 业务程序,即部署在容器中的业务程序的监控,这 个其实是最重要的 随着 Kubernetes 越来越流行,几乎所有云厂商都提供 了托管服务,这就意味着,服务端组件的可用性保障交 给云厂商来做了,客户主要关注工作负载节点的监控即 Kubernetes apiserver 的 proxy 接口,抓取各个node(即kubelet)的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例,调用 apiserver 的接口即可,维护较为简单,采集频率可以调的稍大,比 如30s或60s • 所有的拉取请求都走 apiserver,如果是几千个node的大集群,对 apiserver } • 直接调用 kubelet 的接口 /metrics/cadvisor ,不走 apiserver 这个 proxy,避免对 apiserver 的请求压力 • 采用 Daemonset 的方式部署 • 但是,缺少了对 __meta_kubernetes_node_label_(.+) 的 labelmap,即:通过这种方式采集的数据,我们无法得到 node 上的 label 数据。node 上的0 码力 | 32 页 | 3.27 MB | 6 月前3
16-Nocalhost重新定义云原生开发环境-王炜法满⾜开发的配置需求。 云原⽣解放了部署和运维,开发呢? Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 2 / 7 云原⽣和 Kubernetes 的普及,进⼀步屏蔽了“微服务”应⽤的复杂度,这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题,现代的微服务应⽤开发,都会将每⼀个组 件打包成 Docker 镜像,并以⼯作负载的形式对其进⾏部署。利⽤ DevOps DevOps 流⽔线中的持续集成和持续部署, 配合 Kubernetes 探针、HPA、应⽤⾃愈的能⼒,彻底解放了微服务应⽤的部署和运维环节。 但我们忽略了⼀个关键节点:开发阶段 微服务应⽤使⽤ Kubernetes ⼯作负载封装后,解决了开发过程应⽤的快速启动问题,开发⼈员只需要在本地 安装单节点的 Kubernetes 集群,例如 Minikube、Kind 等即可快速启动微服务应⽤。 但对于开发⼈ Nocalhost 重新定义的云原⽣开发环境,让我们⾸先站在不同的⻆⾊来看 Nocalhost 能给他们 带来什么。 开发⼈员: 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈,修改代码⽴即⽣效 ⼀键部署开发环境,摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动,⽀持远程调试 图形化的 IDE 插件,⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发 管理⼈员: 统⼀管理微服务应⽤包,降低应⽤的维护成本0 码力 | 7 页 | 7.20 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)务自治故障自愈能力,基于云原生技术栈构建的平台具有高度自动化的分发调度 调谐机制,可实现应用故障的自动摘除与重构,具有极强的自愈能力及随意处置 性;大规模可复制能力,可实现跨区域、跨平台甚至跨服务的规模化复制部署。 由此可见,云原生作为一种新兴的安全理念,是一种构建和运行应用程序的 技术体系和方法论,以 DevOps、持续交付、微服务和容器技术为代表,符合云 原生架构的应用程序应该:采用开源堆栈(k8s+Docker)进行容器化,基于微 ,从而提 供弹性、按需、云原生的安全能力,提高“防护—检测—响应”闭环的效率; (3)在安全设备或平台云原生化后,提供云原生的安全能力,不仅适用于 通用云原生、5G、边缘计算等场景,还可以独立部署在大型电商等需要轻量级、 高弹性的传统场景,最终成为无处不在的安全。 1.2 云原生安全发展 云原生在改变了企业上云及构建新一代基础设施的同时,作为一项新兴技术 也带来了一系列新的问题,对企 用分布式安全策略 和技术,如服务间的身份验证和授权、服务网格的加密通信、微服务的监测和异 常检测等。 管理模式的变化 云原生安全威胁分析与能力建设白皮书 15 云原生应用的快速迭代和部署频率也对安全治理模式提出了新的要求。传统 的安全治理模式通常是基于静态的规则和策略,针对云原生 DevOps 安全治理 需要采用持续安全集成和交付的实践,结合自动化的安全测试、漏洞扫描和合规0 码力 | 72 页 | 2.44 MB | 1 年前3
中国移动磐舟DevSecOps平台云原生安全实践• 开发过程自主可控 • 一键发布上磐基,实现“乘舟上云,稳如磐基” • 沉淀IT软件资产,核心代码掌控 • 提升开发交付效率 一键 上磐基 构建 打包 容器 化镜 像 自动化 部署 研发安 全扫描 需求 设计 敏捷 开发交付协同 云原生DevSecOps 安全工具链 国产化 双平面调度 敏捷开 发过程 统一代 码仓库 依赖制 品仓库 统一 镜像库 云原生 统一的安全代码仓库,按项目级别分级管 理,落盘加密,云IDE防护,显示水印等多 重防护。 云原生虚拟化开发集群 利用虚拟化技术实现开发集群,分钟级交 付,突破有限资源开发集群供给。 原生使用模式,开发组件一键部署 云原生CI持续集成 使用Dockerfile进行云原生方式的CI构建, 拓展形成ARM、x86双架构流水线,底层 安全漏洞统一修复 全面云原生安全 支持代码安全扫描、镜像安全扫描、开源 平台管理的需求、任务、缺陷、文档、镜像等数字资产 10.43亿 平台管理的业务或应用代码行数 215.87万 平台进行代码质量扫描、代码安全扫描、镜像安全扫描、整体安全扫描量 183.81万 提交代码、构建、部署总次数,其中x86构建16.42万次,arm构建1.59万次 企业级超大规模实践—推动中移数字化转型 中国移动集团范围内推广使用磐舟,截止2022年10月30日,平台已入驻项目356个。其中IT公司208个,涉及0 码力 | 22 页 | 5.47 MB | 1 年前3
共 24 条
- 1
- 2
- 3













