云原生图数据库解谜、容器化实践与 Serverless 应用实操云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践:OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现,解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD ⾮常优秀的事件管理框架,但设计有些过于复杂,⽤户⽤起来有⼀定⻔槛 OpenFaaS� ⽐较流⾏的 FaaS 项⽬,但是技术栈有点⽼旧,依赖于 Prometheus 和 Alertmanager 进⾏ Autoscaling,也并⾮最专业和敏捷的做法 Serverless 新愿景 新⼀代开源函数计算平台 - 契机 云原⽣ Serverless 领域的最新进展为构建新⼀代 FaaS 平台提供了可能0 码力 | 47 页 | 29.72 MB | 1 年前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊管理应用平台,形成了一种新PaaS组织方式。 • 逻辑API:已有API的组 合,形成一个新API • 声明API:需要生成代 码框架(任何语言), 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户:消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划:向下兼容, 对比发布 • API文档:每一个API有 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 • 从稳定性目标出发,首先需要有提示应用出问题的手段 • 当提示出现问题后,就需要有定位问题位置的手段,进 一步要有能够指出问题根因、甚至提前就预警的手段。 KPI数值 Tracing 通过TraceId来 标识记录并还 原发生一次分 布式调用的完 整过程和细节 Logging 通过日志记录 执行过程、代 码调试、错误 异常微观信息 数据之间存在很多关联,通过 关联性数据分析可获得故障的 快速界定与定位,辅助人的决 策就会更加精确 根据运维场景和关注点的不同,以不同图表或者曲 线图来表示整体分布式应用的各维度情况,使得开 发人员可以清晰的观测到整体分布式应用的详细运0 码力 | 24 页 | 5.96 MB | 6 月前3
12-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 3、可用性不足,宕机问题 1.数据库框架 1.数据库框架 计算机领域的任何问题都可以通过增加一个中间层来解决。 数据库框架技术:在业务侧增强数据 库的能力。 直接在业务代码使用。 支持常见的数据库和JDBC。 轻量级,不需要额外的资源和机器。 1.数据库框架 1、改造对业务系统具有较大侵入性; 2、对于复杂的SQL,可能不支持; 3、对于跨库和跨分片的数据,需要额外机制保障一致性;0 码力 | 23 页 | 1.91 MB | 6 月前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院).....................................................................................23 2.3.2 容器提权和逃逸攻击............................................................................24 2.3.3 拒绝服务攻击.... 运行时安全能力建设...................................................................................53 4.2.1Web 应用和 API 安全...........................................................................54 4.2.2 云原生运行时安全 ...... 15 云原生安全威胁分析与能力建设白皮书 7 前 言 在数字化转型的大潮中,云计算作为实现创新和提高运营效率的关键技术, 成为了新一代信息技术的核心引擎。随着云计算的飞速发展和广泛应用,以及万 千企业数字化转型换挡提速,企业对云计算的使用效能提出新的需求。云原生以 其独特的技术特点,很好地契合了云计算发展的本质需求,正在成为驱动云计算 质变的技术内核。 云原生作为云计算深入发展的产物,已经开始在0 码力 | 72 页 | 2.44 MB | 1 年前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊以将算力卸载在距离业务现场、设备最近的地方,就 是边缘计算的场景,它的价值空间远超AIoT,可以更 大范围为客户赋能,IoT和边缘计算一定走向融合。 定位为基于物模型的计算 定位为基于业务的计算 高级能力-自动化-AIoT以及赋能业务-边缘计算(Edge Cloud )-2 • 为了更好的为客户业 务场景赋能,比如路 口的交通事故识别和 预警等等需要低时延 高算力的场景,需要 实现云边一体纳管, 简化运维,降低成本, 客户专注于业务领域。 客户专注于业务领域。 • 无论是AIoT还是边缘 计算,核心要素是计 算,计算平台的训练 平台位于云端,而推 理计算位于BOX端,并 且能够适应各类算法 和硬件的要求,形成 一个通用计算平台, 更普遍的为客户场景 赋能。 • 一切围绕如何将算力 输送到业务场景为中 心思想,构建技术体 系。 高级能力-业务双引擎循环驱动-业务数据化、数据业务化 互联网业务、万物互联业务等等造就了海量数据,而海量数 上下游业务链路,可以支撑快速的组织创新和业务创新。 高级能力-低代码或无代码平台 为了进一步加速业务APP交付速度,而专业业务人员并不熟悉IT领域知识,但是低代码可以使得非IT人员快速构建业务系统成为可能,低代码平台是业 务研发和运行一体的平台,其内部实现并不容易,想落地更不容易,关键在于人们现在存在巨大的误区!工具思维导致落地艰难! 业务沟通、需求分析与设计的交流平台 低代码平台表达的是业务逻辑。低代码平台的作用是将业务需0 码力 | 20 页 | 5.17 MB | 6 月前3
02. Kubevela 以应用为中心的渐进式发布 - 孙健波KubeVela:以应用为中心的 渐进式发布最佳实践 孙健波 阿里云-云原生应用平台团队 技术专家 关于我 • 孙健波 • 阿里云 (@天元) • 云原生应用平台团队--应用管理和应用交付 • Github(@wonderflow) • OAM - Open Application Model (https://oam.dev/) • KubeVela (http://kubevela 的标准化应用管理引擎 KubeVela 简介 第二部分 What is KubeVela? KubeCon NA 发布 一个标准化的云原生应用平台构建引擎。 • 基于 Kubernetes 和 OAM 模型构建 • 纯 Golang 编写 • 社区发起,社区构建 • 正式发布第 4 天,登顶趋势榜首 应用 平台团队 Canary Autoscale Route Web Service 如何扩容 扩容指标,实例数范围 组件类型 可灵活扩展的其 他能力 • 一个完整的应用描述文件(以 应用为中心) • 灵活的“schema”(参数由 能力模板自由组合) • 放置于应用代码库中(gitops 友好) • 无需学习 K8s 细节( 完整的 用户侧抽象 ) • 可自动适配任意 k8s 集群与部 署环境(环境无关) 查看“能力模板”的用法 1. 能力模板注册时,KubeVela0 码力 | 26 页 | 9.20 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊应用数量增长 应用类型丰富 应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 gCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配,短时间内难以扩展 • 缺乏隔离性,服务相互抢占资源 • 增加环境、网络(端口)和资源管理的复杂性,治理成本高 • 监控粒度难以满足微服务应用运维的需要,线上问题难以排查定位,往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台,去应对上述问题。 微服务应 用 大型 单体 应用 落地的核心问题:业务微服务的划分和设计(DDD,咨询方案等)、部署困难、维持运行困难、云资源 管理与应用管理视角分离导致复杂性等 • 传统方案:仅仅考虑了一部分变化而引起的不稳定,如通过基于人工规则的服务治理保护链路、如时 延体验较差的部署策略等 • 云原生是告诉我们:能够适应业务变化的微服务+能够适应制品变化的DevOPS+能够适应技术环境变 化的技术底座=云原生平台;其中变化是以研发循环形式不断出现和累加的,如果不进行治理,那0 码力 | 42 页 | 11.17 MB | 6 月前3
1.3 MOSN 在云原生的探索及实践MOSN 在云原生的探索和实践 王发康 2021 GopherChina About Me 王发康 蚂蚁集团 可信原生技术部,技术专家 蚂蚁集团技术专家,专注于高性能网络服务器研发,MOSN、 Tengine 开源项目核心成员,目前专注于云原生 ServiceMesh、 Nginx、Envoy、Istio 等相关领域。 喜欢开源,乐于分享。 https://github.com/wangfakang com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研,到产品孵化,历经重重困难,最终通过双 11 规模化验证。借力开源、反哺开 源,进行 Service Mesh 核心支付链路覆 盖 MOSN 宣布独立运营 CNCF landscape V0.13.0 发布, 进行云原生组 件生态融合 Istio 官方推荐 数据面 MOSN 和 Envoy、 Dapr、WASM 开始展开生态合作 商业化落地 江西农信 Mesh 阿里云 CDN 2019年双11 2019年12月 2020年6月 2020年7月 2020年12月0 码力 | 36 页 | 35.61 MB | 1 年前3
01. MOSN 高性能网络扩展实践 - 王发康处理性能高 (C++) 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MoE = MOSN + Envoy 相互融合,各取所长 在 Service Mesh 领域,Envoy 和 MOSN 作为其数据面 sidecar 之一 ,用于解决传统服务治理体系下的痛点如: 多语言,中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 MoE 背景介绍 — 为什么做 价值意义 • 技术共享,融合 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库(SDK)相对较少 WASM Extension gRPC server 能力, 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力, 改造成本低; 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析0 码力 | 29 页 | 2.80 MB | 1 年前3
2.2.7 云原生技术在2B交付中的实践⼤ 2B软件交付的愿景 01. 2B 软件交付的困局 像安装⼿机APP⼀样; 在任意环境之上; 实现快速、灵活地交付; 和智能的运维能⼒。 云原⽣与云原⽣应⽤ 第⼆部分 ⽬前云原⽣技术很⼴泛,All IN 云原⽣; 它是⼀个指导思想、实践思路和⾏为⽅式; 我们仅从2B软件交付领域来谈云原⽣技术; 云原⽣技术 云原⽣技术概要 02. 云原⽣与云原⽣应⽤ 云原⽣四要素 微服务 业务组件 流量治理 服务治理 运维能⼒ 应⽤ 应⽤模型定义⽤例 03. ⾯向交付的应⽤模型 应⽤模型 PaaS平台 Kubernetes模型 K8S控制器 其他资源资源模型 逐级封装,向上透明 Application ComponentDefinition WorkloadResource Deployment Service Ingress ServiceMonitor 2B交付版本的DevOps 第四部分 2B交付版本的DevOps全景图 04. 2B交付版本的DevOps 应⽤研发阶段 应⽤测试阶段 应⽤交付阶段 源码持续集成 业务组件组装 应⽤组件库 运维能⼒组装 (1)组件库获取通⽤能⼒ 多业务系统 隔离开发 (2)发布业务应⽤模型 (提交测试) 版本管理 ⽅案组装 组件共享 (3)获取测试的业务模版版本 测试环境管理 业务级测试 应⽤云原⽣性测试0 码力 | 31 页 | 6.38 MB | 1 年前3
共 30 条
- 1
- 2
- 3













