24-云原生中间件之道-高磊
克服了Calico SDN安全和性能方面的不足 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全,端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件:数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析 业务赋能 典型微服务应用 Flexvolume 驱动将应 用服务与底层存储进行衔接,其设计之初 即为 Kubernetes 生态所服务,对容器化应 用的适配非常友好。 高级能力-云原生中间件-应用的基石-MQ为例 云原生消息服务是云原生的通信基础设施 消息中间件在云原生的应用场景,主要是为微服务和EDA架构提供核心的解耦、异步和削峰的能力,在云原生体系 架构中消息服务还发挥着数据通道、事件驱动、集成与被集成等重要作用。云原生倡导面向性能设计,基于消息队 性,从而不需要去建设备份链 路来提高应用的可用性,降低架构的复杂度。只有做到与云一样的可用性,云在服务就在,才能称为真正的云原生服务。 低成本 (Serverless化) 在过去,每家公司自建消息中间件集群,或是自研的、或是开源的,需要投入巨大的研发、运维成本。云原生时代的消息服务借助Serverless等弹 性技术,无需预先Book服务器资源,无需容量规划,采取按量付费这种更经济的模式将大幅度降低成本。0 码力 | 22 页 | 4.39 MB | 5 月前312-从数据库中间件到云原生——Apache ShardingSphere 架构演进-秦金卫
从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫(kimmking) 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架:从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件:从框架技术到分布式的数据库中间件技术 3.分布式数据库:从数据库中间件技术发展到分布式数据库 分布式数据库:从数据库中间件技术发展到分布式数据库 4.数据库网格:数据库与微服务、云原生的发展关系 5.数据库解决方案:如何基于 ShardingSphere 生态创建数据库解决方案 1.数据库框架 1.数据库框架 摩尔定律失效 分布式崛起 1.数据库框架 随着数据量的增大,读写并发的增加,系统可用性要求的提升,单机 MySQL面临: 1、容量有限,难以扩容 2、读写压力,QPS过大,特别是分析类需求会影响到业务事务 2.数据库中间件 2.数据库中间件 作为中间件,独立部署,对业 务端透明。 任何语言平台的系统都可以接 入,可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件,像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题; 2、需要单独的资源部署,以及维护; 3、接入端需要实现数据库协议,对非开源数据库无法支持。 数据库中间件使用的约束:0 码力 | 23 页 | 1.91 MB | 5 月前336-云原生监控体系建设-秦晓辉
Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代,基础设施动态化,Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心 •微服务的流行,要监控的服务数量大幅增长,是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设,更愿意埋点 •各种采集器层出不穷,都是本着可采尽采的原则,一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控系统更多的是关注机器、交换机、中间件的监控,每个监控对象一个标识即可,没有维度的设计 •新一代监控系统更加关注应用侧的监控,没有维度标签玩不转,每个指标动辄几个、十几个标签 指标维度更为丰富 kubernetes 的服务发现机制 • ksm 采集的监控指标数据量很大,请求其 /metrics 接口可能要拉取十几秒甚至几十秒,对于一些不关注的资源, 我们可以不采集,典型的手段是通过 –resources 参数来控制,比如 –resources=deamonsets,deployments • 对于某个具体的资源类型,可以做更细粒度的控制,比如屏蔽某个指标:--metric- denylist=kube_deployment_spec_0 码力 | 32 页 | 3.27 MB | 5 月前3阿里巴巴核心应用洛地 Service Mesh 的挑战与机过
Service Mesh 的挑战与机遇 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •2010 四川大学毕业 •2010-2016 社区、我的淘宝、中间件软负载 •2016-2019 自主创业、挖财中间件负责人 •2019-今 阿里服务网格团队 专注软负载、服务治理、分布式;Nacos 奠 基人、《Service Mesh 实战作者》;爱好骑 行、钢琴•现状及行业态度 NodeJS Java C++ Golang 运维系统云原生时代快速赋能 Biz APP Non Ali Biz框架思维转向平面思维 Service Mesh Biz Non Ali Biz将中间件能力下层到基础层 业务 (Java/Go/C++ 等) Serverless 业务 (Java/Go/C++ 等) 业务 (Java/Go/C++, etc) Serverless 截方案,基于 iptables 的 mangle 表实现了一个全新的透明拦截组件#2 短时间内支持电商业务复杂的服务治理功能 •单元化?多环境?基于参数调用的路由? 1. RPC 使用的是 Groovy 脚本,Mesh 不具备。 2. RPC 并没有将参数作为元信息放置 在请求头。#3 短时间内支持电商业务复杂的服务治理功能 •扩展 VirtualService 和 DestinationRule#30 码力 | 22 页 | 6.61 MB | 5 月前3进击的 Traefik | 云原生边缘路由器探秘
Branch: v1.7、v2.0(v1.X configurations are NOT compatible with the v2.X )Traefik 2.0 新特性 •TCP 支持 •中间件 •全新的 Dashboard •金丝雀发布 •流量复制 •其他功能......1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker Routers 分析请求(host, path, headers, SSL, …) • Services 将请求转发给你的应用(load balancing, …) • Middlewares 中间件,用来修改请求或 者根据请求来做出一些判断( authentication, rate limiting, headers, ...)Providers • Providers 可以是编排工具、容器 ProviderMiddlewares配置 • 静态配置:Traefik 启动时的 配置,Provider 连接信息、要 监听的 EntryPoints,通过配置 文件、命令行参数、环境变量 定义 • 动态配置:Traefik 处理请求 的所有配置,证书、路由、服 务、中间件等,动态改变、无 缝更新1 Traefik 介绍 2 Traefik 2.0 核心概念 3 Traefik With Docker 4 Traefik0 码力 | 35 页 | 8.58 MB | 5 月前3MySQL 兼容性可以做到什么程度
TDDL首次双十一 “去IOE完成” 天价账单 上云 2009 2011 2012 2013 2013 2015 TDDL 以中间件形态在阿里云上 发布: DRDS Oracle根据双十一350的交易量, 反推出了天价账单也谈所谓的“中间件” 中间件只是起点,PolarDB-X 可能是离终点最近的那个 对近十年的探索以及五年的上云 经验进行重新思考,面向未来设 从运维视角实现计算存储一体化 often rhymes.Short Answer:No and NO ONE Does进入 Kubernetes 生态 04 When in Rome, do as the Romans do.参数设置 容灾部署 CDC 备库重搭 备库重搭 SQL审计 只读实例0 码力 | 18 页 | 3.02 MB | 5 月前3蚂蚁金服双十一 Service Mesh 超大规模落地揭秘
蚂蚁金服双十一 Service Mesh 超大规模落地揭秘 黄挺(鲁直) 蚂蚁金服微服务以及云原生负责人 雷志远(碧远) 蚂蚁金服中间件 RPC 负责人2 个⼈人简介 雷志远(碧远) 蚂蚁金服 RPC 负责人 主要 Focus 领域: * 服务框架:SOFARPC(已开源) * Service Mesh:MOSN(已开源) 黄挺(鲁直) 蚂蚁金服云原生负责人 主要 WebService 数据面 控制面 社区产品 蚂蚁产品6 二、为什么我们要 Service Mesh 为什么要 Service Mesh为什么要 Service Mesh-现状 5.客户端中间件版本的统一 9% 3.流量调度的诉求 18% 4.框架不断升级 14% 2.机器资源逐年增加 27% 1.业务和框架耦合 32%8 因为我们要解决在 SOA 下面,没有解决但亟待解决的: 容器 15 方案落地-框架升级后 应用代码 SOFABoot_Old SOFABoot/SOFARPC API SOFABoot_New JVM RPC 检测 pod 变量,注 入启动参数 判断开启了 MOSN 发布和订阅服务 直接调用,关闭寻 址功能 其他16 方案落地-容器替换 Pod Pod Old Pod New With MOSN Pod New With0 码力 | 26 页 | 2.71 MB | 5 月前3分布式NewSQL数据库TiDB
设置备份策略 调整⾃动备份策略 ⼿动备份 备份恢复 参数配置 参数配置 进⼊管理⻚⾯ 查看 修改 ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 5/120 85 86 86 88 93 93 95 96 99 100 100 101 103 103 104 105 105 105 105 105 参数列表 告警通知 告警通知 创建告警模板 绑定资源 实例类型 计费说明 计费指南 回收 操作指南 TiDB 实例 ⽤⼾ 备份恢复 Dashboard/监控访问 TiDB Serverless 实例 ⽤⼾ Binlog同步 TiFlash管理 备份恢复 参数配置调整 告警通知 证书管理 数据库审计 安全组 数据迁移 性能数据 概览 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 9/120 FAQ 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 场景 随着业务的⾼速发展,数据呈现爆炸性的增⻓,传统的单机数据库⽆法满⾜因数据爆炸性的增⻓对数据库的容量要求,可⾏⽅案是采⽤分库分表的中间件产品或者 NewSQL 数据库替代、 采⽤⾼端的存储设备等,其中性价⽐最⼤的是 NewSQL 数据库,例如:TiDB。TiDB 采⽤计算、存储分离的架构,可对计算、存储分别进⾏扩容和缩容,计算最⼤⽀持0 码力 | 120 页 | 7.42 MB | 5 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
,形成了一种新PaaS组织方式。 • 逻辑API:已有API的组 合,形成一个新API • 声明API:需要生成代 码框架(任何语言), 契约驱动研发 • BaaS API:数据库接口、 中间件接口外化成API • API门户:消费者可以 根据领域-能力查询到 想要的API。 • 自动生成SDK方便集成。 • 发行计划:向下兼容, 对比发布 • API文档:每一个API有 一个活档,指导集成。 各维度统计分析 观察性 Prometheus Skywalking EFK Hadoop Spark Cortex ....... 传统交付方式的不足之处 手册文档 配置参数 应用 应用 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档,需要在客户 环境做“安装配置”和“与遗留系统集成”0 码力 | 24 页 | 5.96 MB | 5 月前3TiDB中文技术文档
目 录 致谢 README TiDB 简介 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 TiDB 运维文档 软硬件环境需求 部署集群 Ansible 部署方案(强烈推荐) 离线 Ansible 部署方案 Docker 部署方案 Docker Compose 部署方案 跨机房部署方案 配置集群 参数解释 TiDB 配置项解释 开启 TLS 验证 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 书栈(BookStack.CN) 构建 README TiDB 简介与整体架构 TiDB 简介 TiDB 整体架构 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 数据目录 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解0 码力 | 444 页 | 4.89 MB | 5 月前3
共 46 条
- 1
- 2
- 3
- 4
- 5