1.2 基于 Golang 构建高可扩展的云原生 PaaS 平台
基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点,现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者, Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 Erda Infra 开发框架 Erda Infra 是⼀套轻量级 Go 微服务框架,包含⼤量现成的模块和⼯具,能够快速构 建起以模块化驱动的应⽤程序。 • 以模块化设计⽅式来驱动应⽤系统实现,⽀持模块可插拔 • 统⼀配置读取,⽀持默认值、⽀持从⽂件、环境变量、命令⾏参数读取 • 统⼀模块的初始化、启动、关闭 • 统⼀管理模块间的依赖关系 • ⽀持模块间的依赖注⼊ • 包含⼤量现成的微模块 基于 pr 的持续集成 - 打破需求、开发和测试的边界 简化平台的上⼿难度 - 解耦对中间件的强依赖 - 平台应⽤可独⽴安装和部署 - 像搭积⽊⼀样拼装系统 云端和本地⼀致的开发体验 - 本地⽆需启动完整的环境 - 借助IDE插件实现云端服务连接 - 本地和云端服务可交互 微信公众号 : Github : https://github.com/erda-project/erda0 码力 | 40 页 | 8.60 MB | 1 年前34_杨柳_基于Python构建高稳定可扩展的自动化测试集群
0 码力 | 62 页 | 25.29 MB | 1 年前3MySQL高可用 - 多种方案
MYSQL 高可用方案探究 1 前言........................................................................................................................................... 3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案 .............. 8 2.4.10 高可用方案测试 .............................................................................................. 9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案 ....................... 的启动 .............................................................................. 16 4 Heartbeat 高可用 Mysql 主主同步方案 .............................................................................. 16 40 码力 | 31 页 | 874.28 KB | 1 年前3Curve元数据节点高可用
© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 异常情况4:Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点,负责空间分配,集群状态监控,集群节点间的资源均衡等,mds故障可能会导致client端无法写入。 因此,mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务,称该提供服务的mds节点为主,等待节点为备;主节点的服务挂掉之后,备节点能启动服务,尽量减小服务中断的时间。 需要解决的问题就是:如何确定主备节点。 家熟知的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块,一是mysql, 用于存储集群拓扑的相关信息;二是etcd,用于存储文件的元数据信息。而etcd可以用于实现mds高可用,没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期,到期后key会被0 码力 | 30 页 | 2.42 MB | 5 月前3高性能高可用机票实时搜索系统
⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 规则库写⼊入量量⼤大,集群峰值达20K TPS • 要求同步延迟很低,不不超过60s • 保持顺序⼀一致性,如果先删后插变成 先插后删,数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎 — 组织索引 北北 京 | 上 海海 成 都 | 杭 州 ⼴广 州 | 郑 州 南 宁 | 天 津 … 索引库 DB Sync 规则库 供应商 A 供应商 B Canal 解析 拆分 分配 ⼊入队 CAN-NNG … … … PEK-SHA DataSync Diff ZK 按 供 应 商 分 表 按 航 线 分 表 报价引擎 — 同步系统⾼高可⽤用 DB主 DB备 Canal 主 Canal 备 DataSync DataSync DataSync DataSync DB主 DB备 DB备 DB主 ZK ZK ⼊入库0 码力 | 26 页 | 1.94 MB | 1 年前3OpenShift Container Platform 4.10 可伸缩性和性能
OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 Last Updated: 2023-10-18 OpenShift Container Platform 4.10 可伸缩性和性能 扩展 OpenShift Container Platform 集群并调整产品环境的性能 过量使用 2.2. 禁用透明巨页 2.3. 使用 RECEIVE FLOW STEERING(RFS)提高网络性能 2.4. 选择您的网络设置 2.5. 确保 Z/VM 上使用 HYPERPAV 的高磁盘性能 2.6. IBM Z 主机上的 RHEL KVM 建议 第 第 3 章 章 推荐的集群 推荐的集群扩 扩展 展实 实践 践 3.1. 扩展集群的建议实践 3.2. 修改机器集 3.3. 关于机器健康检查 127 134 136 139 139 139 139 141 153 154 154 155 157 OpenShift Container Platform 4.10 可伸 可伸缩 缩性和性能 性和性能 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 码力 | 315 页 | 3.19 MB | 1 年前3202306 ⼈⼈可⽤的开源数据可视化分析⼯具
2023 年 6 ⽉ ⼈⼈可⽤的开源数据可视化分析⼯具 数据可视化对企业的价值 DataEase 开源项⽬介绍 DataEase 模板市场 DataEase 企业版介绍 1 2 3 4 可视化 原始数据 数据价值 数据孤岛 管理混乱 缺失分析 全业务场景 ⽤户⾏为管理 数据驾驶舱 数据→信息→价值 可以为企业运营 带来直接收益 数据可视化对企业的价值 能够快速、⾼效地 业价值是排在第⼀位的影响要素。 1 易⽤性 2 功能丰富 3 稳定性、性能 4 数据分析能⼒ 5 采购成本 6 服务⽀持 7 ⼚商实⼒ ⼈⼈可⽤ 企业选择数据可视化⼯具的考量 数据可视化对企业的价值 DataEase 开源项⽬介绍 DataEase 模板市场 DataEase 企业版介绍 1 2 3 4 DataEase DataEase可以帮助⽤户快速分析业务数据并洞察其趋势,为企业的业 务改进与优化提供⽀持。DataEase⽀持丰富的数据源连接,能够通过 拖拉拽的⽅式快速制作图表,并且可以⽅便地与他⼈进⾏分享。 ⼈ ⼈ 可 ⽤ 的 开源数据可视化分析⼯具 DataEase 开源项⽬的使命 • 2021 年 6 ⽉ 28 ⽇发布,发布 三个⽉内两次登顶 GitHub Trending 榜单; • ⽇均下载安装次数超过0 码力 | 27 页 | 3.61 MB | 1 年前3如何用 MySQL 构建全方位高可用应用
MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考,不可纳入任何合同。该信息 不承诺提供任何资料、代码或功能,并且不应该作为制定购买决策的依据。本文档 所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 4/16/2017 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 群集或 Oracle VM Group Replication MySQL Cluster MySQL 高可用性解决方案 4/16/2017 9 9 . 9 9 9 % 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 5 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 7 • MySQL Replication • Shared Storage • Group Replication • MySQL0 码力 | 40 页 | 2.19 MB | 1 年前3在Kubernetes上部署高可用的Service Mesh监控
在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring0 码力 | 35 页 | 2.98 MB | 5 月前324-云原生中间件之道-高磊
切 问 题 , 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 险 是 不 可 预 知 的 ! 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 现从运行态左移到研发态,将大大提高效率 现从运行态左移到研发态,将大大提高效率 和降低成本 默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 量减少,提高了整体效率! 安全右移是为了恰到好处的安全,一些非严 重安全问题,没有必要堵塞主研发流程,可 以交于线上安全防御系统。提高了整体实施 效率! 安全编排自动化和响应作为连接各个环 节的桥梁,安全管理人员或者部分由 AIOps组件可以从全局视角观察,动态 调整策略,解决新问题并及时隔离或者 解决! 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极 大优化整体效率和成本 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试,通过模拟业务流量发起请求,进行模糊测试,比如故障注入 或者混沌测试 语言无关性,很高的精确度。 难以覆盖复杂的交互场景,测试过程对业务造成 较大的干扰,会产生大量的报错和脏数据,所以0 码力 | 22 页 | 4.39 MB | 5 月前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100