4_杨柳_基于Python构建高稳定可扩展的自动化测试集群
0 码力 | 62 页 | 25.29 MB | 1 年前3Nacos架构&原理
在开源支持就定下了⼀个目标,尽可能的减少用户部署以及运维成本,做到用户只需要⼀个 程序包,就可以快速以单机模式启动 Nacos 或者以集群模式启动 Nacos。而 Nacos 是⼀个需要 存储数据的⼀个组件,因此,为了实现这个目标,就需要在 Nacos 内部实现数据存储。单机下其 实问题不大,简单的内嵌关系型数据库即可;但是集群模式下,就需要考虑如何保障各个节点之间 的数据⼀致性以及数据同步,而要解决这个问题,就不得不引入共识算法,通过算法来保障各个节 节 点之间的数据的⼀致性。 为什么 Nacos 选择了 Raft 以及 Distro 为什么 Nacos 会在单个集群中同时运行 CP 协议以及 AP 协议呢?这其实要从 Nacos 的场景出 发的:Nacos 是⼀个集服务注册发现以及配置管理于⼀体的组件,因此对于集群下,各个节点之间 的数据⼀致性保障问题,需要拆分成两个方面 从服务注册发现来看 服务发现注册中心,在当前微服务体系下 失的话,是可以通过该机制快速弥补数据丢失。 29 > Nacos 架构 因此,为了满足服务发现注册中心的可用性,强⼀致性的共识算法这里就不太合适了,因为强⼀致 性共识算法能否对外提供服务是有要求的,如果当前集群可用的节点数没有过半的话,整个算法直 接“罢工”,而最终⼀致共识算法的话,更多保障服务的可用性,并且能够保证在⼀定的时间内各 个节点之间的数据能够达成⼀致。 上述的都是针对于 Nacos 服务0 码力 | 326 页 | 12.83 MB | 9 月前32022年美团技术年货 合辑
数据库异常智能分析与诊断 1059 美团外卖广告智能算力的探索与实践(二) 1079 Linux 下跨语言调用 C++ 实践 1101 GPU 在外卖场景精排模型预估中的应用实践 1130 美团集群调度系统的云原生实践 1149 广告平台化的探索与实践 | 美团外卖广告工程实践专题连载 1161 数据 1193 Kafka 在美团数据平台的实践 1193 美团综合业务推荐系统的质量模型及实践 搜索中有改写流量占比约 73%,在大众点评 App 搜索有改写流 量占比约 67%。构建的查询改写能力和服务平台支持各个业务频道内搜索以及搜索 广告平台等,并取得了不错的收益。现在查询改写服务高峰期集群 QPS(Query Per Second)已经达到了 6 万次 / 秒,我们会进一步投入研发,提升公司内乃至业界内 的技术影响力。 如何更好地连接用户和平台上的服务、商家、商品是一个需要长期和多方面投入解决 字段规则校验埋点上报是否符合预期。 前端 < 503 图 18 埋点校验流程图 5. 测试流程 AlphaTest 的核心测试流程始终聚焦在用例的录制与回放环节,整个流程涉及到自 动化任务触发、回放集群调度、断言服务、消息推送等核心模块。 以 UI 自动化和埋点自动化的流程为例,AlphaTest 以业务团队为基本单元,可以和 各团队的测试用例进行关联,定时同步状态。同时利用需求评审线上化做为基础,将0 码力 | 1356 页 | 45.90 MB | 1 年前3Apache Shiro 1.2.x Reference Manual 中文翻译
我们将创建一个非常简单的命令行应用程序,它将运行并迅速退出,这样你 可以领略到 Shiro 的API。 任何应用程序 Apache Shiro设计从一开始就支持任何应用程序——从最小的命令行应用程序最大的集群 web 应用程序。对于本教程,尽管我们创建一个简单的应用程序,你都知道运用相同的使用模 式来进行应用程序创建或部署。 本教程需要 Java 1.5 或更高版本。 我们还将使用 Apache Maven Reference Manual 中文翻译 23 3. Architecture 架构 4. Configuration 配置 Shiro 可以在任何环境下工作,从简单的命令行程序到大型企业级集群项目,因为环境的多样 化,可以通过许多途径来配合当前环境的配置方式进行配置,在本章我们来了解一下 Shiro 核 心支持的配置方式。 多种配置选择 Shiro 的 SecurityManager Realms 8. Session Management Apache Shiro 提供安全框架界独一无二的东西:一个完整的企业级Session 解决方案,从最 简单的命令行及智能手机应用到最大的集群企业Web 应用程序。 这对许多应用有着很大的影响——直到 Shiro 出现,如果你需要 session 支持,你需要部署你 的应用程序到 Web 容器或使用EJB 有状态会话Bean。Shiro0 码力 | 196 页 | 2.34 MB | 1 年前32.2.2 深入理解BFE
• 流量控制能力增强 • BFE平台的主要功能 • 接入和转发,流量调度,安全防攻击,数据分析 BFE部署前 BFE部署后 L4LB 业务A 集群 业务B 集群 业务C 集群 BFE 业务A 集群 业务B 集群 业务C 集群 L4LB BFE平台架构 负载均衡器 vs 名字服务 基于负载均衡器 基于名字服务 方案对比 方案 对流量的控制力 资源消耗 对客户端的要求 BFE转发的主要概念 BFE的转发过程 BFE的路由转发 默认集群 基础转发表 Demo-E 匹配条件 目标集群 www.a.com/a/* Demo-A www.a.com/a/b Demo-B *.a.com/ Demo-C www.c.com ADVANCED_MODE 高级转发表 匹配条件 目标集群 req_host_in(“www.c.com”) && req "deviceid", "x", false) Demo-D1 req_host_in(“www.c.com”) Demo-D 内网流量调度 • 使用场景 • 多数据中心 / 多容器云集群 • 内部服务故障 • 内部服务压力不均 健康检查 • 主动健康检查 • 负载均衡系统持续向RS发送探测请求 • 问题:在响应速度和发送压力间存在权衡 • 在分布式场景下问题更加明显 • 被动健康检查0 码力 | 26 页 | 1.78 MB | 1 年前3美团点评2018技术年货
有核心应用,并在生产环境中大规模地得到使用。 2016 年初至今,CAT 接入的应用增加了400%,机器数增加了 900%,每天处理的消息总量高达 3200 亿,存储消息量近 400TB,高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长,CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了 一系列的升级和改造,包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等,项目最终稳 美团点评基础架构团队诚招 Java 高级、资深技术专家,Base北京、上海。我们是集团致力于研发公司 级、业界领先基础架构组件的核心团队,涵盖分布式监控、服务治理、高性能通信、消息中间件、基础存 储、容器化、集群调度等技术领域。欢迎有兴趣的同学投送简历到 yong.you@dianping.com。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 LruCache在美团DSP系统中的应用演进 WebSocket 的七层负载,5xx的爆发通常表明服务端不可用。由于目前 Nginx 告警没有细分具体哪台机器不可用,接下来,我们就到 CAT (美团点评统一监控平台,目前已 经开源)去检查一下整个集群的各项指标,就发现如下两个异常: 某台机器在同一时间点爆发 GC(垃圾回收),而且在同一时间,JVM 线程阻塞。 接下来,我们就就开始了漫长的堆外内存泄露“排查之旅”。 排查过程 排查过程 阶段1:0 码力 | 229 页 | 61.61 MB | 1 年前3202205 MeterSphere:一站式开源持续测试平台
⽤例评审 Jira / TAPD 等 Mock 数据 Postman Swagger JMeter 脚本、 CSV 脚本 MeterSphere Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job UI 登录 API 调⽤ 运⾏ 关联 对接⼝直接 进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 管理 调⽤ MeterSphere Node-Controller 主机-2 Node-Controller 主机-3 Node-Controller 主机-N Node-Controller 虚拟机集群 Kubernetes 集群 接⼝⾃动化任务下发执⾏ 接⼝⾃动化转性能测试任 务下发执⾏ 调度机可以动态 扩容,适配团队 ⼤规模使⽤ 函数代码库 ● 兼容 JMeter 函数 ● 内置 MockJS 以⾃动化的⽅式开展局部到全链路的压测; 3. 根据实际业务情况,适当引⼊外部专家服务。 MeterSphere 性能测试核⼼设计 性能测试 主机集群环境 基础层:性能测试环境 核⼼层:性能测试脚本 展示层:性能测试报告 容器集群环境 IaaS 云环境 压测⽂件管理 压测场景管理 压测模型管理 压测汇总报告 压测详细报告 压测趋势图表 压测 监控 性能测试报告 • ⾃动⽣成测试报告0 码力 | 40 页 | 11.03 MB | 1 年前3202203 MeterSphere:一站式开源持续测试平台
⽤例评审 Jira / TAPD 等 Mock 数据 Postman Swagger JMeter 脚本、 CSV 脚本 MeterSphere Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job UI 登录 API 调⽤ 运⾏ 关联 对接⼝直接 进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 管理 调⽤ MeterSphere Node-Controller 主机-2 Node-Controller 主机-3 Node-Controller 主机-N Node-Controller 虚拟机集群 Kubernetes 集群 接⼝⾃动化任务下发执⾏ 接⼝⾃动化转性能测试任 务下发执⾏ 调度机可以动态 扩容,适配团队 ⼤规模使⽤ 函数代码库 ● 兼容 JMeter 函数 ● 内置 MockJS 以⾃动化的⽅式开展局部到全链路的压测; 3. 根据实际业务情况,适当引⼊外部专家服务。 MeterSphere 性能测试核⼼设计 性能测试 主机集群环境 基础层:性能测试环境 核⼼层:性能测试脚本 展示层:性能测试报告 容器集群环境 IaaS 云环境 压测⽂件管理 压测场景管理 压测模型管理 压测汇总报告 压测详细报告 压测趋势图表 压测 监控 性能测试报告 • ⾃动⽣成测试报告0 码力 | 41 页 | 11.71 MB | 1 年前3202309 MeterSphere ⼀站式开源持续测试平台
⽤例评审 JIRA / TAPD 等 Mock 数据 Postman Swagger JMeter 脚本、 CSV 脚本 MeterSphere Chrome 插件录 制脚本 压测集群 测试结果 测试报告 动态测试报告 配置 Job 或者流⽔线 登录 MeterSphere 界⾯ API 调⽤ ⾃动运⾏ 关联 对接⼝直接进⾏压测 缺陷同步 接⼝ 导⼊ 上传 维护 Node-Controller 主机-2 Node-Controller 主机-3 Node-Controller 主机-N Node-Controller 虚拟机集群 Kubernetes 集群 接⼝⾃动化任务 下发执⾏ 接⼝⾃动化转性能 测试任务下发执⾏ 调度机制可以动态扩容, 适配团队⼤规模使⽤。 函数代码库 ● 兼容 JMeter 函数 ● 内置 MockJS 以⾃动化的⽅式开展局部到全链路的压测; 3. 根据实际业务情况,适当引⼊外部专家服务。 MeterSphere 性能测试核⼼设计 性能测试 主机集群环境 基础层:性能测试环境 核⼼层:性能测试脚本 展示层:性能测试报告 容器集群环境 IaaS 云环境 压测⽂件管理 压测场景管理 压测模型管理 压测汇总报告 压测详细报告 压测趋势图表 压测 监控 性能测试报告 • ⾃动⽣成测试报告0 码力 | 45 页 | 4.65 MB | 1 年前32.7 Golang与高性能DSP竞价系统
Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • Server端:等待Redis官⽅方(当时还没有的) • Proxy中间代理:twemproxy,维护⽅方便,有⼀一定的性能消 耗 • Client端:配置、维护⿇麻烦,⼏几乎⽆无性能损耗 Redis集群 专业DSP解决⽅方案 Redis集群 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 500个Redis实例 • 占⽤用600G内存 • 峰值QPS在50万 Redis集群 专业DSP解决⽅方案 • Redis没有集群,维护成本⾼高(嗯,当时是还没的) CookieMapping 第⼀一版 专业DSP解决⽅方案 © ⼲⼴广州舜⻜飞信息科技有限公司 All Right ReservedAll Right Reserved • 性能不⽐比Redis差 • SSD优化 • 完备的分布式集群 • ⼆二级索引 • 开源,企业版⽀支持跨机房的集群 • 99%的请求1ms响应0 码力 | 51 页 | 5.09 MB | 1 年前3
共 143 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15