# Spark 简介以及与 Hadoop 的对比 ## 1 Spark 简介 ### 1.1 Spark 概述 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job ）行为。当这个RDD的部分分区数据丢失时，它可以通过Lineage获取足够的信息来重新运算和恢复丢失的数据分区。这种粗颗粒的数据模型，限制了Spark的运用场合，但同时相比细颗粒度的数据模型，也带来了性能的提升。 RDD 在 Lineage 依赖方面分为两种 Narrow Dependencies 与 Wide Dependencies 用来解决数据容错的高效性。Narrow Dependencies 方式 ,通过记录跟踪所有生成 RDD 的转换（transformations）也就是记录每个 RDD 的 lineage（血统）来重新计算生成丢失的分区数据。 ## 2 Spark 与 Hadoop 对比 ### 2.1 快速 Spark 的中间数据放到内存中，对于迭代运算效率更高。Spark 更适合于迭代运算比较多 的 ML 和 DM 运算。因为在 Spark 里面，有 RDD 的抽象概念。

Element Plus 和 Ant Design Vue 对比测评，哪个更好？ 作者：HiJiangChuan 原文链接：https://ld246.com/article/1649305618750 来源网站：链滴 许可协议：署名-相同方式共享4.0国际(CC BY-SA 4.0) # Element Plus 和 Ant Design Vue 对比测评 卡拉云 kalacloud.com 本文首发：《Element 本文首发：《Element Plus 和 Ant Design Vue 对比测评，哪个更好？》 Vue 3 发布后，各家第三方库开始陆续重构并支持 Vue 3，国内两大知名框架 Element Plus 和 Ant Design Vue 也相续发布新版支持 Vue 3。到底应该怎么选择呢？本文从多个维度对两个框架进行对比测评。 ## ant-design-vue vs element-plus Ant Design Vue 1.x 仅支持 Vue 2，2.x 是为了 Vue 3 开发的兼容版，并没有任何新特性，大多数的 API 也只是为了更好的兼容 Vue 3，3.x 版在易用性、功能、性能上都有了很大的提升，可以说是对 ue 3 比较成熟支持的版本了。 ## 浏览器兼容性 Element Plus 和 Ant Design Vue 3 都已不在支持 IE 了，并不是他们自己放弃了

f7196cc12c191/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 移动APP性能监测实践（iOS篇） 杨凯 # 国 

## GCN ## 业务性能优化概览  By Xargin 《Go 语言高级编程》合著者 Go contributor ; m > maxPayload { _, c.outBuf = sliceForAppend(c.outBuf[:0], recordHeaderLen) 怎么样说服官方接受性能优化的 PR ## 内存占用过高-goroutine 数量太多导致内存占用高 这些内存的构成部分： 1. Goroutine 栈占用的内存(难优化，一条 tcp 连接至少对应一个 goroutine)

# APISEVEN 和 Kong EE 的性能评测 -- GigaOm 高性能API管理测试 产品评估：API7和Kong企业版  1 - 摘要3 API76 图1. API7技术架构7 Kong 企业版7 3-GigaOm API负载测试设置9 4-测试结果12 图2. 空转时的压力测试 API 的基线延迟12 图3. API7与Kong EE在20,000 rps时的对比13 图4. API7与Kong EE在10,000 rps时的JWT对比。13 图5. API7与Kong EE在10,000 rps时的1,000条路由的对比14 5-结论15 6-附录16 7-关于GigaOm19 8-关于API720 ## 1 - 摘要 本 开发，且能降低计算成本的开销。 更重要的是，许多组织也依赖API和微服务来实现高性能和可用性。在本文中，我们将“高性能”定义为每秒负载超过1000个交易且在整个API环境中最大延迟小于30毫秒。对公司而言，对性能的需求和对管理的需求一样，因为公司依靠API交易速率来跟上业务发展速度。 API管理解决方案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和高交易量吞吐的解决方案。如果业务

656c39f0055537d7f9feafcf0f03f1/p1_2.jpg) PYTHON 30th ## Python机器学习性能优化 以BERT服务为例，从1到1000 刘欣 ## 目录 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动手优化  ## 计算力对比 • GFLOPS/s 每秒浮点数计算次数  PYTHON 30th ## 3 定位性能瓶颈 Profile before Optimizing ## Python Profilers • time.time() • cProfile • line profiler • pyflame

 # 性能优化之无分支编程  Branchless Programming by uppercase，对于排序过的数据明显比乱序时高效。 - 无分支的方法对于乱序和有序的数据一样高效，性能吊打了传统的分支方法。 - 对于传统分支的做法，为什么排序了的更高效？既然无分支更高效，我要怎样优化才能让我的程序变成无分支的呢？那就来看本期性能优化专题课吧！ ## 分支预测成败对性能的影响 ||Nanoseconds (ns)|Microseconds (μs)|Milliseconds 50% 到 60%、90%、99% 直到有一次，突然出现了一次分支 B 成功的案例，CPU 瞬间被打脸！不得不浪费 99% 已经填满 A 数据的流水线清空，重启整个流水线，这就是分支预测失败，他是导致分支性能低下的罪魁祸首。不过被打了一次脸的 CPU 还不敢相信，觉得这可能只是碰巧，下一次还是会执行分支 A 的吧，所以他只是把分支 A 的比例下调到 80%，直到第二次又被打脸，下调到最初的起点 50%……

## 对 Go 程序进行可靠的性能测试 Changkun Ou https://changkun.de/s/gobench/ Go 夜读系列 | talkgo.org | Talk Go | 第 83 期 March 26, 2020  对代码块进行性能调优 ☐ 例2: Benchmark 的正确性分析 ☐ 例3: 其他的影响因素 • 假设检验的原理 • 局限与应对措施 • 总结 ## 教科书式的性能测试方法论 在《Software Testing: Principles and Practices》一书中归纳的性能测试方法论： 1. 搜集需求 2. 编写测试用例 3. 自动化性能测试用例 4. 执行性能测试用例 5. 分析性能测试结果 6. 性能调优 7. 性能基准测试(Performance Benchmarking) 8. 向客户推荐合适的配置 ## 可靠的测试环境 ## 什么是可靠的性能基准测试环境 ## 影响测试环境的软硬件因素 • 硬件: CPU 型号、温度、IO 等 软件：操作系统版本、当前系统调度的负载等 ## 指导思想 ● 单次测量结果毫无意义，统计意义下可对比的结果是关键

## Golang与高性能DSP竞价系统  By @QLeelulu  舜飞科技 http包的HelloWorld性能测试  Via: http://www.cnblogs.com/QLeelulu/archive/2012/08/12/2635261.html ## 为什么选择Golang • 高性能、天生并发支持 • 性能敏感的模块可以直接使用C编写（当时是这么认为的） 性能敏感的模块可以直接使用C编写（当时是这么认为的） • 编译为本地机器码，部署方便 - 快速上手，学习成本低 • 标准库基本够用 • 带GC（当时不了解GC的性能问题） - 自带单元测试、性能测试、性能分析工具 • 开发效率不低 ## 备选 • C++ • NodeJS • Golang ✓ ## 竞价接口 ## HTTP竞价接口 • 直接用golang的http包 - 只使用gorilla/mux做简单的请求路由