Spark 简介以及与 Hadoop 的对比Spark 简介以及与 Hadoop 的对比 ## 1 Spark 简介 ### 1.1 Spark 概述 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框架,Spark 基于 map reduce 算法实现的分布式计算,拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算法。 ### 1.2 Spark 核心概念 #### 1.2.1 弹性分布数据集(RDD) RDD 是 Spark 的最基本抽象, 是对分布式内存的抽象使用, 实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD 是 Spark 最核心的东西, 它表示已被分区, 不可变的并能够被并行操作的数据集合, 不同的数据集格式对应不同的 不同的数据集格式对应不同的 RDD 实现。RDD 必须是可序列化的。RDD 可以 cache 到内存中, 每次对 RDD 数据集的操作之后的结果, 都可以存放到内存中, 下一个操作可以直接从内存中输入, 省去了 MapReduce 大量的磁盘 IO 操作。这对于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说, 效率提升比较大。 #### 1.2.2 RDD 的转换与操作 对于 RDD 可以有两种计算方式 :转换(0 码力 | 3 页 | 172.14 KB | 2 年前3
2 张孝峰 Python与云 AWS的Python原生应用浅析009cbc3d54b7ebdf1408fed713/p1_2.jpg) ## Python与云 ## AWS的Python原生应用浅析 张孝峰 亚马逊AWS资深解决方案架构师 ## PyConChina 2019 ## Python 30周年 ## ☑ PYTHON 30th ## Python发展时间线 开始实现 v0.9.0 v1.0.0 1989/12 1991/2 1994/1 /e/7/a/de7ac0009cbc3d54b7ebdf1408fed713/p4_2.jpg) 2019/10 开始研发2004 2019/10 22个区域165项服务 ## Python被称为“瑞士军刀” • 自动化运维 • AI / 机器学习 • Web开发  T ## 如何管理和使用海量的云API A AWS Lambda : https://v.qq.com/x/page/h0626qo1fju.html ## V ideo Interview全面席卷投行 HUANENG GUICHENG TRUST ## 人才招聘的未来走向 联合利华率先在招聘中采用AI视频面试 高盛、小摩、大摩、黑石、贝莱德、贝恩 等纷纷采用video interview做为新的首轮 视频面试方式  ## 高效筛选候选人 视频面试软件可以帮助优秀的应聘者脱颖而出,便于招聘者重点关注这些候选人。0 码力 | 51 页 | 4.69 MB | 2 年前3
Julia 1.10.7 Documentationdifferences from MATLAB 477 38.2 Noteworthy differences from R 479 38.3 Noteworthy differences from Python 482 38.4 Noteworthy differences from C/C++ 484 38.5 Noteworthy differences from Common Lisp 488 languages. Because Julia's compiler is different from the interpreters used for languages like Python or R, you may find that Julia's performance is unintuitive at first. If you find that something expressiveness for high-level numerical computing, in the same way as languages such as R, MATLAB, and Python, but also supports general programming. To achieve this, Julia builds upon the lineage of mathematical0 码力 | 1691 页 | 6.34 MB | 1 年前3
03 小罗 python与devops292426081f4/p1_2.jpg) ## Python与Devops Law ## 目录 CONTENTS  Devops技术栈 Devops构建示例 Python工具二次开发  ## Devops DevOps 是一个完整的面向 IT 运维的工作流,以 IT 自动化以及持续集成(CI)、持续部署(CD)为基础,来优化程式开发、测试、系统运维等所有环节 ## 构建Devops之前面临的问题 我要改变!  ## Python C拓展在各平台的打包与发布 赵丰 GitHub ID: zhaofeng-shu33  ## 1 为什么需要C拓展包 假如 numpy 官方的源只包含一堆 .c 文件 现在你要 pip p2_3.jpg) ## 2 如何在不同的平台打包并发布  编写 setup.py if windows: do something else: do others 处理不同平台的差异  国内镜像 同步 ## 3 C拓展打包的注意事项 - 在 Linux 系统上打包无法上传到 pypi.org,只能用官方提供的 CentOS 6.10 Docker 打包 - C拓展包如果依赖额外的动态库需要一起打包进去并且在包导入的时候动态添加PATH - 每一个Python版本打包的C拓展包相互独立,py37不能安装py36打包的二进制包 - 在Windows平台上需要预装 Visual0 码力 | 6 页 | 414.79 KB | 2 年前3
Element Plus 和Ant Design Vue 对比测评,哪个更好?Element Plus 和 Ant Design Vue 对比测评,哪个更好? 作者:HiJiangChuan 原文链接:https://ld246.com/article/1649305618750 来源网站:链滴 许可协议:署名-相同方式共享4.0国际(CC BY-SA 4.0) # Element Plus 和 Ant Design Vue 对比测评 卡拉云 kalacloud.com 本文首发:《Element 本文首发:《Element Plus 和 Ant Design Vue 对比测评,哪个更好?》 Vue 3 发布后,各家第三方库开始陆续重构并支持 Vue 3,国内两大知名框架 Element Plus 和 Ant Design Vue 也相续发布新版支持 Vue 3。到底应该怎么选择呢?本文从多个维度对两个框架进行对比测评。 ## ant-design-vue vs element-plus 7c/p3_2.jpg) Element Plus 发布正式版后,下载量飙升,当然这也依托于 Element UI 的占有率和好口碑。有关 Element Plus 的入门教程可看这篇:《Element Plus for Vue 3 入门教程》 ## 框架版本对 Vue 的支持 ● Element UI 支持 Vue 2 ● Element Plus 支持 Vue 3 • Ant Design0 码力 | 5 页 | 387.25 KB | 2 年前3
Python与视效行业 郭李灼[Image](/uploads/documents/b/d/9/e/bd9e1c46b768c379d1dff5382472bcfe/p1_2.jpg) ## Python与影视特效 郭李灼 目录 CONTENTS >> Python与视效行业 >> 展望 >> 一起来玩耍  ## 1 Python与视效行业 1.1 视效怎么做 1.2 Python在视效行业的应用 ## 视效怎么做?  ## Python在视效行业的应用 ## Apple BM MAYA MAX RF F6  ## Python in Azure Functions ## 基于Python的Azure Functions实践 赵健 - Microsoft 目录 CONTENTS >> >> Python 在 Azure 中无处不在 >> 粘合剂 – Azure Functions ments/a/5/8/6/a58624fb90d74755f6f59626fe84b055/p3_2.jpg) ## Python 在 Azure 中无处不在 |Rank|Language|Type|Score| |---|---|---|---| |1|Python|☑|100.0| ||||| |2|Java|☑|96.3| ||||| |3|C|☑|94.4| ||||| |4|C++|☑|87 jpg)  Azure SDK for Python  Ansible Azure Module0 码力 | 28 页 | 12.57 MB | 2 年前3
3 在AWS部署与发布你面向全球的Python Serverless应用 谢洪恩# 从模块化到全球分发 Python 在 Serverless 领域 你不能错过的最新功能 PYTHON 30th Pahud Hsieh(谢洪恩) Specialist Solutions Architect, Serverless Amazon Web Services ## A Little bit about Myself hunhsieh | |Node.js|nodejs/node\_modulesnodejs/node8/node\_modules0 码力 | 53 页 | 24.15 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













