说明：从Lazy_Persist到Cold，分别代表了设备的访问速度从快到慢 一个副本保存在内存RAM_DISK中，其余副本保存在磁盘中。 所有副本都保存在SSD中。 一个副本保存在SSD中，其余副本保存在磁盘中。 Hot：所有副本保存在磁盘中，这也是默认的存储策略。 一个副本保存在磁盘上，其余副本保存在归档存储上。 所有副本都保存在归档存储上。 存储类型和存储策略 5.2.1 异构存储 Shell

（1）如果操作系统是 window7，可以直接修改 （a）进入 C:\Windows\System32\drivers\etc 路径 （b）打开 hosts 文件并添加如下内容，然后保存 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 10.106 hadoop106 192.168.10.107 hadoop107 192.168.10.108 hadoop108 （2）如果操作系统是 window10，先拷贝出来，修改保存以后，再覆盖即可 （a）进入 C:\Windows\System32\drivers\etc 路径 （b）拷贝 hosts 文件到桌面 （c）打开桌面 hosts 文件并添加如下内容 添加如下内容 #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin （2）保存后退出 :wq （3）source 一下/etc/profile 文件，让新的环境变量 PATH 生效 [atguigu@hadoop102 ~]$ source /etc/profile

的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 弹性分布数据集（RDD）

HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文 件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割 成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个 集群来说，HDFS 通过 NameNode 对用户提供了一个单一的命名空间。

Hadoop节点。 MapReduce V1是一个并行处理框架，并非用于高性能处理 大型ETL工作负载。默认情况下，可在映射之间重新划分或重新 并置数据，并减少处理阶段的时间。为加快恢复操作，可以先将 数据保存到运行映射操作的节点，再进行随机选择和发送以减 少操作。 MapReduce包含多种设施，可将较小的引用数据结构迁 移至各映射节点，以便执行某些验证和增强操作。因此，会将 整个引用文件迁移至各映射节点，这使其更适合较小的引用