（1）免密登录原理 免密登录原理 公钥（A） 私钥（A） 1）ssh-key-gen 生成密钥对 公钥（A） 授权key Authorized_keys 2）拷贝 3）ssh 访问B（数 据用私钥A加密） A服务器 B服务器 4）接收到数据后，去授 权key中查找A的公钥， 并解密数据。 5）采用A公钥加 密的数据返回给A 6 接收到数 据后，用A的 私钥解密数 据 （2）生成公钥和私钥 常用端口号说明 端口名称 Hadoop2.x Hadoop3.x NameNode 内部通信端口 8020 / 9000 8020 / 9000/9820 NameNode HTTP UI 50070 9870 MapReduce 查看执行任务端口 8088 8088 历史服务器通信端口 19888 19888 尚硅谷大数据技术之

Count, collect, reduce, lookup, save 等多种 actions 操作。 2. 这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点 之间的通信模型不再像 Hadoop 那样就是唯一的 Data Shuffle 一种模式。用户可以命名， 物化，控制中间结果的存储、分区等。可以说编程模型比 Hadoop 更灵活。 3. 由于 RDD 的特性，Spark

分配资源后，运行于某一个 Slave 节点的 Container 中，具体做事情的 Task，同样也运行与某一个 Slave 节点的 Container 中。RM， NM，AM 乃至普通的 Container 之间的通信，都是用 RPC 机制。 2 Hadoop 软件适配 2.1 解压 hadoop 软件 $ tar -xvf hadoop-2.7.7.tar.gz -C /usr/local/

DBMS_SCHEDULER 框架异步调用外部shell 脚本，然后由这个shell脚本提交一个Hadoop Map-Reduce 作业。该表函数与映射器 (mapper) 之 间使用 Oracle 高级队列特性进行通信。Hadoop mapper 将数据排入一个公共队列，而表函数则 从该队列中取出数据。由于该表函数能够并行运行，因此使用额外的逻辑来确保仅有一个服 务进程提交外部作业。 3 Oracle