桌面标准版，不需要执行如下操作 ➢ net-tool：工具包集合，包含 ifconfig 等命令 [root@hadoop100 ~]# yum install -y net-tools ➢ vim：编辑器 [root@hadoop100 ~]# yum install -y vim 2）关闭防火墙，关闭防火墙开机自启 [root@hadoop100 ~]# systemctl stop firewalld IPADDR=192.168.10.102 PREFIX=24 GATEWAY=192.168.10.2 DNS1=192.168.10.2 （2）查看 Linux 虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— ——— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 （4）保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows 系 统 VM8 网络 IP 地址相同。 3）修改克隆机主机名，以下以 hadoop102 举例说明 （1）修改主机名称 [root@hadoop100 ~]#

Sammer（Cloudera 首 席解决方案架构师）于 Strata+Hadoop World 2012 期间所做的演示4 第一项最佳实践是随时随地避免在大数据集成的各个层面采 用手动编码。相反，利用商业数据集成软件提供的图形用户界 面提供活动支持，如： • 在企业中实施数据访问和移动 • 数据集成逻辑 • 通过各种逻辑对象组装数据集成作业 • 组装更大的工作流 • 数据治理 • 运营和行政管理 通过采用 使用手动编码方式进 行开发 • 需要 30 人日编写 • 近 2,000 行代码 • 71,000 个字符 • 无文档 • 难以重用 • 难以维护 运用数据集成工具开发 • 只需 2 日编写 • 图形格式 • 自我记录 • 可重用性 • 可管理性更高 • 性能提升 手动编码和工具成果来源：IBM制药客户示例 12 大数据集成与 Hadoop 最佳实践2：整个企业采用一个数据集成和治理平台

图3 至 图 5 实现的解决方案使用以下代码。所有的代码均在 Oracle Database 11g 和 5 个节点 的 Hadoop 集群上进行过测试。与大多数白皮书一样，请将这些脚本复制到文本编辑器中并 确保格式正确。 处理数据的表函数 该脚本中包含某些设置组件。例如，脚本开始的部分创建了图 3 中第 1 步所展示的仲裁表。 本例中使用的是一直广受欢迎的 OE 模式。

注：一个虚拟机不超过 150G 磁盘尽量不要执行这段代码 （1）使用 RandomWriter 来产生随机数，每个节点运行 10 个 Map 任务，每个 Map 产 生大约 1G 大小的二进制随机数 [atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop- 3.1.3/share/hadoop/mapreduce/ha