可以通过这项技术一一实现，从而大幅降低成本并创造新的 收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种 不同来源的大量不同类型的数据来实现大数据与Hadoop项 目。实现所有这些目标需要运用富有弹性的端到端信息集成 解决方案，该解决方案不仅可实现大规模扩展，还能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发 精力用于数据集成，只有20%的精力投入 部署单一数据集成平台后，可通过以下功能为企业转型创造 机遇： • 一次构建作业，随时随地运行-无需修改，即可在企业中 的任何平台上运行该作业 • 访问、移动和加载数据-在企业内的各种来源和目标之间 均可实现这些工作 • 支持各种数据集成范式，包括批量处理、联盟、更改数 据捕获、为数据集成任务启用SOA、与事务完整性实时 集成和/或企业用户自助数据集成 另外，还可以建立世界级的数据治理工作，包括数据管理、数 企业正在纷纷转向大数据措施，期望帮助自己削减成本、提高收 益并实现先发优势。Hadoop技术支持新的流程和架构，有助于 推动业务转型，但必须先行解决所面临的某些大数据挑战并把 握相关机遇才能实现各项目标。 IBM建议构建一个大数据集成架构，该架构足够灵活，可充分利 用RDBMS、ETL网格和Hadoop环境的优势。用户应能够构建 一次集成工作流，即可在上述三个环境中的任意一个环境中运 行该工作流。

Hadoop Common 安装完成后，是时候该研究 Hadoop Stack 的其余组件了。HDFS(Hadoop Distributed File System)提供一个分布 式文件系统，设计目标是能够运行在基础硬件组件之上。大多数企 业被其最小化的系统配置要求所吸引。此环境可以在虚拟机(Virtual Hadoop 大数据解决方案 4 Machine，VM)或笔记本电脑上完成初始配置，而且可以升级到服务 HDP 使得你能够将其部署到云端或者自己的数据 中心。 HDP 为你提供数据平台基础以供搭建自己的 Hadoop 基础设 施，这包括一长串商业智能(BI)及其他相关供应商的列表。平台的 设计目标是支持处理多种来源及格式的数据，并且允许设计自定义 解决方案。资源列表过大，以至于无法在这里展示，强烈推荐直接 从供应商处获取此信息。选择像 HDP 这样产品的美妙之处在于他们 是 Hadoop

[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥） （3）将公钥拷贝到要免密登录的目标机器上 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102 [atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103