采用计划，必须遵循最佳实践方法，充分考虑各种新兴技术、可 扩展性需求以及当前的资源和技能水平。面临的挑战：创建最佳 的大数据集成方法和架构，同时避免各种实施缺陷。 海量数据可扩展性：总体要求 如果您的大数据集成解决方案无法支持海量数据可扩展性， 那么很可能无法达到预期的效果。为发挥大数据措施的整体 业务价值，对于大部分Hadoop项目的大数据集成而言，海 量数据可扩展性是必不可少的。海量数据可扩展性意味着对 处理的数据 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 产品路线图的一部分。 开始集成之旅以前，请务必了解MapReduce的性能限 制，以及数据集成供应商在解决这类问题方面的差异。请在 “Themis: 维度的可 扩展性 • 线性数据可扩展性：硬件和软件系统通过线性增加硬件 资源来线性提高处理吞吐量。例如，如果在50个处理器 上运行4小时可以处理200GB数据，在100个处理器上运 行4小时可以处理400GB数据，以此类推，则说明应用 程序可以实现线性数据可扩展性。 • 应用程序纵向扩展：衡量软件在一个对称多处理器 (SMP) 系统中的多个处理器间实现线性数据可扩展性的 有效程度。

分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 系 统，而这些系统可扩展为 Hadoop 数据平台。公司和开源社区中的 开发人员正在设计和定义基于 Hadoop 的大规模企业数据的最佳实 践。企业以及 IT 社区都非常关注各种数据类型的可扩展性。使用 Hadoop，公司便不再局限于昂贵的企业级解决方案或者价格不菲的 数据仓库设备。 Hadoop 并不是大多数组织现有富数据环境的替代品。在考虑使 用 Hadoop 时，也要同样重视其他方面，例如

 劢态资源配置  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 HBase存储 YARN Timeline Service v.2 • 可用性 流(flow) 聚合(aggregation) YARN Federation •

特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天 DF720 服务器 CPU 类型 飞腾 2000+处理器

4 Hadoop 优势（4 高） Hadoop优势（4高） 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 Hadoop102 Hadoop103 Hadoop104 Hadoop105 Hadoop106 双11、618可以动 态增加服务器 Hadoop102