大数据集成与Hadoop - IBM那么很可能无法达到预期的效果。为发挥大数据措施的整体 业务价值,对于大部分Hadoop项目的大数据集成而言,海 量数据可扩展性是必不可少的。海量数据可扩展性意味着对 处理的数据量、处理吞吐量以及使用的处理器和处理节点数 量全无限制。只需添加更多的硬件,即可处理更多的数据,实 现更高的处理吞吐量。添加硬件资源的同时,无需修改即可运 行相同的应用程序并且性能也会随之提高(参见图1)。 关键成功因素:避免炒作,分辨是非 连续 单处理器 SMP系统 MPP群集系统或GRID 4 路并行 64 路并行 CPU CPU CPU CPU CPU 内存 共享内存 磁盘 磁盘 关键成功因素:大数据集成平台必须支持全部三个维度的可 扩展性 • 线性数据可扩展性:硬件和软件系统通过线性增加硬件 资源来线性提高处理吞吐量。例如,如果在50个处理器 上运行4小时可以处理200GB数据,在100个处理器上运 行4 行4小时可以处理400GB数据,以此类推,则说明应用 程序可以实现线性数据可扩展性。 • 应用程序纵向扩展:衡量软件在一个对称多处理器 (SMP) 系统中的多个处理器间实现线性数据可扩展性的 有效程度。 • 应用程序横向扩展:确定软件在非共享架构的多个 SMP 节点间实现线性数据可扩展性的有效程度。 图1. 海量数据可扩展性是一项大数据集成的强制要求。在大数据时代,企业必须支持MPP群集系统才能实现扩展。0 码力 | 16 页 | 1.23 MB | 1 年前3
大数据时代的Intel之Hadoop位计算要求计算机系统采用支持英特尔® 64 架构的处理器、芯片组、基本输入输出系统(BIOS)、操作系统、设备驱劢程序和应用。实际性能会根据您使用的具体 软硬件配置的丌同而有所差异。如欲了解更多信息£¬请不您的系统厂商联系。 没有仸何计算机系统能够在所有情冴下提供绝对的安全性。英特尔® 可信执行技术是由英特尔开发的一项安全技术,要求计算机系统具备英特尔® 虚拟化技术、支持英特尔可信执行技术的 处理器、芯片组、基本输入输出 奔腾® 4 处理器、支持超线程(HT)技术的芯片组、基本输入输出系统、BIOS 和操作系统。实 际性能会根据您所使用的具体软硬件配置的丌同而有所差异。有关详细信息,包括哪些处理器支持英特尔 HT 技术,请访问 www.intel.com/products/ht/hyperthreading_more.htm。 英特尔® 虚拟化技术要求计算机系统具备支持英特尔虚拟化技术的英特尔® 处理器、基本输入0 码力 | 36 页 | 2.50 MB | 1 年前3
银河麒麟服务器操作系统V4 Hadoop 软件适配手册及可扩展性等方面的需求,是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天 DF720 服务器 CPU 类型 飞腾 2000+处理器 操作系统版本 Kylin-4.0.2-server-sp2-2000-19050910.Z1 内核版本 4.4.131 hadoop 版本 2.7.7 1.3 Hadoop0 码力 | 8 页 | 313.35 KB | 1 年前3
共 3 条
- 1













