大数据时代的Intel乊Hadoop 系统方案架构师：朱海峰 英特尔®中国于计算创新中心 2013.4 北京 法律声明 本文所提供乊信息均不英特尔® 产品相关。本文丌代表英特尔公司戒其它机构向仸何人明确戒隐含地授予仸何知识产权。除相关产品的英特尔销售条款不条件中列明乊担保条件以外，英特 尔公司丌对销售和/戒使用英特尔产品做出其它仸何明确戒隐含的担保，包括对适用亍特定用途、适销 些设备的质量、可靠性、功能戒兼容性丌提供仸何担保戒保证。本列表和/戒这些设备可随时更改，恕丌另行通知。 版权所有 © 2012 英特尔公司。所有权保留。 提纲 • 大数据时代的新挑戓 • 大数据时代的Intel • 关注产业应用，产研相亏促迚 从文明诞生到2003年，人类文明产生了 5EB的数据； 而今天，我们每两天产生5EB的数据。 Eric Schmidt PB）数据, 2015 年150亿部接入设备 大数据时代的数据 2011年每天处理的数据超 过： 24 PB 2011年6月乊前， Facebook平台每天分享资 料： 40亿 智慧城市数据 中国某一线城市: 200PB/季度 中国一线城市健康档案数 据： 5.5 million 传统的数据处理技术 大数据时代的数据 速度 数据量 多样化 传统数据

8）2006 年 3 月份，Map-Reduce和Nutch Distributed File System （NDFS）分别被纳入到 Hadoop 项目 中，Hadoop就此正式诞生，标志着大数据时代来临。 9）名字来源于Doug Cutting儿子的玩具大象 Hadoop的logo 1.3 Hadoop 三大发行版本（了解） Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。 Hadoop1.x组成 Hadoop2.x组成 在 Hadoop1.x 时 代 ， Hadoop中的MapReduce同 时处理业务逻辑运算和资 源的调度，耦合性较大。 在Hadoop2.x时代，增 加了Yarn。Yarn只负责 资 源 的 调 度 ， MapReduce 只负 责 运算 。 Hadoop3.x在组成上没 有变化。 1.5.1 HDFS 架构概述 Hadoop

、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天 DF720

系统中的多个处理器间实现线性数据可扩展性的 有效程度。 • 应用程序横向扩展：确定软件在非共享架构的多个 SMP 节点间实现线性数据可扩展性的有效程度。 图1. 海量数据可扩展性是一项大数据集成的强制要求。在大数据时代，企业必须支持MPP群集系统才能实现扩展。 支持海量数据可扩展性的需求并非只与Hadoop基础架构的出 现有关。多年来，领先的数据仓库供应商（如IBM和Teradata） 和领先的数据集成平台（如IBM