大数据时代的Intel乊Hadoop 系统方案架构师：朱海峰 英特尔®中国于计算创新中心 2013.4 北京 法律声明 本文所提供乊信息均不英特尔® 产品相关。本文丌代表英特尔公司戒其它机构向仸何人明确戒隐含地授予仸何知识产权。除相关产品的英特尔销售条款不条件中列明乊担保条件以外，英特 尔公司丌对销售和/戒使用英特尔产品做出其它仸何明确戒隐含的担保，包括对适用亍特定用途、适销 订购产品前，请联系您当地的英特尔销售办事处戒分销商，了解最新技术规范。 如欲获得本文戒其它英特尔文献中提及的带订单编号的文档副本，可致电 1-800-548-4725，戒访问http：//www.intel.com/design/literature.htm 性能测试和等级评定均使用特定的计算 机系统和/戒组件迚行测量，这些测试大致反映了英特尔® 产品的性能。系统硬件、软件设计戒配置的仸何差异都可能 特尔主劢管理技术可能在基亍主机操 作系统的虚拟与用网（VPN）上，戒者在无线连接、使用电池电源、睡眠、休眠戒关机时无法使用戒是某些功能受到限制。如欲了解更多信息，请访问：httP： //www.intel.com/technology/iamt。 英特尔® 架构上的 64 位计算要求计算机系统采用支持英特尔® 64 架构的处理器、芯片组、基本输入输出系统（BIOS）、操作系统、设备驱劢程序和应用。实际性能会根据您使用的具体

Parallel-for loops ▪ GPU Arrays ▪ SPMD and Distributed Arrays ▪ MapReduce ▪ MapReduce (MDCS/PCT) ▪ MATLAB API for Spark API ▪ Tall Arrays ▪ 计算 ▪ Desktop (Multicore, GPU) ▪ Clusters ▪ Cloud

Distribution： Cloudera 有 Cloudera Distribution for Hadoop (CDH) Oracle 有 Oracle Big Data Appliance Intel 以前有 Intel Distribution for Hadoop (IDH)，現在是直接與 Cloudera 合作 Hortonworks 有 Hortonworks Data Platform (HDP) Apache BigTop 網站自行下載組裝。 40 / 74 Cloudera Distribution for Hadoop 2014 年獲得 900M 的資金挹注，其中 740M 來自 Intel。 41 / 74 Oracle Big Data Appliance Oracle Big Data Platform 的底層是 Cloudera Distribution for Hadoop Hadoop 快 10 倍 可以直接執行，也可以在 YARN 上執行 MLLib、Mahout、Crunch、 Cascading 已經搬到 Spark Cloudera、DataBricks、IBM、 Intel 與 MapR 正在努力搬 Hive、Pig、Sqoop 與 Oozie Spark - Lightning-Fast Cluster Computing 49 / 74 Hue - Hadoop

MaxCompute 内建支持的上百种机器学习算法，目前 MaxCompute 的机器学习能力由 PAI 产品进行统一提供 服务，同时 PAI 提供了深度学习框架、Notebook 开发 环境、GPU 计算资源、模型在线部署的弹性预测服务。 MaxCompute 的数据对 PAI 产品无缝集成。 存储 Pangu 阿里自研分布式存储服务，类似 HDFS。MaxCompute 对外目前只暴露表接口，不能直接访问文件系统。

解决方案，该解决方案不仅可实现大规模扩展，还能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发 精力用于数据集成，只有20%的精力投入 到数据分析中。” —Intel Corporation，“使用 Apache Hadoop 抽取、转换和加载大数据”1 有效的大数据集成解决方案可实现简便性、高速度、可扩展 性、功能和治理，从Hadoop沼泽中生成可使用的数据。没有 和规定要求的标识和解释，以及为符合这些法律读者可能必须采取的行动，客户 自己负责获得合适的法律咨询。 请回收利用 IMW14791-CNZH-00 1 Intel Corporation。“使用Apache Hadoop抽取、转换和加载大数 据。”2013年7月。http://intel.ly/UX1Umk 2 测量结果由IBM现场进行客户部署时生成。 3 International Technology Gro

联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 概要 • Hadoop的历叱 • Hadoop