查询中访问这些数据的过程。 甲骨文（中国）软件系统有限公司 北京远洋光华中心办公室 地址：北京市朝阳区景华南街5号远洋光华中心C座21层 邮编：100020 电话：(86.10) 6535-6688 传真：(86.10) 6515-1015 北京上地6号办公室 地址：北京市海淀区上地信息产业基地，上地西路8号，上地六号大厦D座702室 邮编：100085 8513-2000 传真：(86.20) 8513-2380 成都分公司（川信大厦办公室） 地址：成都市人民南路二段18号四川川信大厦20层A&D座 邮编：610016 电话：(86.28) 8619-7200 传真：(86.28) 8619-9573 成都分公司（高新国际广场办公室） 地址：成都市高新区天韵路150号高新国际广场D座四楼18-19，22-25单元

XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure Coding) • Reed-Solomon (RS) 编码 数据可靠性和存储效率 • 数据可靠性：可以最多几个节点故障 • 存储效率：k/(k+m) 可靠性 存储效率 单副本 0 100% 3副本 2 33% XOR(6个数据单元) 1 86% RS(6,3) 3 67% RS(10,4) 4 71% 存储布局－连续和条状

RDD 数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。 1.2.2 RDD 的转换与操作 对于 RDD 可以有两种计算方式：转换（返回值还是一个 RDD）与操作（返回值不是一个 RDD） 1. 转换(Transformations) 记录每 个 RDD 的 lineage（血统）来重新计算生成丢失的分区数据。 2 Spark 与 Hadoop 对比 2.1 快速 Spark 的中间数据放到内存中，对于迭代运算效率更高。Spark 更适合于迭代运算比较多 的 ML 和 DM 运算。因为在 Spark 里面，有 RDD 的抽象概念。 2.2 灵活 1. Spark 提供的数据集操作类型有很多种，不像

或者加载数据到文本文件或者基于文本文件的 Hive 表中。分区也可 以在从 Hive 分区表中查询或加载时被删减。 另一种 Oracle 解决方案 Oracle Loader for Hadoop 是一种高性能 且高效率的连接器，用于从 Hadoop 中加载数据到 Oracle 数据库。 当 Hadoop 发起数据传送时，Oracle Loader for Hadoop 将数据推送到 数据库中。如图 1-9 所示。Oracle 之相关的组件，均能得到直接收益。它推翻了以前认为只有依靠数 据挖掘工具才能实现的界限，使你能够以一种截然不同的方式来查 看数据。Hadoop 并不能替代组织查看数据的方式，却能显著提高其 查看数据的效率。Hadoop 排除了各种局限性，并且正在各个新领域 中继续发展。 理解 Hadoop 的存储系统将使你能够利用数据集成和业务分析 来汇总大型数据湖并分析各种数据类型，而且不依赖于它们的当前

节点间，单个作业对所有 分区数据执行相同的应用 程序逻辑。 形成设计隔离的环境 设计一个数据处理作业， 并且无需重新设计和重新 调整作业，即可在任何硬 件配置中使用它。 使用它。这些功能对于通过提升效率来降低成本至关重要。没 有它们，该平台将无法处理大量的大数据。 InfoSphere Information Server数据集成产品组合 支持4大海量数据可扩展性架构特征。请在Forrester报 选择并行RDBMS、Hadoop和可扩展的ETL网格来运行大数据 集成工作负载。但无论选择哪种方法，信息基础架构都必须满足 一个常见的要求：全面支持大规模可扩展处理。 某些数据集成操作在RDBMS引擎内外的运行效率较高。同样， 并非所有数据集成操作均适用于Hadoop环境。设计精妙的架 构必须足够灵活，可以充分利用系统中每个环境的优势（参见 图3）。 在ETL网格中运行 在数据库中运行 在Hadoop中运行

数据库虚拟大表功能，实现 HBase 数据库复制和备仹功能， 等等。 提供底层 Hadoop 性能优化算法和稳定性增强 •基亍 Hadoop 底层的大量优化算法，配合英特尔优化架构，使应用效率更高、计算存储分布更均衡，系统安装程序计算得出的优化参数配置，适合大多数 应用情冴，不硬件技术相结合，提高平台性能 提供企业必须的管理和监控功能 •提供独有的基亍浏览器的集群安装和管理界面，

集群间数据拷贝 尚硅谷大数据技术 之集群迁移（Apache和CDH）.doc 第 8 章 MapReduce 生产经验 8.1 MapReduce 跑的慢的原因 MapReduce 程序效率的瓶颈在于两点： 1）计算机性能 CPU、内存、磁盘、网络 2）I/O 操作优化 （1）数据倾斜 （2）Map 运行时间太长，导致 Reduce 等待过久 （3）小文件过多