1 © 2015 The MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 互联网、社交网络的普及，全社会的数字化转型，数据规模向PB级发展 ▪ Variety - 数据种类 ，数据种类繁多 结构化数据，半结构化数据，非结构化数据 ▪ Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键 4 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作

许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的 明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据 存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意，本文选择了 Hadoop 和 HDFS 作为示例，但这里的策略同样适用于其他分 HDFS（Hadoop 文件系统）中存储的 数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂 载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载

Hadoop 大数据解决方案 8 境。Hive 提供了一种为数据赋予结构的渠道，并且通过一种名为 HiveQL 的类 SQL 语言进行数据查询。 Hive Thrift 服务器 驱动程序 解析器 执行 Hive Web 接口 计划器 优化器 MS 客户端 元存储 图 1-3 1.4 与其他系统集成 如果在科技领域工作，你一定清楚地知道集成是任何成功实现 Hadoop。Informatica 软件，使用 Power Exchange 连接器协 同 Hortonworks，优化了 Hadoop 上的整条大数据供应链，将数据转 换为具有可操作性的信息来驱动商业价值。 例如，现代的数据架构正在越来越多地用于建造大型数据湖。 通过将数据管理服务集成为更大的数据湖，企业可以利用各种各样 的渠道来存储和处理大量数据，这些渠道包括社交媒体、点击流数 据、 ETL(抽取、转换、加载)工作流程，以便在 Hadoop 中长期存储和处理大规模数据。 Hadoop 与企业工具的集成使得组织能够将内部和外部的所有数 据用于获得完整的分析能力，并以此推动现代数据驱动业务的成功。 另一个例子，Hadoop Applier 提供了 MySQL 和 Hadoop 分布式 文件系统之间的实时连接，可以用于大数据分析——例如情绪分析、 营销活动分析、客户流失建模、欺诈检测、风险建模以及其他多种

的大数据集成方法和架构，同时避免各种实施缺陷。 海量数据可扩展性：总体要求 如果您的大数据集成解决方案无法支持海量数据可扩展性， 那么很可能无法达到预期的效果。为发挥大数据措施的整体 业务价值，对于大部分Hadoop项目的大数据集成而言，海 量数据可扩展性是必不可少的。海量数据可扩展性意味着对 处理的数据量、处理吞吐量以及使用的处理器和处理节点数 量全无限制。只需添加更多的硬件，即可处理更多的数据，实 • 数据集成逻辑 • 通过各种逻辑对象组装数据集成作业 • 组装更大的工作流 • 数据治理 • 运营和行政管理 通过采用这项最佳实践，企业就能利用商业数据集成软件久 经考验的生产、成本、价值实现时间以及强大的运营和行政控 制优势，同时避免手动编码带来的负面影响（参见图4）。 IBM软件 11 数据集成工具 IBM PureData ™ System 手动编码 相较于手

存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预 测计算芯片增长速度的摩尔定律一样。 — McKinsey Global Institute 统计和报表 价值 数据挖掘和预测性分析 大数据时代的Intel • Intel的角色 • Intel Hadoop商业发行版 • 对象存储技术 Intel的角色 • 面向大数据应用，在计算、存储和网络方面提供更快更为

MaxCompute 产品的交互式查询服务，特性如下： 兼容 PostgreSQL：兼容 PostgreSQL 协议的 JDBC/ODBC 接口，所有支持 PostgreSQL 数据库的工 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问，如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。