通过Oracle 并行处理集成 Hadoop 数据

• 语言: 中文（简体）
• 格式: .pdf
• 来源: www.oracle.com

摘要

本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群中的数据。通过使用外部表和表函数的方法，可以将 Hadoop 中的数据直接传递到 Oracle 查询中，避免了传统方法中将数据迁移到本地文件系统并物化到 Oracle 表中的繁琐过程。文档还提供了具体的实现示例，展示了如何利用 Oracle Database 11g 的并行处理框架和 Hadoop Map-Reduce 作业进行数据集成。

AI总结

本文主要介绍了如何通过Oracle Database 11g与Hadoop数据进行集成，并详细讨论了两种主要的访问方法：**外部表方法**和**表函数方法**。

1. **外部表方法**
- 通过FUSE项目将HDFS挂载为文件系统，使外部表能够直接访问HDFS中的数据。
- 这种方法简单且适合大多数并行操作，但依赖于FUSE驱动的可用性。

2. **表函数方法**
- 使用表函数结合DBMS_SCHEDULER框架异步调用外部Hadoop脚本。
- Hadoop Mapper将数据写入公共队列，表函数从队列中读取数据，通过Oracle高级队列特性实现负载平衡和并行处理。
- 该方法适用于FUSE不可用的情况，并确保仅有一个服务进程提交外部作业。

本文通过具体示例展示了表函数方法的实现流程，包括：
- 创建仲裁表用于协调进程。
- 使用DBMS_SCHEDULER启动Hadoop作业。
- 同步bash脚本在Hadoop集群上运行Mapper进程。

总结：
通过Oracle Database 11g的并行处理框架，可以轻松实现与Hadoop数据的集成，避免了传统数据获取和物化过程。表函数方法尤其适合需要灵活并行处理的场景。