Apache Kyuubi 1.4.1 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 是一个基于 Apache Spark 的统一多租户 JDBC 接口，支持大规模数据处理和分析。它提供多租户支持，包括多客户端并发和基于队列的访问控制列表（ACL），允许用户通过多种工具（如 Hive Beeline、DBeaver、HUE 等）并发操作。Kyuubi 支持多种集群管理器（如 YARN、Kubernetes 等），并提供高性能和高可用性。文档还介绍了如何构建、安装和使用 Kyuubi，以及与其他工具和数据源的集成。

AI总结

Apache Kyuubi 是一个基于 Apache Spark 的统一多租户 JDBC 接口，支持大规模数据处理和分析。以下是文档的核心内容总结：

### 核心功能与特点
1. **多租户支持**
- 支持端到端多租户，每个用户账号对应一个 Spark 应用（SPA），确保资源和数据的隔离性。
- 提供基于 QUEUE/NAMESPACE 的访问控制列表（ACL）和元数据访问控制，保障数据安全。

2. **统一接口**
- 提供单一 SQL 接口，支持通过多种客户端工具（如 Hive Beeline、HUE、DBeaver 等）同时操作 Kyuubi 服务。

3. **高性能**
- 基于 Apache Spark 的高性能计算引擎，支持快速的数据处理和分析。

4. **灵活性与扩展性**
- 支持将 Spark 应用提交到多种集群管理器（如 YARN、Kubernetes、Mesos 等）。
- 支持与多种数据源（如 Delta Lake、Apache Hudi、Apache Iceberg 等）集成。

### 架构与设计理念
- **服务端与引擎的耦合架构**：提升服务的并发能力和稳定性。
- **分层架构**：各层 loosely coupled，便于扩展和维护。

### 快速入门
1. **安装**
- 通过解压 tarball 安装 Kyuubi，无需复杂配置。
2. **运行**
- 支持在本地、YARN、Kubernetes 等环境中运行。
3. **使用**
- 支持通过 JDBC、ODBC 等接口与 Kyuubi 交互，可配合多种工具（如 DBeaver、DataGrip、HUE 等）使用。

### 开发与贡献
- **开发工具**
- 提供 Maven 项目构建、文档生成、测试运行、调试等工具。
- **贡献指南**
- 代码遵循 Apache License 2.0，支持通过 Pull Request 提交代码和文档改进。
- 参与贡献前需熟悉项目架构和代码规范。

### 附录
- **术语解释**
- 包括 JDBC、Server、Engine、多租户、高可用性等核心概念。
- **数据湖与湖仓**
- 支持 Apache Iceberg、Delta Lake、Apache Hudi 等数据湖技术。

总结：Apache Kyuubi 提供了一个统一的 SQL 接口，支持多租户、高并发、高性能的数据处理和分析，适用于复杂的数据湖和湖仓架构，同时支持多种集群管理和工具集成。