Apache Kyuubi 1.6.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 是一个高性能的统一 JDBC 和 SQL 执行引擎，旨在帮助用户在大数据场景下像处理普通数据一样方便地进行数据处理和分析。它基于 Apache Spark 构建，支持多租户、高可用性和弹性资源管理，提供统一的 SQL 接口以处理 ETL、BI 分析等多种工作负载。文档详细介绍了其安装、配置、客户端使用、授权机制以及与不同数据源的连接器支持。

AI总结

Apache Kyuubi 1.6.0 是一个高性能的统一 JDBC 和 SQL 执行引擎，旨在简化大数据处理和分析。以下是文档的核心内容总结：

### 1. **Kyuubi 管理工具**
- **kyuubi-admin**：用于管理员维护 Kyuubi 服务器或集群，支持刷新配置、管理资源等操作。
- **安装**：通过解压 tarball 安装，路径为 `apache-kyuubi-1.6.0-incubating-bin`。
- **使用**：通过命令 `bin/kyuubi-admin --help` 查看帮助信息。

### 2. **客户端与接口**
- **JDBC 和 ODBC 驱动**：提供标准接口，支持多语言开发。
- **REST、Thrift 等 API**：允许直接访问 Kyuubi。
- **统一接口**：兼容 HiveServer2 和 Spark Thrift Server，支持 SQL 和 JDBC 访问。

### 3. **安全与授权**
- **身份验证**：支持自定义认证方法，需将 JAR 包放入 `$KYUUBI_HOME/jars` 并配置属性。
- **授权**：
- **存储基础授权**：基于文件的粗粒度授权，适用于多租户环境。
- **SQL 标准授权（Ranger）**：支持行级和列级细粒度控制，保障数据安全。

### 4. **架构与性能**
- **弹性资源管理**：采用两级架构，动态分配资源，提升利用率。
- **高可用性与负载均衡**：确保服务稳定性和性能。
- **运行时弹性**：支持动态资源调整，适应不同负载。

### 5. **连接器与扩展**
- **多样化连接器**：支持多种数据源，用户可通过文档报告问题或贡献新连接器。
- **统一接口**：通过 JDBC 实现对大数据的统一访问，简化开发流程。

### 6. **工具与命令**
- **引擎管理**：支持列表、获取和删除引擎节点，命令如 `bin/kyuubi-ctl list engine --user AAA`。
- **资源管理**：支持动态资源分配和回收，优化资源利用。

### 7. **社区与贡献**
- **参与方式**：通过邮件列表、问题跟踪器和 GitHub 讨论参与社区。
- **贡献指南**：欢迎任何形式的贡献，包括文档完善、测试、报告问题和代码审查。

Apache Kyuubi 1.6.0 通过统一的 JDBC 接口、高性能架构和丰富的安全功能，为大数据处理和分析提供了强大的支持。