Apache Kyuubi 1.7.3 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.3是一个统一的多租户JDBC网关，用于大规模数据处理和分析，基于Apache Spark构建。文档介绍了其管理指南，包括统一网关的API、多租户和高可用特性，以及无服务器SQL功能。Kyuubi通过将查询编译和优化放在引擎侧而非服务器侧，提高了客户端并发性和服务稳定性。其松耦合架构将服务器与引擎分离，降低了GC问题和OOM风险。文档还涵盖了构建指南、发布流程、术语解释以及Spark SQL扩展功能，如自动合并小文件、优化倾斜连接和阶段级配置隔离。

AI总结

Kyuubi 1.7.3 是一个统一的、多租户的 JDBC 网关，构建于 Apache Spark 之上，旨在提供无服务器 SQL 服务，支持数据仓库和湖仓一体。

**核心架构与优势**

- **统一网关**：提供 JDBC 接口，支持多租户和高可用性。服务器端与引擎端分离，服务器启动时轻量，易于水平扩展。
- **高并发与稳定性**：查询的编译和优化在引擎端完成，减轻了服务器负载，提升了客户端并发能力。由于服务器与引擎分离，避免了 Spark ThriftServer 中因并发和任务调度竞争导致的 GC 问题和 OOM 风险。无效的 UDF 仅影响单个用户引擎，不影响服务器或其他用户。
- **易用性与高性能**：支持在任意规模下运行。通过自适应查询执行（AQE）框架，提供自动合并小文件、在 Join 前插入 Shuffle 以优化倾斜连接、以及阶段级配置隔离等优化功能。

**主要功能与组件**

- **支持的引擎**：可集成 Apache Spark、Flink、Doris、Hive、Trino 等多种计算框架。
- **扩展与连接器**：提供 Spark SQL 扩展（如支持 Z-order 优化）和多种连接器。
- **安全与监控**：包含安全概览、监控和工具模块。

**开发与发布**

- **构建**：基于 Apache Maven，命令为 `./build/mvn clean package -DskipTests`。
- **发布流程**：包括决定发布、准备、创建分支、构建候选版本、社区投票、最终确定、推广发布、移除废弃候选版本目录以及发布 Docker 镜像。

**关键术语**

- **Kyuubi**：统一的多租户 JDBC 接口。
- **Server**：处理并发连接和查询请求的守护进程。
- **ServerSpace**：用于注册服务器并将其作为服务层暴露给客户端。