Apache Kyuubi 1.8.1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.8.1 documentation provides comprehensive guidance on setting up and managing a unified gateway for large-scale data processing. It covers serverless SQL capabilities, high availability, multi-tenancy, and various engine configurations. The document also details extension points for custom functionality, session configuration management, and hot upgrade procedures. Additionally, it includes specific instructions for upgrading from previous versions and optimizing Spark SQL operations, such as small file merging and skewed join optimization.

AI总结

### Apache Kyuubi 1.8.1 文档总结

#### 1. 核心功能
- **统一网关**：Kyuubi 是一个统一的多租户 JDBC 接口，支持大规模数据处理和分析。
- **高可用性**：支持 HA 集群，用户无需感知升级过程。
- **无服务器 SQL**：支持在任意规模下运行，性能高效。

#### 2. 扩展功能
- **插件扩展**：Kyuubi 支持通过插件扩展功能，分为服务端扩展和引擎端扩展。
- **服务端扩展**：管理员可通过插件扩展 Kyuubi 服务器功能，例如动态配置会话参数。
- **引擎端扩展**：部分插件可由管理员管理，部分可由用户动态加载。

#### 3. 升级指南
- **从 1.8.0 到 1.8.1**：
- 删除了 `DELETE /batches/${batchId}` 中对 `hive.server2.proxy.user` 的依赖。
- 默认元数据存储位置改为 `$KYUUBI_HOME`，而非 `$PWD`。
- **从 1.7 到 1.8**：
- 默认使用 SQLite 替代已弃用的 Derby。
- 如果使用嵌入式 ZooKeeper，路径解析基准目录改为 `$KYUUBI_HOME`。
- 默认 metrics 报告器改为 Prometheus。

#### 4. 安装与依赖
- **安装**：通过二进制或源码包安装，解压后运行。
- **依赖**：
- Java 8/11/17（推荐 JDK8）。
- 支持的引擎包括 Spark（>=3.1）、Flink（1.16/1.17/1.18）、Trino（>=363）、Doris 等。

#### 5. 热升级与维护
- 支持 HA 集群中透明热升级，用户无需感知。

#### 6. 性能优化
- **小文件合并**：通过增加 Shuffle 阶段自动合并小文件。
- **查询优化**：
- 在 Join 前插入 Shuffle 节点，优化倾斜 Join。
- 阶段级配置隔离，优化 Spark AQE 的分区大小配置。

#### 7. 其他
- **文档构建**：通过 Hugo 和 Markdown 进行本地化文档构建。
- **贡献指南**：支持代码和文档的贡献，流程包括提交 PR 和更新网站。

以上为《Apache Kyuubi 1.8.1 Documentation》的核心内容总结。