Apache Kyuubi 1.8.1 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

The document provides detailed information on upgrading Apache Kyuubi from various versions to 1.8.1, including changes in configurations and functionalities. It covers deployment strategies, integration with Hive Metastore, high availability, and optimization features like small file merging and skewed join optimization. The document also introduces the Kyuubi administer tool for cluster maintenance and explains how to enable Spark SQL extensions for enhanced query performance.

AI总结

### Apache Kyuubi 1.8.1 文档总结

#### 1. 升级指南
- **从 Kyuubi 1.8.0 升级到 1.8.1**
- 删除了 `DELETE /batches/${batchId}` 请求参数中的 `hive.server2.proxy.user`。
- 默认的 SQLite 文件 `kyuubi_state_store.db` 现位于 `$KYUUBI_HOME`，而非 `$PWD`。若需还原旧行为，设置 `kyuubi.metadata.store.jdbc.url` 为 `jdbc:sqlite:kyuubi_state_store.db`。

- **从 Kyuubi 1.7 升级到 1.8**
- 嵌入式 Zookeeper 配置目录的相对路径现在基于 `$KYUUBI_HOME` 解析。
- 默认的监控报告工具从 JSON 更改为 Prometheus，若需还原旧行为，设置 `kyuubi.metrics.reporters=JSON`。

- **从 Kyuubi 1.7.1 升级到 1.7.2**
- Kyuubi BeeLine 的 Python 模式需使用 `--python-mode` 选项。

- **从 Kyuubi 1.7.0 升级到 1.7.1**
- REST API 的 `Open`（创建）会话请求参数中移除了 `protocolVersion`，未识别的参数将被静默忽略。

#### 2. 部署
- **部署 Kyuubi**
- 支持在 Kubernetes 上部署，使用官方 Docker 镜像或自建镜像。
- 支持与 Hive Metastore 集成，提供默认行为和相关配置。

- **引擎部署**
- 支持在 YARN 上部署 Kyuubi 的 Spark、Flink、Hive 等引擎。

#### 3. 使用注意事项
- **SQL 扩展功能**
- 提供 Apache Spark 的 SQL 扩展功能，支持版本包括 3.1.x、3.2.x 和 3.3.x。
- 核心优化包括：
- **小文件合并**：通过增加额外的 Shuffle 阶段优化小文件写入。
- **倾斜连接优化**：通过插入额外的 Shuffle 节点，确保 Apache Spark 的 `OptimizeSkewedJoin` 更好地工作。
- **阶段级配置隔离**：解决 Spark AQE 配置冲突问题，实现小文件阶段和大文件阶段的分区大小隔离。

- **管理员工具**
- 新增 `kyuubi-admin` 工具（1.6.0 版本起），支持配置刷新、维护操作等。

#### 4. 配置与使用
- **SQL 扩展启用步骤**：
1. 下载对应的 Kyuubi Spark SQL 扩展 JAR 文件。
2. 将 JAR 文件放入 `$SPARK_HOME/jars`。
3. 在 `$SPARK_HOME/conf/spark-defaults.conf` 中添加配置：`spark.sql.extensions=org.apache.kyuubi.sql.KyuubiSparkSQLExtension`。

- **文档贡献**
- 文档源文件托管在 GitHub 仓库，与代码同步更新。
- 欢迎贡献，包括文档编写、翻译、问题报告等。

#### 5. 其他
- **快速入门**
- 提供通过命令行、Helm、JDBC 等方式快速启动和使用 Kyuubi 的指南。

- **终止旧会话**
- 使用 `bin/kyuubi-ctl delete engine` 命令终止指定用户或集群的会话。

总结：Apache Kyuubi 1.8.1 版本在功能优化、性能提升、配置管理和文档支持方面均有增强，重点包括 SQL 扩展功能的优化、监控工具的升级、管理员工具的新增以及对多种部署环境的支持。