Apache Kyuubi 1.9.0-SNAPSHOT Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.9.0-SNAPSHOT的监控系统、升级指南、配置参数和架构设计。监控系统基于Dropwizard Metrics库，支持多种指标报告器。升级部分包括从1.8到1.9的变更，如移除Derby支持和Spark 3.1兼容性调整。配置参数涉及服务器性能、资源管理和安全性。架构部分强调了Kyuubi作为高性能统一JDBC和SQL执行引擎的能力，支持弹性资源管理和高可用性。文档还介绍了与Apache Paimon的集成配置。

AI总结

# Apache Kyuubi 1.9.0-SNAPSHOT Documentation 总结

## 1. 监控与指标
Kyuubi 基于 Dropwizard Metrics 库提供了一个可配置的指标系统，支持以下指标报告器：
- **CONSOLE**: 输出到控制台
- **JMX**: 以 MBean 的形式暴露指标
- **JSON**: 输出到 JSON 文件
- **PROMETHEUS**: 输出为 Prometheus 格式
- **SLF4J**: 输出到系统日志

通过 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 配置文件，用户可以自定义指标报告的间隔、路径和端口等。

---

## 2. 升级指南
### 从 Kyuubi 1.8 升级到 1.9
- **新增功能**：
- 支持链式 `SessionConfAdvisors`。
- **移除支持**：
- 移除对 Derby 元数据存储的支持。
- Spark 3.1 的 SQL 引擎支持已弃用，建议使用 Spark 3.2 或更高版本。
- 移除对 Spark 3.1 扩展的支持。

### 从 Kyuubi 1.8.0 升级到 1.8.1
- **变化**：
- 删除 `DELETE /batches/${batchId}` 请求中的 `hive.server2.proxy.user` 参数。
- 默认 SQLite 数据文件位置从 `$PWD` 变为 `$KYUUBI_HOME`。

### 从 Kyuubi 1.7 升级到 1.8
- **变化**：
- 默认元数据存储数据库从 Derby 切换为 SQLite。
- 相对路径的嵌入式 Zookeeper 配置从 `$PWD` 变为 `$KYUUBI_HOME`。

---

## 3. 配置参数
### 典型配置参数
| 类别 | 参数名 | 默认值 | 描述 |
|-----------------------|---------------------------------|---------------|----------------------------------------------------------------------|
| 指标系统 | `kyuubi.metrics.enabled` | `true` | 启用指标系统 |
| | `kyuubi.metrics.reporters` | `[CONSOLE, JMX, JSON, PROMETHEUS, SLF4J]` | 指标报告器列表 |
| | `kyuubi.metrics.prometheus.port` | `10019` | Prometheus 指标服务的端口号 |
| 执行池配置 | `kyuubi.backend.engine.exec.pool.size` | `100` | 执行池线程数 |
| 会话超时 | `kyuubi.batch.session.idle.timeout` | `PT6H` | 会话空闲超时时间 |
| 元数据存储 | `kyuubi.metadata.store.jdbc.url` | `jdbc:sqlite:kyuubi_state_store.db` | SQLite 元数据存储路径 |

---

## 4. 架构与优势
### 核心架构
- **统一接口**：支持 Hive Service RPC 和 JDBC 接口，兼容 HiveServer2 和 Spark Thrift Server。
- **弹性资源管理**：提供两层弹性资源管理架构，支持高并发和资源隔离。
- **高可用性**：通过多 Spark 应用和负载均衡实现高可用性。
- **安全性**：支持身份验证和授权，确保数据和元数据安全。

### 与 Spark Thrift Server 的区别
- **多 Spark 应用支持**：Kyuubi 支持为每个客户端连接创建独立的 Spark 应用，而 Spark Thrift Server 是单应用。
- **资源隔离**：Kyuubi 不占用集群资源，仅在会话活跃时占用。
- **安全性**：Kyuubi 支持多用户隔离，而 Spark Thrift Server 需要全局 Spark 用户。

---

## 5. Apache Paimon 集成
通过配置以下内容，Kyuubi 支持与 Apache Paimon 的集成：
- **依赖项**：
- `kyuubi-spark-sql-engine-1.9.0-SNAPSHOT_2.12.jar`
- `paimon-spark-3.3-0.4-20230323.002035-5.jar`
- **配置**：
- 引用 Paimon 依赖。
- 设置 Spark 扩展和目录配置。

---

## 6. 贡献文档
- 文档源文件与代码一同维护在 GitHub 仓库中。
- 文档托管于 Read The Docs，支持按版本访问。
- 欢迎贡献：文档编写、翻译、问题报告等。

---

以上为《Apache Kyuubi 1.9.0-SNAPSHOT Documentation》的核心内容总结，涵盖监控、配置、架构、升级和集成等方面。