Apache Kyuubi 1.8.0-rc1 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

The document provides detailed information about Apache Kyuubi 1.8.0-rc1, including configuration parameters, upgrade guides, terminologies, installation instructions, and features. It highlights the integration with Spark SQL for query optimization, such as small file merging and skewed join optimization. The document also introduces new default metrics reporters and changes in database type support.

AI总结

### Apache Kyuubi 1.8.0-rc1 文档总结

#### 1. 配置参数
文档列出了多个配置参数，主要用于JDBC引擎的连接和配置。新增的关键参数包括：
- `c.initialize.sql` 和 `c.session.initialize.sql`：用于在引擎初始化时执行SQL语句。
- `c.memory`：配置JDBC引擎的堆内存。
- `c.java.options`：设置JDBC引擎的额外Java选项。

#### 2. 迁移指南
从旧版本升级到1.8.0时需要注意以下变化：
- **默认元数据库变更**： SQLite成为默认元数据库，取代了Derby。生产环境需手动设置 `kyuubi.metadata.store.jdbc.database.type=DERBY` 和 `kyuubi.metadata.store.jdbc.url=jdbc:derby:memory:kyuubi_state_store_db;create=true`。
- **指标报告器变更**：默认改为PROMETHEUS，若需恢复旧行为，设置 `kyuubi.metrics.reporters=JSON`。
- **Kyuubi BeeLine使用方式**：从1.7.2起，使用 `--python-mode` 选项运行Python代码。
- **REST API调整**：移除了 `protocolVersion` 参数，并新增 `confOverlay` 支持。

#### 3. 安装说明
安装步骤如下：
1. 解压安装包：`tar zxf apache-kyuubi-1.8.0-bin.tgz`。
2. 各目录作用：
- `bin`：启动脚本目录。
- `conf`：默认配置文件。
- `externals`：包含引擎支持。
- 其他目录如`jars`、`logs`等用于存储依赖和日志。

#### 4. 贡献指南
参与项目的方式包括：
- 加入邮件列表、使用问题追踪系统、参与GitHub讨论区或Slack。
- 贡献形式多样，如解答问题、分享成功案例、改进文档和测试。

#### 5. 功能特性
Kyuubi 提供了以下关键功能：
- **SQL扩展**：支持与AQE结合的优化，包括小文件合并、处理倾斜连接和阶段配置隔离。
- **多租户支持**：通过EngineSpace实现资源隔离和共享。

#### 6. 其他
- **测试覆盖率**：达到61%。
- **文档**：详细文档可参考 [Kyuubi 官方文档](https://kyuubi.apache.org/)。

以上总结涵盖了文档的主要内容，重点突出核心配置、迁移注意事项、安装步骤、贡献方式及功能特性，便于快速理解和使用。