Apache Kyuubi 1.8.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档主要介绍了Apache Kyuubi 1.8.0的配置、安装和升级指南。内容涵盖了Kyuubi的各个组件，包括Server、Engine、EngineSpace等核心概念，详细说明了如何配置JDBC连接、使用Spark和Hive作为查询引擎，以及新增的辅助SQL函数和ChatGPT支持。文档还提供了术语表和高可用性配置信息，帮助用户更好地理解和使用Kyuubi。

AI总结

### Apache Kyuubi 1.8.0 文档总结

#### 1. 配置参数
文档详细列出了 Apache Kyuubi 1.8.0 的配置参数，主要包括以下几类：
- **连接配置**：用于连接到服务器的属性，如 `c.connection.provider`、`c.connection.url`、`c.connection.user` 等。
- **驱动与类路径**：包括 JDBC 驱动类和额外的类路径配置。
- **资源配置**：如内存分配（`c.memory`）、Java 选项（`c.java.options`）等。
- **初始化 SQL**：支持在新引擎创建时执行初始化 SQL 语句。
- **其他配置**：如引擎池名称（`c.pool.name`）、操作日志目录（`c.operation.log.dir.root`）等。

#### 2. 贡献指南
Kyuubi 的文档源文件托管在 GitHub 仓库中，与代码一起维护。文档发布在 Read The Docs 平台上，每个版本都有独立页面。贡献文档的方式包括：
- 新增内容
- 修复问题
- 报告文档问题
- 翻译
- 贡献样式指南

#### 3. 迁移指南
- **从 Kyuubi 1.7 升级到 1.8**：
- 默认数据库类型从 Derby 更改为 SQLite。
- 新增了对 PROMETHEUS 的默认指标报告器。
- 支持 `--python-mode` 选项运行 Python 代码。
- **从 Kyuubi 1.7.1 升级到 1.7.2**：
- Kyuubi BeeLine 支持 `--python-mode` 选项。
- **从 Kyuubi 1.7.0 升级到 1.7.1**：
- 移除了 `protocolVersion` 参数。
- 新增了 `confOverlay` 支持。
- **从 Kyuubi 1.6 升级到 1.7**：
- Kerberos 认证配置需要显式设置 `kyuubi.ha.zookeeper.engine.auth.type`。

#### 4. 安装说明
- 解压安装包：`tar zxf apache-kyuubi-1.8.0-bin.tgz`
- 主要目录结构：
- `bin`：启动脚本
- `conf`：默认配置文件
- `externals`：包含 SQL 引擎
- `jars`：依赖包
- `logs`：日志文件
- `work`：工作目录

#### 5. 辅助 SQL 函数
Kyuubi 提供了以下辅助 SQL 函数：
- `kyuubi_version`：返回 Kyuubi 版本（`string`，1.3.0）
- `engine_name`：返回关联查询引擎的名称（`string`，1.3.0）
- `engine_id`：返回关联查询引擎的 ID（`string`，1.4.0）
- `system_user`：返回系统用户名称（`string`，1.3.0）
- `session_user`：返回会话用户名称（`string`，1.4.0）
- `engine_url`：返回引擎 URL（`string`，1.8.0）

#### 6. 术语与数据湖
- **核心术语**：
- **Server**：处理并发连接和查询的守护进程。
- **Engine**：处理所有查询的 Spark SQL 引擎。
- **ServerSpace**：用于注册和暴露服务的逻辑层。
- **EngineSpace**：用于注册和交互引擎的内部组件。
- **数据湖与湖仓**：
- Apache Iceberg
- Delta Lake
- Apache Hudi

#### 7. 其他功能
- 支持多种语言的 Thrift 框架。
- 支持高可用性和负载均衡。
- 提供 ChatGPT 集成（通过 `kyuubi.engine.chat.provider` 配置）。