Apache Kyuubi 1.8.0-rc0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.8.0-rc0的功能和配置，包括组件结构、安装步骤、SQL函数扩展、日志系统配置、会话管理、监控指标、故障排除方法及文档贡献指南。内容涵盖了从安装至发布的全面指南，旨在帮助用户高效使用和管理Kyuubi服务。

AI总结

以下是对《Apache Kyuubi 1.8.0-rc0 Documentation》的简要总结：

---

### 1. **安装与结构**
- **安装**：
Kyuubi 的安装基于二进制包。解压后的目录结构包括：

  ├── LICENSE                     # Apache 许证协议
  ├── NOTICE                      # 项目声明
  ├── RELEASE                     # 包构建信息
  ├── bin                         # Kyuubi 服务器入口（启动脚本）
  ├── conf                       # 默认配置文件
  ├── externals                   # 支持的 SQL 引擎
  ├── jars                        # 依赖的 Jar 包
  ├── logs                       # 日志目录
  ├── pid                        # 服务器实例 PID 文件
  └── work                       # 子进程工作目录

- **环境依赖**：需要安装 Spark 最新稳定版本，可从 [Spark 官方下载页面](https://spark.apache.org/downloads.html) 获取。

---

### 2. **辅助 SQL 函数**
Kyuubi 提供多个辅助 SQL 函数，补充了 Spark 和 Flink 的内置函数：
- **Spark**：
- `kyuubi_version`：返回 Kyuubi 服务器版本（字符串）。
- `engine_name`：返回关联查询的 Spark 应用程序名称（字符串）。
- `engine_id`：返回关联查询的 Spark 应用程序 ID（字符串）。
- `system_user`：返回系统用户名（字符串）。
- `session_user`：返回会话用户名（字符串）。
- `engine_url`：返回引擎 URL（字符串）。
- **Flink**：
- `kyuubi_version`：返回 Kyuubi 服务器版本（字符串）。
- `kyuubi_engine_name`：返回关联查询的应用程序名称（字符串）。
- `kyuubi_engine_id`：返回关联查询的应用程序 ID（字符串）。
- `kyuubi_system_user`：返回系统用户名（字符串）。
- `kyuubi_session_user`：返回会话用户名（字符串）。

---

### 3. **监控与日志**
- **日志系统**：
Kyuubi 使用 Apache Log4j2（1.5.0 及以上版本）或 Log4j（1.4.1 及以下版本）记录日志，主要包括：
- 服务器日志：记录服务器活动，如启动/停止和客户端请求响应。
- 引擎日志：记录 SQL 工作负载相关操作。
- 操作日志：记录操作细节。
- **日志配置**：
默认日志文件名为 `kyuubi-${env:USER}-${env:HOSTNAME}.out`，存储在 `$KYUUBI_HOME/logs` 目录下。可通过 `conf/log4j2.xml` 配置日志输出。

---

### 4. **配置参数**
- **服务器配置**：
- `kyuubi.server.limit.connections.user.deny.list`：限制用户连接。
- `kyuubi.server.limit.connections.user.unlimited.list`：配置用户连接白名单。
- `kyuubi.server.name`：服务器名称。
- `kyuubi.server.periodicGC.interval`：周期性垃圾回收间隔。
- `kyuubi.server.redaction.regex`：敏感信息正则表达式。
- **会话配置**：
- `kyuubi.session.check.interval`：会话超时检查间隔。
- `kyuubi.session.close.on.disconnect`：客户端断连时是否关闭会话。
- `kyuubi.session.conf.advisor`：会话配置建议插件。

---

### 5. **优化与功能**
- **优化规则**：
Kyuubi 提供基于 AQE（自适应查询执行框架）的优化功能：
- 自动合并小文件：通过额外的 Shuffle 节点解决小文件问题。
- 优化倾斜连接：在 Join 前添加 Shuffle 节点，确保标准连接。
- 阶段级配置隔离：优化任务数据大小，使分区数据大文件和小文件兼顾。
- **兼容性**：当前支持 Apache Spark 分支 3.1及以上版本。

---

### 6. **贡献与文档**
- **文档贡献**：
Kyuubi 的文档与代码基库同步维护，文档源文件位于 `docs` 目录，发布在 [Read The Docs](https://kyuubi.rtfd.io) 平台上。欢迎社区贡献，包括编写、翻译、问题报告等。
- **风格指南**：文档使用 ReStructuredText 和 Markdown 格式，需遵循 Apache 开源项目的风格规范。

---

### 7. **发布指南**
Apache Kyuubi 发布版本的流程包括：
1. 决定发布版本。
2. 准备发布。
3. 切分功能分支。
4. 构建候选版本。
5. 投票确认候选版本。
6. 修复问题（如有）并重复。
7. 最终发布并推广。
8. 清理过时的分发目录。
9. 发布 Docker 镜像。

---

以上是《Apache Kyuubi 1.8.0-rc0 Documentation》的核心内容总结，涵盖了安装、功能、配置、监控、优化及社区贡献等关键信息。