Apache Kyuubi 1.8.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.8.0的安装、配置和功能扩展。首先，文档展示了Kyuubi的目录结构，包括bin、conf、externals等文件夹的具体内容和作用。其次，文档介绍了Kyuubi的辅助SQL函数，如kyuubi_version和engine_name等，用于提供额外的查询功能。此外，文档还涵盖了logging system的配置和监控方法，确保用户能够有效管理和排查日志。文档还探讨了adaptive query execution (AQE)的优化特性，包括合并小文件、优化数据分区和处理倾斜连接等，以提升查询性能。

AI总结

《Apache Kyuubi 1.8.0 Documentation》总结如下：

### 一、安装与部署
1. **安装Kyuubi**
- 解压安装包：`tar zxf apache-kyuubi-1.8.0-bin.tgz`
- 目录结构包括：LICENSE、RELEASE、NOTICE、bin、conf、externals、jars、logs、pid、work等。
- 配置文件位于`conf`目录，包含默认配置模板`kyuubi-defaults.conf.template`、环境变量模板`kyuubi-env.sh.template`和日志配置模板`log4j2.properties.template`。

2. **依赖安装**
-需安装Apache Spark，推荐从官网（https://spark.apache.org/downloads.html）下载最新稳定版本。

### 二、功能模块
1. **核心功能**
- Kyuubi是一个分布式和多租户的SQL网关，支持Serverless SQL，适用于数据仓库和湖仓。
- 支持多种计算框架，如Apache Spark、Flink、Doris、Hive和Trino等。

2. **辅助SQL函数**
- 提供以下辅助函数：
- `kyuubi_version`：返回Kyuubi服务器版本（string类型）。
- `engine_name`：返回与查询相关的Spark应用程序名称（string类型）。
- `engine_id`：返回与查询相关的Spark应用程序ID（string类型）。
- `system_user`：返回查询引擎的系统用户名（string类型）。
- `session_user`：返回会话用户名（string类型）。
- `engine_url`：返回引擎的URL（string类型）。

3. **性能优化**
- **小文件合并**：通过额外的shuffle操作合并小文件，优化写入操作。
- **Join优化**：在Join前增加shuffle节点，优化偏斜Join（Skewed Join）。
- **AQE阶段配置隔离**：支持阶段级别的配置隔离，解决Adaptive Query Execution（AQE）中的分区大小冲突问题。

### 三、监控与日志
1. **日志系统**
- Kyuubi使用Apache Log4j2（版本1.5.0及以上）或Log4j（版本1.4.1及以下）进行日志管理。
- 日志分类：
- **Kyuubi Server日志**：记录服务器启动/停止、客户端请求响应等活动。
- **Kyuubi Engines日志**：记录SQL引擎的运行日志。
- **操作日志**：记录操作轨迹。

2. **日志配置**
- 默认日志文件名为`kyuubi-${user}-${hostname}.out`，存储在`$KYUUBI_HOME/logs`目录下。
- 可通过`conf/log4j2.xml`文件自定义日志配置。

### 四、贡献与文档
1. **文档贡献**
- 文档源文件存储在GitHub仓库（https://github.com/apache/kyuubi）中的`docs`目录下。
- 文档通过Read The Docs（https://kyuubi.rtfd.io）平台发布，按版本分页。

2. **风格指南**
- 文档风格遵循ReStructuredText和Markdown格式，要求简洁明了。
- 鼓励贡献，包括写作、翻译、报告问题等。

### 五、发布指南
1. **版本发布流程**
- 包括决定发布、准备发布、切换功能分支、构建候选版本、投票表决、修复问题、最终发布、推广发布等步骤。
- 发布经理由提交者选出，负责执行发布流程。

2. **注意事项**
- 发布需遵循Apache基金会的产品发布政策（https://www.apache.org/dev/release.html）。

### 总结
Apache Kyuubi 1.8.0是一个功能强大的分布式SQL网关，支持多种计算引擎和优化技术。文档详细介绍了安装、配置、功能扩展、日志管理和贡献指南，适合开发者和管理员参考。