Apache Kyuubi 1.7.3-rc0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.7.3-rc0版本的配置方法，包括日志路径和环境变量的设置。提供了与Spark、Hive和Kubernetes集成的详细参数配置。还介绍了Kyuubi的特性，如SQL扩展、小文件合并优化和多租户支持，以及如何利用Apache Spark的自适应查询执行框架（AQE）进行性能调优。

AI总结

### Apache Kyuubi 1.7.3-rc0 文档总结

#### 1. 日志系统
- **日志目录**：日志文件默认存储在 `$KYUUBI_HOME/logs` 目录下，文件名为 `kyuubi-${env:USER}-org.apache.kyuubi.server.KyuubiServer-${env:HOSTNAME}.out`。
- **日志组件**：
- **Kyuubi Server**：记录服务器启动、停止、客户端请求等操作。
- **Kyuubi Engines**：记录引擎的运行状态和操作。
- **操作日志**：记录用户操作和 SQL 工作负载。

#### 2. 监控与配置
- **日志配置**：
- 可通过 `$KYUUBI_HOME/conf/log4j2.xml` 文件进行日志配置，默认日志输出到文件。
- **环境变量**：
- `KYUUBI_LOG_DIR`：指定日志目录。
- `SPARK_HOME` 和 `HADOOP_CONF_DIR` 等环境变量用于配置 Spark 和 Hadoop。

#### 3. 高级功能
- **SQL 扩展**：
- 支持 Apache Spark 3.1 及以上版本。
- 提供小文件合并、优化偏斜连接（Skewed Join）和 AQE 配置隔离功能。
- **优化特性**：
- **小文件合并**：通过增加 Shuffle 阶段自动合并小文件。
- **偏斜连接优化**：插入额外 Shuffle 节点以确保优化偏斜连接。
- **AQE 配置隔离**：解决分区大小配置冲突，实现分阶段配置隔离。

#### 4. 配置参数
- **Spark 引擎**：
- `kyuubi.session.engine.spark.max.lifetime`：指定 Spark 引擎的最大生命周期。
- `kyuubi.session.engine.spark.progress.timeFormat`：指定进度条的时间格式。
- **Kubernetes 认证**：
- `kyuubi.kubernetes.authenticate.caCertFile`：指定 Kubernetes API 服务器的 CA 证书文件路径。
- `kyuubi.kubernetes.authenticate.clientCertFile` 和 `clientKeyFile`：指定客户端证书和密钥文件路径。

#### 5. 贡献与社区
- **参与方式**：
- 加入邮件列表、GitHub 讨论区或 Slack 群组。
- 提交问题、建议或改进文档。
- **贡献指南**：
- 提供技术支持、分享使用经验、改进文档或增加测试覆盖。

#### 6. 发布流程
- **步骤**：
1. 决定发布版本。
2. 准备发布内容。
3. 创建发布分支。
4. 构建发布候选版本。
5. 社区投票。
6. 修复问题（如有）。
7. 最终确认和推广发布。
8. 删除过时发布候选。

#### 7. 其他
- **依赖**：
- 使用 Apache Log4j2（v1.5.0 及以上）或 Apache Log4j（v1.4.1 及以下）。
- 支持 Hive JDBC 驱动（需大于 1.3 或 2.0）。

总结：Apache Kyuubi 1.7.3-rc0 提供了强大的日志系统、监控功能、Spark 引擎优化以及 Kubernetes 支持，适合生产环境部署。文档详细介绍了配置、使用和贡献流程，帮助用户快速上手和深入使用。