Apache Kyuubi 1.6.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.6.0版本文档记录了该版本的多项改进，包括新增功能、错误修复、依赖版本升级和文档更新。主要内容涵盖对Spark 3.0的末日支持，Flink版本升级至1.14.5和1.15.1，修复了Kyuubi启动失败的问题，优化了JDBC连接处理，改进了日志记录和安全认证机制，以及增强与Iceberg、Delta Lake等存储 connectors的兼容性。此外，文档还涉及性能优化、测试改进和构建工具的完善。

AI总结

Apache Kyuubi 1.6.0版本更新主要包含以下核心改进和功能增强：

### 核心功能改进
1. **Spark 3.0 支持**
- 增加了对Spark 3.0的End-of-Life (EOL) 支持，提升兼容性。

2. **Hive JDBC改进**
- 修复了Hive JDBC连接问题，确保正确抛出KyuubiSQLException。
- 去除Hive存储API相关依赖，优化了JDBC驱动的性能和安全性。
- 引入JAAS认证替代旧的Kerberos认证机制，提升安全性。

3. **日志与监控增强**
- 整合SLF4J日志门桥，优化了日志输出。
- 增加了操作日志记录功能，便于追踪和排查问题。
- 引入Prometheus监控，提升系统可观察性。

4. **安全性提升**
- 修复了与Kerberos认证相关的安全漏洞，改进了凭据管理。
- 增加了对Spark新数据类型（如TimestampNTZType）的支持。

5. **性能优化**
- 优化了批处理任务的资源分配和重试机制，提升任务执行效率。
- 使用轻量级SparkPi测试替代原有测试框架，加快测试速度。

6. **扩展性增强**
- 支持更多数据库协议（如MySQL）和存储解决方案（如Hudi、Iceberg）。
- 增加了对Trino、Flink等引擎的兼容性和性能优化。

### 重要Bug修复
- 解决了因PID目录不存在导致服务启动失败的问题。
- 修复了bin/beeline脚本退出异常问题。
- 解决了Restful链接格式错误和日志路径错误等问题。

### 依赖版本升级
- 升级Spark版本至3.2.2。
- 更新Flink至1.14.5和1.15.1。
- 升级Jetty至9.4.48，Swagger至2.2.1，Jersey至2.36。
- 更新Delta Lake至2.0.0，Iceberg至0.14.0。

### 文档更新
- 完善了扩展点、连接器和构建文档。
- 修复了文档中的拼写错误和路径问题。
- 增加了对新功能（如Spark AuthZ模块）的详细说明。

### 配置项更新
新增或修改了以下关键配置项：
- `kyuubi.engine.jdbc.connection.provider`：连接提供者，用于获取服务器连接。
- `kyuubi.engine.pool.size`：引擎池大小，默认-1（禁用池）。
- `kyuubi.engine.operation.convert.catalog.database.enabled`：控制JDBC方法的引擎兼容性转换，默认开启。

### 总结
Apache Kyuubi 1.6.0版本在兼容性、性能、安全性和扩展性方面均有显著提升，特别加强了对多种数据源和协议的支持，同时修复了多项关键问题，优化了用户体验。