Apache Kyuubi 1.7.3-rc0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.3是一个基于Apache Spark的统一多租户JDBC接口，用于大规模数据处理和分析。文档介绍了Kyuubi的安装、配置、安全、监控和扩展功能。Kyuubi支持端到端多租户，通过集中认证层降低数据风险，并提供高可用性设计，包括负载均衡和故障检测。系统支持Spark、Flink、Trino等多种引擎，并提供了Spark SQL扩展用于自动合并小文件和优化倾斜连接。文档还包含了发布指南、指标监控和故障排除等内容。

AI总结

Apache Kyuubi 1.7.3 是一个基于 Apache Spark 的统一多租户 JDBC 接口，用于大规模数据处理和分析。

**发布流程**：发布后需更新网站（添加中英文新闻和发布说明文件、更新 hugo.toml 配置），通过邮件向多个列表发送公告，删除废弃的候选版本目录，并发布 Docker 镜像。

**组件与依赖**：核心组件包括 Java（JRE 8/11）、Kyuubi（1.7.3）、Spark（≥3.1）、Flink（≥1.14.0）、Trino（≥363）、Doris、Hive、Zookeeper（≥3.4.x）等。各组件可单独或组合使用。

**安装**：从下载页面获取二进制包，解压 tarball 即可。

**核心特性**：
- **多租户**：支持端到端多租户，控制层提供集中认证，数据层引擎使用相同用户身份，确保资源与数据安全。
- **高可用**：支持负载均衡、故障可检测性，防止单点故障，实现零停机维护。
- **安全配置**：可限制会话级和操作级配置修改，例如通过 `kyuubi.session.conf.restrict.list` 禁止动态修改特定 Spark 配置。

**扩展功能**：
- **Spark AuthZ 插件**：通过 Maven 构建，生成主插件 jar 和依赖 jar。
- **SQL 扩展**：支持自动合并小文件、在 Join 前插入 Shuffle 节点以优化倾斜 Join、在 AQE 中实现阶段级配置隔离（如调整分区大小）。
- **使用方式**：可从二进制包、Maven 中央仓库获取或自行编译对应的 Kyuubi Spark SQL Extension jar，放入 Spark 的 jars 目录。

**监控与排错**：
- **监控**：基于 Dropwizard Metrics 库，可在配置文件中设置报告器。v1.5.0 后使用新指标（如 `kyuubi.operation.total.ExecuteStatement`）替代旧指标。
- **常见问题**：`java.lang.UnsupportedClassVersionError` 通常因 Java JRE 版本与编译版本不匹配导致。