Apache Kyuubi 1.5.1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

文档介绍了Apache Kyuubi 1.5.1，这是一个基于Apache Spark的统一多租户JDBC接口，用于大规模数据处理和分析。Kyuubi通过JDBC接口连接业务开发和大数据分析，支持Hive JDBC驱动以实现从Hive到Spark SQL的迁移。文档涵盖了服务器配置、环境变量设置、测试运行方法、调试方式（使用Java Debug Wire Protocol）、度量系统配置及常见问题排查。还说明了安装步骤，包括解压tarball后生成的目录结构。此外，文档介绍了Kyuubi安全机制中的认证过程，通过kyuubi.authentication配置项验证用户身份。最后，文档提供了社区贡献指南，包括邮件列表、问题追踪器和GitHub讨论等参与渠道，以及版本发布和文档更新的相关流程。

AI总结

Apache Kyuubi 1.5.1 是一个基于 Apache Spark 的统一多租户 JDBC 接口，用于大规模数据处理和分析。它通过 JDBC 桥接了业务开发与大数据分析，使双方能独立优化。

**核心概念**

* **Kyuubi**: 统一的多租户 JDBC 接口。
* **JDBC**: 标准的数据库连接 API。
* **Apache Hive**: Kyuubi 支持 Hive JDBC 驱动，便于从 Hive 迁移到 Spark SQL。
* **Apache Thrift**: 用于构建跨语言服务的框架。
* **Server**: 处理并发连接和查询请求的后台守护进程。

**配置系统**

* **环境变量**: 可在 `$KYUUBI_HOME/conf/kyuubi-env.sh` 中配置，如 `JAVA_HOME`。
* **指标**: 通过 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 配置。v1.5.0 版本后，部分指标名称已变更（例如 `kyuubi.statement.total` 变为 `kyuubi.operation.total.ExecuteStatement`）。

**测试与调试**

* **运行测试**: 使用 Maven 和 ScalaTest Maven Plugin。可运行全部测试 (`./build/mvn clean test`)、特定模块或单个测试（使用 `-DwildcardSuites` 参数）。
* **调试**: 可通过 Java 调试线协议 (JDWP) 使用 IDE（如 IntelliJ IDEA）进行调试。

**常见问题**

* `java.lang.UnsupportedClassVersionError`：通常由 Java 版本不兼容引起。

**安装**

* **要求**: 正确设置 `JAVA_HOME` 环境变量。
* **步骤**: 解压下载的 tarball 包即可。

**开发者工具**

* **更新版本**: 使用 `build/mvn versions:set` 更新项目版本，并同步更新 `docs/conf.py` 中的文档版本。
* **更新依赖**: 运行 `build/dependency.sh` 更新 `dev/dependencyList` 文件。

**社区贡献**

* 欢迎通过邮件列表、问题追踪器、GitHub Discussions 参与社区。
* 发布流程包括：更新网站、生成公告并发送至邮件列表、清理废弃的发布候选目录。

**安全**

* **认证**: 在 `kyuubi-defaults.conf` 中配置 `kyuubi.authentication` 来验证用户身份。客户端还需通过其他服务（如 Hive Metastore, YARN, HDFS）的认证。