Apache Kyuubi 1.5.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.5.0是一个基于Apache Spark的统一多租户JDBC接口，用于大规模数据处理和分析。文档介绍了配置系统通过$KYUUBI_HOME/conf/kyuubi-defaults.conf进行设置。在v1.5.0版本中，部分metrics指标名称发生了变化，例如kyuubi.statement.total替换为kyuubi.operation.total.ExecuteStatement。文档还包含故障排除常见问题，如Java版本不兼容错误。社区参与方面，用户可通过邮件列表、问题跟踪器和GitHub Discussions参与贡献。安装需要正确设置JAVA_HOME，通过解压tarball完成。Kyuubi支持Hive JDBC驱动，帮助将查询从Hive迁移到Spark SQL。服务器是一个守护进程，处理并发连接和查询请求。安全方面提供了认证机制，支持多种认证类型。项目还支持Zookeeper实现高可用性和负载均衡。

AI总结

Apache Kyuubi 1.5.0 文档核心内容总结如下：

**1. 监控指标更新 (从 v1.5.0 开始)**
- 旧指标：`kyuubi.statement.total`、`kyuubi.statement.opened`、`kyuubi.statement.failed.${errorType}`
- 新指标（替代方案）：`kyuubi.operation.total.ExecuteStatement`、`kyuubi.operation.opened.ExecuteStatement`、`kyuubi.operation.failed.ExecuteStatement.${errorType}`
- 监控系统通过 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 配置

**2. 常见问题排查**
- **java.lang.UnsupportedClassVersionError**：提示 Java 版本不兼容（unsupported major.minor version 52.0），需要升级 JDK 版本

**3. 开发者工具**
- **更新项目版本**：使用 `build/mvn versions:set -DgenerateBackupPoms=false`
- **更新文档版本**：同步修改 `docs/conf.py` 中的 `release` 变量
- **更新依赖列表**：本地运行 `build/dependency.sh` 检查依赖变化，确认后使用 `--replace` 参数更新 `dev/dependencyList` 文件

**4. 社区参与**
- 欢迎贡献，可通过邮件列表、Issue Tracker、GitHub Discussions 参与社区建设
- 最新稳定版可在官网下载

**5. 环境要求与安装**
- **核心要求**：正确设置 `JAVA_HOME`，其余依赖已包含在发布包中
- **集群支持**：可运行在 YARN、Kubernetes、Mesos 等集群管理器上
- **数据源支持**：支持 Delta Lake、Apache Hudi、Apache Iceberg、Apache Kudu 等
- **安装命令**：`tar zxf apache-kyuubi-1.5.0-incubating-bin.tgz`，解压后包含 bin、conf、docker、externals、engines、jars、logs、pid、work 等目录

**6. 测试方法**
- **运行全部测试**：`./build/mvn clean test`
- **测试单个模块**：`./build/mvn clean test -pl :kyuubi-common`
- **测试单个用例**：`./build/mvn test -Dtest=none -DwildcardSuites=org.apache.kyuubi.service.FrontendServiceSuite`
- **调试**：支持通过 Java Debug Wire Protocol 配合 IntelliJ IDEA 等 IDE 进行调试

**7. 安全机制**
- **认证机制**：通过 `kyuubi.authentication` 配置认证类型，仅验证客户端能否连接 Kyuubi 服务器
- 与其他安全服务（Hive Metastore、YARN、HDFS）的认证相互独立，用户需分别通过各服务的认证流程

**8. 核心概念**
- **Kyuubi**：基于 Apache Spark 的统一多租户 JDBC 接口，用于大规模数据处理和分析
- **JDBC**：提供数据库无关的连接标准，实现业务开发与大数据分析的解耦
- **Apache Hive**：支持 Hive JDBC 驱动，实现从 Hive 到 Spark SQL 的平滑迁移
- **Apache Thrift**：跨语言服务开发框架
- **Server**：守护进程，处理并发连接和查询请求，别名包括 Kyuubi Server / Kyuubi Instance

**9. 核心特性**
- 多租户、易用性、可运行在任何平台、高性能、认证与授权、高可用性（基于 Zookeeper 的高可用和负载均衡解决方案）