Apache Kyuubi 1.3.1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

本文档为Apache Kyuubi 1.3.1的用户指南和技术参考。Kyuubi是一个基于Apache Spark的统一多租户JDBC接口，用于大规模数据处理和分析。文档涵盖了Kyuubi的架构、安装、配置、运行测试、调试、监控和集成。运行测试部分介绍了基于Apache Maven和ScalaTest Maven Plugin的测试方法，包括运行全部测试、模块测试和单个测试。调试部分说明可使用Java Debug Wire Protocol进行调试。监控部分介绍了基于Dropwizard Metrics Library的可配置度量系统。集成部分以Kudu为例，说明了如何将Kudu表注册为Spark临时视图以实现跨数据源的联邦联合查询。配置部分介绍了环境变量、Kyuubi配置文件和Kyuubi服务器环境变量的配置方法。文档还包含了术语解释、构建文档和社区信息等附录内容。

AI总结

Apache Kyuubi 1.3.1 文档提供了全面的开发、测试、监控和集成指南。核心内容包括：

**6.10 开发工具**

- **构建 Kyuubi**：基于 Apache Maven 构建，使用 `./build/mvn clean package -DskipTests` 编译所有子模块。支持构建单个模块（如 `kyuubi-common`）或跳过指定模块。针对中国大陆开发者，可使用 `mirror-cn` 配置文件加速 Spark 二进制文件下载。
- **构建文档**：通过 `virtualenv` 创建独立环境，安装依赖后运行 `make html` 即可生成 HTML 格式文档。
- **运行测试**：使用 Maven 和 ScalaTest Maven Plugin。提供全量测试（`./build/mvn clean test`）、模块测试及单个测试（使用 `-DwildcardSuites` 参数）的命令。
- **调试**：支持使用 Java 调试线协议（JDWP）结合 IntelliJ IDEA 等 IDE 进行调试。

**6.6 监控**

- **Kyuubi 服务器指标**：基于 Dropwizard Metrics 库的可配置指标系统，通过 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 配置，可向多种报告器报告服务器活动指标。
- **日志记录**：涵盖服务器、进程和操作日志。

**6.5 集成（以 Kudu 为例）**

- Kudu 集成：Kyuubi 可作为 HiveServer2 的替代方案，借助 Spark SQL 实现多租户 SQL on Hadoop。通过将 Kudu 表注册为 Spark 临时视图，可实现跨 Hive、Kudu 等数据源的联合查询。
- **集成步骤**：
1. 安装 Kudu Spark 依赖库到 `$SPARK_HOME/jars`。
2. 启动内置 Kudu 的 Kyuubi 服务器。
3. 使用 Beeline 等客户端连接。
4. 执行 `CREATE TEMPORARY VIEW` 注册 Kudu 表。

**6.2 配置系统**

- **环境变量**：配置于 `kyuubi-env.sh`（如 `JAVA_HOME`），服务器和引擎均可使用。引擎环境变量可通过 `kyuubi.engineEnv.VAR_NAME` 格式传递（如 `kyuubi.engineEnv.SPARK_DRIVER_MEMORY=4g`）。
- **Kyuubi 配置**：核心属性（包括 ZooKeeper 高可用设置）在 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 中配置。

**6.12 附录**

- **术语**：Kyuubi 是基于 Apache Spark 构建的统一多租户 JDBC 接口；JDBC 是数据库无关的连接标准。Kyuubi 通过 JDBC 接口无缝连接业务开发与大数据分析。
- **示例配置**：提供了 `kyuubi-env.sh` 的详细配置示例，包括 `JAVA_HOME`、`HADOOP_CONF_DIR`、`SPARK_HOME` 及 JVM 参数（如 `-Xmx10g`、GC 策略）等。

**社区与基础**：文档最后强调了社区互动（Watch、Star、Fork、Issue）的重要性，并再次确认了 Kyuubi 作为统一多租户 JDBC 接口的核心定位。