Apache Kyuubi 1.3.0 Documentation

语言	格式	评分
英语	.pdf	3
摘要
文档介绍了Apache Kyuubi 1.3.0，这是一个基于Apache Spark构建的统一多租户JDBC接口，用于大规模数据处理和分析。Kyuubi通过JDBC接口弥合业务开发与大数据分析之间的差距，实现解耦并最大化双方价值。它支持端到端多租户特性，包括多客户端并发和认证、每个账户一个Spark应用（SPA）、队列/命名空间访问控制列表（ACL）以及元数据和数据ACL。用户可以使用Hive Beeline、HUE、DBeaver等客户端工具与Kyuubi服务器并发操作。Kyuubi还支持Hive JDBC驱动，帮助从Hive无缝迁移到Spark SQL。文档还涵盖了环境变量配置、Kyuubi属性配置（在kyuubi-defaults.conf中）、构建文档、运行测试（基于Apache Maven和ScalaTest Maven Plugin）以及调试方法（使用Java Debug Wire Protocol）。社区部分包括贡献指南和Pull Request流程。安装要求仅需正确设置JAVA_HOME，可通过解压tarball完成安装。
AI总结
Apache Kyuubi 1.3.0 是一个基于 Apache Spark 的统一多租户 JDBC 接口，用于大规模数据处理和分析。它通过易用的 JDBC 接口，将业务开发与大数据分析解耦，使双方能各自专注于自身领域。核心特性： - 多租户：支持端到端多租户，包括多客户端并发、认证、每个账户一个 Spark 应用（SPA）策略，以及队列/命名空间和元数据/数据的访问控制列表（ACL）。 - 与 Hive 兼容：支持 Hive JDBC 驱动，方便用户从 Hive 无缝迁移到 Spark SQL。安装与配置： - 前提条件：需要正确设置 `JAVA_HOME`。 - 安装：解压发布包即可。 - 配置：通过 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 和 `kyuubi-env.sh` 文件设置环境变量（如 `JAVA_HOME`、`HADOOP_CONF_DIR`、`SPARK_HOME`）和 Kyuubi 属性。引擎端的环境变量可通过 `kyuubi.engineEnv.VAR_NAME` 格式进行传递。开发与测试： - 构建文档：使用 `virtualenv` 创建独立环境，通过 `pip install -r requirements.txt` 安装依赖，然后运行 `make html` 构建 HTML 文档。 - 运行测试：使用 Maven 和 ScalaTest Maven Plugin。可运行全部测试（`./build/mvn clean test`）、特定模块（`-pl :kyuubi-common`）或单个测试（`-DwildcardSuites=...`）。 - 调试：支持使用 Java 调试线协议（JDWP）配合 IDE（如 IntelliJ IDEA）进行调试。社区贡献： - 贡献代码、文档、测试等需遵守 Apache License v2.0。 - 建议在提交 Issue 或 Pull Request 前先搜索历史记录，并使用英文沟通。 - 贡献流程包括：Fork 仓库、克隆、创建分支、修改代码、提交推送，最后创建 Pull Request。附录术语： - Kyuubi：基于 Apache Spark 的统一多租户 JDBC 接口。 - JDBC：用于 Java 语言与各种数据库进行连接的标准 API。 - Apache Hive：数据仓库软件，Kyuubi 支持其 JDBC 驱动。