Apache Kyuubi 1.8.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.8.0 is a unified multi-tenant JDBC interface built on Apache Spark, designed for large-scale data processing and analytics. It supports high performance, scalability, and security, with features like session management, resource elasticity, and integration with external systems. The document details configurations, monitoring, security, and migration guidelines, highlighting improvements and changes from previous versions. It also compares Kyuubi with HiveServer2 and Spark Thrift Server, emphasizing its enhanced capabilities in multi-tenancy, concurrency, and data security.

AI总结

### Apache Kyuubi 1.8.0 文档总结

#### 1. 概述
Apache Kyuubi 是一个基于 Apache Spark 的统一多租户 JDBC 接口，支持大规模数据处理和分析。它扩展了 Spark Thrift Server 的应用场景，特别是在多租户支持方面具有重要意义。

#### 2. 新功能与改进
- **统一网关**：支持多租户、高可用性和灵活的 API。
- **无服务器 SQL**：支持在任何规模下运行，性能优化显著。
- **监控与日志**：使用 Apache Log4j2 进行日志管理，支持外部系统日志记录。
- **安全增强**：通过 Kerberos 认证和细粒度的 SQL 授权提升数据安全。
- **性能优化**：通过引擎缓存、水平扩展和负载均衡提升并发能力。

#### 3. 配置方式
- **环境变量**：通过 `$KYUUBI_HOME/conf/kyuubi-env.sh` 配置运行时环境。
- **JDBC 连接 URL**：支持通过 URL 参数传递配置，但会被 Hadoop Credentials Manager 忽略。
- **Hive 配置文件**：将 `hive-site.xml` 放置在 `$KYUUBI_HOME/conf` 目录，Kyuubi 会优先加载。

#### 4. 监控与日志
- **日志系统**：Kyuubi 使用 Apache Log4j2，日志分为 Kyuubi Server、Engine 和操作日志三类。
- **外部系统**：生产环境依赖外部系统（如 Zookeeper）进行日志记录，具体内容未在文档中展开。

#### 5. 贡献指南
- **代码风格**：Scala 采用 Databricks 编码规范，Java 采用 Google 编码规范。
- **构建方式**：基于 Apache Maven，通过 `./build/mvn clean package -DskipTests` 构建。
- **文档贡献**：通过 Fork 和克隆 Kyuubi 仓库，更新文档并提交到对应语言的目录。

#### 6. 发布指南
- **推广新版本**：更新官网新闻和发布页面，同步到 Maven Central。
- **发布公告**：通过脚本生成公告邮件，发送至指定邮件列表。
- **清理旧版本**：删除旧版本候选目录，保持仓库整洁。

#### 7. 与 HiveServer2 和 Spark Thrift Server 的对比
- **性能**：Kyuubi 在多并发、高可用性和资源利用率上表现更优。
- **功能**：支持多租户、细粒度授权和统一的数据接口。
- **扩展性**：通过 Spark 的生态系统快速扩展新功能，如湖仓支持和云原生特性。

#### 8. 迁移指南
- **从 1.7 到 1.8**：默认使用 SQLite 作为元数据库，需手动配置以保留 Derby 行为。
- **从 1.7.1 到 1.7.2**：BeeLine 支持 Python 模式。
- **从 1.6 到 1.7**：调整 Kerberos 配置和 REST API 参数。

#### 9. 结论
Apache Kyuubi 1.8.0 在多租户支持、性能优化和安全性方面均有显著提升，是企业级大数据分析的理想选择。