Apache Kyuubi 1.8.0-rc1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

The document provides a detailed guide for Apache Kyuubi 1.8.0-rc1, focusing on its features, configurations, and administration. It highlights Kyuubi's support for multi-tenancy, high availability, and security, including authentication and authorization mechanisms. The document also covers monitoring, troubleshooting, and performance optimization techniques, such as small file merging and query execution optimization. Additionally, it outlines the process for building and deploying Kyuubi, including Spark SQL extensions and metrics reporting.

AI总结

### Apache Kyuubi 1.8.0-rc1 文档总结

#### 1. 主要特性
- **统一网关**：Kyuubi 是一个统一的多租户 JDBC 接口，支持大规模数据处理和分析，基于 Apache Spark。
- **多租户支持**：提供端到端的多租户支持，通过集中化认证层和资源隔离机制保障数据和资源安全。
- **高可用性（HA）**：通过负载均衡和故障检测实现高可用性，确保系统稳定运行。
- **Serverless SQL**：支持在任何规模下运行，提供高性能查询能力。
- **安全性**：提供细粒度的行/列级授权机制，增强生产环境的安全性。

#### 2. 新功能与改进
- **默认数据库变更**：从 Kyuubi 1.8 开始，SQLite 成为默认的元数据库类型，取代了之前 deprecated 的 Derby。若需恢复旧行为，可设置 `kyuubi.metadata.store.jdbc.database.type=DERBY`。
- **嵌入式 Zookeeper 配置**：相对路径现在基于 `$KYUUBI_HOME` 解析，而非当前工作目录。
- **默认指标报告器**：从 Kyuubi 1.8 开始，默认使用 Prometheus 作为指标报告器，若需恢复旧行为，可设置 `kyuubi.metrics.reporters=JSON`。

#### 3. 性能优化
- **小文件合并**：通过引入额外的 Shuffle 阶段自动合并小文件，支持表和 Hive 表的写入优化。
- **优化连接**：在连接前插入 Shuffle 节点，确保优化的偏斜连接（OptimizeSkewedJoin）正常工作。
- **阶段配置隔离**：通过配置隔离解决 Spark 阶段级配置冲突问题，优化数据分区大小。

#### 4. 安全与配置
- **限制会话级配置**：通过 `kyuubi.session.conf.ignore.list` 和 `kyuubi.session.conf.restrict.list` 配置，禁止修改敏感的会话级配置。
- **限制操作级配置**：通过 `spark.kyuubi.conf.restricted.list` 配置，禁止动态修改受限的引擎配置。
- **默认限制配置**：`spark.sql.runSQLOnFiles` 和 `spark.sql.extensions` 默认在引擎限制列表中。

#### 5. 监控与故障排除
- **指标系统**：基于 Dropwizard Metrics Library，支持多种指标报告器（如 Prometheus）。
- **故障排除**：常见问题如 `UnsupportedClassVersionError`，需检查 Java 版本与编译版本是否匹配。

#### 6. 其他重要信息
- **文档贡献**：欢迎通过邮件列表（`[e-mail]` 和 `[e-mail]`）贡献代码和文档。
- **构建指南**：Kyuubi Spark AuthZ 插件可通过 Maven 构建，插件 JAR 文件位于 `extensions/spark/kyuubi-spark-authz/target/`。
- **版本支持**：Kyuubi 支持 Apache Spark 3.1 及以上版本，并计划持续支持新版本。

#### 7. 升级注意事项
- **从 1.7 到 1.8**：需注意 SQLite 的默认元数据库变更和配置参数调整。
- **从 1.7.1 到 1.7.2**：Kyuubi BeeLine 需使用 `--python-mode` 选项运行 Python 代码。
- **从 1.6 到 1.7**：Kerberos 认证和会话类型配置需调整。

#### 8. 附录
- **术语**：Kyuubi 是 Apache Kyuubi 社区开发的统一多租户 JDBC 接口，用于大规模数据处理和分析。
- **构建文档**：可通过 Hugo 和虚拟环境搭建文档，推荐使用 `pip install virtualenv` 创建独立环境。

总结：Apache Kyuubi 1.8.0-rc1 版本在多租户支持、高可用性、性能优化和安全性方面均有显著提升，同时提供了更灵活的配置和更好的扩展性。