Apache Kyuubi 1.7.2 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.2是一个分布式多租户网关，用于在数据仓库和湖仓上提供无服务器SQL查询。它基于Apache Spark、Flink、Doris、Hive、Trino等现代计算框架构建分布式SQL查询引擎。Kyuubi通过引擎缓存提高临时查询响应速度，通过水平扩展和负载均衡增强并发能力。它提供完整的认证和授权服务确保数据安全，以及高可用和负载均衡保障SLA承诺。Kyuubi采用两级弹性资源管理架构，有效提高资源利用率。其愿景是构建在Apache Spark和数据湖技术之上，统一门户成为理想的数据湖管理平台。从1.7.1升级到1.7.2时，Kyuubi BeeLine需使用--python-mode选项运行Python代码。从1.7.0升级到1.7.1时，REST API的Open session参数中移除了protocolVersion。从1.6升级到1.7时，Kyuubi返回引擎信息而非服务器信息。

AI总结

Apache Kyuubi 1.7.2 是一个分布式多租户网关，用于在数据仓库和湖仓上提供无服务器 SQL 服务。它基于 Apache Spark、Flink 等计算框架构建，旨在通过统一 SQL 接口处理 ETL 和 BI 等所有工作负载。

**核心架构与特性**
- **架构**：Kyuubi 服务器处理客户端连接和执行请求。会话创建分为轻量级和重量级（首次或长时间未连接时需实例化 SparkContext），这种模式兼顾了快速响应和资源效率。
- **多租户**：支持端到端多租户。控制平面提供集中认证（如 LDAP、Kerberos），数据平面确保引擎使用可信用户身份，实现资源、数据和元数据的安全隔离。
- **高可用性**：设计包含负载均衡（防止单点故障、实现零停机维护）和故障可检测性（通过指标和日志监控服务器及引擎状态）。

**1.7.2 版本迁移指南**
- **从 1.7.1 升级**：Kyuubi BeeLine 需使用 `--python-mode` 选项来运行 Python 代码或脚本。
- **从 1.7.0 升级**：REST API 创建会话时移除了 `protocolVersion` 参数；支持在创建操作时使用 `confOverlay` 参数。
- **从 1.6 升级**：
- ZooKeeper 引擎认证类型 (`kyuubi.ha.zookeeper.engine.auth.type`) 不再回退到服务器认证类型，使用 Kerberos 时需显式设置。
- `GetInfo` 请求默认返回引擎信息，可通过设置 `kyuubi.server.info.provider` 为 `SERVER` 恢复旧行为。
- 会话类型 `SQL` 已重构为 `INTERACTIVE`。
- REST API 创建会话不再包含用户密码和 IP 地址参数，这些需在 HTTP 请求的 `Authorization` 中设置。

**社区与贡献**
- 用户可通过邮件列表、Issue Tracker、GitHub Discussions 和 Slack 参与社区。
- 贡献方式包括回答问题、改进文档、测试、报告 Bug、提交代码等。