Apache Kyuubi 1.7.0-rc0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 是一个高性能的统一 JDBC 和 SQL 执行引擎，旨在帮助用户像处理普通数据一样处理大数据。它提供标准化的 JDBC 接口，支持多租户、高可用性和数据安全，依赖 Apache Spark 提供高性能查询能力。Kyuubi 通过扩展点支持插件功能，并提供弹性资源管理以优化资源利用率。文档还介绍了 Kyuubi 的架构、配置、安全性以及与 Spark 的集成。

AI总结

### Apache Kyuubi 1.7.0-rc0 文档总结

#### 1. **概述**
Apache Kyuubi 是一个高性能的通用 JDBC 和 SQL 执行引擎，旨在帮助用户像处理普通数据一样处理大数据。它提供标准化的 JDBC 接口，使用户无需关注底层大数据平台（计算引擎、存储服务、元数据管理等）。Kyuubi 依赖 Apache Spark 提供高性能数据查询能力，并通过以下方式提升性能和可用性：
- **引擎缓存**：提高即席查询的响应速度。
- **水平扩展和负载均衡**：提升并发能力。
- **高可用性和负载均衡**：确保服务稳定性和 SLA 承诺。
- **弹性资源管理**：两级架构设计，优化资源利用率。

Kyuubi 的目标是基于 Apache Spark 和数据湖技术，打造统一的数据湖管理平台，支持 ETL、BI 分析等场景，实现“一平台、一份数据、一个 SQL 接口”的统一处理。

---

#### 2. **架构**
Kyuubi 的架构设计使其能够高效管理和处理大规模数据。其核心组件包括：
- **控制平面**：提供集中化的认证和授权功能，支持多租户和多种协议（如 LDAP、Kerberos）。
- **数据平面**：通过引擎隔离数据和元数据访问，确保资源和数据安全。
- **扩展支持**：支持插件化扩展，管理员或用户可通过插件动态扩展功能。

---

#### 3. **升级指南**
- **从 Kyuubi 1.6 升级到 1.7**：
- `kyuubi.ha.zookeeper.engine.auth.type` 不再 fallback 到 `kyuubi.ha.zookeeper.auth.type`，需显式设置为 KERBEROS。
- `GetInfo` 请求返回引擎信息，若需恢复旧行为，设置 `kyuubi.server.info.provider` 为 SERVER。
- 会话类型 SQL 已重构为 INTERACTIVE，用户需使用 INTERACTIVE 查看会话事件。
- REST API 的 Open（创建）会话不再包含 `user` 和 `password` 参数，需通过 HTTP 请求的 Authorization 头设置。

- **从 Kyuubi 1.6.0 升级到 1.6.1**：
- `kyuubi.ha.zookeeper.engine.auth.type` 不再 fallback 到 `kyuubi.ha.zookeeper.auth.type`，需显式设置为 KERBEROS。

- **从 Kyuubi 1.5 升级到 1.6**：
- Zookeeper 认证相关配置 `kyuubi.kui.principal` 和 `kyuubi.kui.keytab` 被移除，需显式设置 `kyuubi.ha.zookeeper.auth.principal` 和 `kyuubi.ha.zookeeper.auth.keytab`。

---

#### 4. **配置与扩展**
Kyuubi 提供灵活的配置方式，支持通过以下方式扩展功能：
- **插件扩展**：管理员可通过插件扩展 Kyuubi 服务器功能，例如自定义配置顾问（`SessionConfAdvisor`）。
- **动态扩展**：部分插件可由用户在运行时动态加载。

---

#### 5. **性能优化**
Kyuubi 基于 Apache Spark 的自适应查询执行（AQE）框架，提供以下优化功能：
- **小文件合并**：通过增加 Shuffle 阶段自动合并小文件，支持数据源表和 Hive 表。
- **优化倾斜连接**：在 Join 前插入 Shuffle 节点，确保倾斜连接优化生效。
- **分区级别配置隔离**：通过配置隔离解决分区大小冲突问题，优化数据处理效率。

---

#### 6. **高可用性与安全性**
- **高可用性**：
- 负载均衡：防止单点故障，确保零停机时间维护。
- 故障检测：通过指标和日志监控服务器和引擎状态。
- **安全性**：
- 多租户支持：通过集中化认证和授权层确保数据和资源安全。
- 精细权限控制：支持行/列级别的数据访问控制。

---

#### 7. **发行与贡献**
Kyuubi 定期发布新版本，遵循 Apache 项目规范，由社区投票决定发布。贡献者可通过邮件列表参与讨论和开发，文档中也提供了 IDE 设置和贡献指南。

---

以上为 Apache Kyuubi 1.7.0-rc0 的核心内容总结，涵盖架构、功能、升级、配置、优化及安全性等方面，便于用户快速了解和使用。