Apache Kyuubi 1.7.2-rc0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.2-rc0文档主要介绍了其作为统一多租户JDBC接口的架构与功能。Kyuubi构建于Apache Spark之上，提供无服务器SQL服务，支持数据仓库和数据湖查询。文档详述了其多租户支持、高可用性设计，包括负载均衡与故障检测。核心架构中，Kyuubi服务器处理客户端连接与执行请求，通过会话与操作管理。引擎缓存、水平扩展和负载均衡提升了交互式查询性能。文档还涵盖了安全认证（LDAP、Kerberos）、扩展点（服务端与引擎端插件）以及从1.6到1.7版本的迁移指南，如会话类型重构和API参数变化。

AI总结

Kyuubi 1.7.2 是一个统一的、多租户的 JDBC 接口，用于大规模数据处理和分析，构建于 Apache Spark 之上。它是一个分布式网关，支持在数据仓库和数据湖上提供无服务器 SQL 服务，兼容 Spark、Flink、Hive 等多种计算框架。

**发布流程总结如下：**
* **发布候选版**：需将版本同步至 Maven 中央仓库。
* **更新网站**：在网站源码的新闻和发布目录中添加文件，并更新 Hugo 配置文件中的版本参数。
* **发送公告**：通过 Apache 邮箱向多个邮件列表发送公告，可使用自动化脚本生成。
* **清理旧版本**：删除发布候选版本的 SVN 仓库目录。
* **发布 Docker 镜像**：需遵循专用指南。

**核心功能与架构：**
* **统一网关**：通过 JDBC 接口将用户与底层技术细节解耦。业务专家关注业务，大数据工程师优化后端。
* **多租户**：支持端到端多租户，在控制面进行集中认证，在数据面使用可信用户身份实例化引擎，确保数据和资源安全。
* **高可用性**：通过负载均衡和故障可检测性（通过指标、日志实现），防止单点故障并实现零停机维护。
* **核心引擎**：主要依赖 Apache Spark 提供高性能查询，并通过引擎缓存提升交互式响应速度，通过水平扩展增强并发能力。
* **扩展性**：支持服务端和引擎端扩展。例如，管理员可通过自定义 `SessionConfAdvisor` 插件动态追加或覆盖会话配置。

**版本升级注意事项（迁移指南）**：
* **1.7.1 到 1.7.2**：Kyuubi BeeLine 需使用 `--python-mode` 选项运行 Python 代码。
* **1.7.0 到 1.7.1**：REST API 中“创建会话”的请求参数移除了 `protocolVersion`，并新增 `confOverlay` 支持。
* **1.6 到 1.7**：ZooKeeper 引擎认证类型 (`kyuubi.ha.zookeeper.engine.auth.type`) 需显式设置；会话类型 `SQL` 更名为 `INTERACTIVE`；`GetInfo` 请求默认返回引擎信息，需修改配置以恢复为服务器信息。

**术语说明**：
* **Kyuubi**：一个统一的、多租户的 JDBC 接口，构建于 Apache Spark 之上。
* **JDBC**：Java 数据库连接的标准 API。
* **Apache Hive**：数据仓库软件，Kyuubi 支持其 JDBC 驱动，方便从 Hive 迁移到 Spark SQL。
* **Server**：处理客户端并发连接和查询请求的守护进程。
* **ServerSpace**：用于注册服务器并将其作为服务层暴露给客户端的空间。