Apache Kyuubi 1.7.1-rc0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.1是一个分布式多租户网关，提供基于JDBC接口的Serverless SQL服务，支持Spark、Flink、Trino等多种计算引擎。文档涵盖了配置加载方式（kyuubi-defaults.conf、hive-site.xml、JDBC连接URL）、安全配置（Hadoop凭证管理、Kerberos认证）、监控（基于Log4j2的日志系统）、扩展机制（服务端和引擎端插件）、以及从旧版本升级的迁移指南。关键组件包括Kyuubi Server、Kyuubi Engine和Beeline客户端，支持高可用（Zookeeper）和用户默认配置覆盖。版本1.7.1中REST API移除了protocolVersion参数，新增confOverlay支持，并调整了Zookeeper认证配置方式。

AI总结

Apache Kyuubi 1.7.1 是一个统一的、多租户的 JDBC 网关，用于大规模数据处理和分析，构建于 Apache Spark 等计算框架之上。它旨在为数据仓库和数据湖提供无服务器 SQL 服务，通过隐藏计算和存储的技术细节，让最终用户专注于业务，同时让管理员可以独立管理后端组件。

**核心配置与安全**
- 配置文件位于 `$KYUUBI_HOME/conf/kyuubi-defaults.conf`。
- Hive 配置可通过 `hive-site.xml` 文件加载，但优先级低于 `kyuubi-defaults.conf`。
- JDBC 连接 URL 中的配置在 Hadoop 凭证管理器中无效，因为该管理器在服务器启动时即初始化。
- 需要为 HDFS 和 Hive 配置必要的安全设置以获取委托令牌。

**监控**
- Kyuubi 1.5.0 及以上版本使用 Apache Log4j2 进行日志记录。
- 主要日志来源包括：Kyuubi 服务器日志、Kyuubi 引擎日志和操作日志。
- 生产环境通常依赖 Zookeeper 等外部系统进行服务发现。

**版本升级指南**
- **从 1.7.0 升级到 1.7.1**：REST API 中创建会话的 `protocolVersion` 参数已被移除；`confOverlay` 参数现在支持 `EXECUTE_STATEMENT` 类型的操作。
- **从 1.6 升级到 1.7**：引擎与 Zookeeper 进行 Kerberos 认证时，需显式设置 `kyuubi.ha.zookeeper.engine.auth.type` 为 `KERBEROS`；`GetInfo` 请求默认返回引擎信息；会话类型 `SQL` 已重构为 `INTERACTIVE`；REST API 创建会话不再包含用户密码和 IP 地址参数。
- **从 1.5 升级到 1.6**：引擎需显式设置 `kyuubi.ha.zookeeper.auth.principal` 和 `kyuubi.ha.zookeeper.auth.keytab` 以进行 Zookeeper Kerberos 认证。

**发布流程**
- 发布版本需同步至 Maven 中央仓库。
- 更新 Apache Kyuubi 网站，添加新闻和发布说明。
- 创建公告并发送至 `[e-mail]`、`[e-mail]` 和 `[e-mail]` 等邮件列表。
- 清理废弃的发布候选版本目录。
- 发布 Docker 镜像。

**生态系统与组件**
- Kyuubi 支持多种计算引擎，包括 Spark (>=3.1)、Flink (>=1.14.0)、Trino (>=363)、Doris 和 Hive (3.1.x)。
- 依赖 Java 8 或 11 运行环境。
- 可与 Zookeeper (>=3.4.x) 配合实现高可用和负载均衡。

**安装**
- 从官方下载页面获取二进制或源码发布包。
- 解压安装包即可完成安装。

**扩展**
- Kyuubi 提供服务器端和引擎端扩展点。
- **服务器端扩展**：管理员可通过自定义 `SessionConfAdvisor` 插件，动态注入或覆盖会话配置。
- **扩展步骤**：实现 `SessionConfAdvisor` 接口，编译并放置 JAR 包到 `$KYUUBI_HOME/jars`，然后在 `kyuubi-defaults.conf` 中配置 `kyuubi.session.conf.advisor`。

**用户默认配置**
- 可以为特定用户设置默认配置，格式为 `___username___.{config key}`。
- 这些配置会覆盖系统默认值，但会被 JDBC 连接 URL 或 `SET` 命令中的配置覆盖。
- 示例：`___kent___.spark.master=yarn` 为用户 `kent` 设置 Spark 为 YARN 模式。