Apache Kyuubi 1.7.2 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.7.2的升级指南、日志配置、架构设计以及与Spark的集成。Kyuubi是一个基于Apache Spark的高性能统一JDBC和SQL执行引擎，支持多租户、高可用性和负载均衡。文档还涵盖了如何配置日志、监控指标、故障排除，以及与Hive和Zookeeper的集成。此外，文档提供了详细的升级步骤和配置指南，帮助用户顺利从旧版本迁移。

AI总结

# Apache Kyuubi 1.7.2 文档总结

## 1. 升级指南
- **从 1.7.1 升级到 1.7.2**
- Kyuubi BeeLine 支持使用 `--python-mode` 选项运行 Python 代码或脚本。

- **从 1.7.0 升级到 1.7.1**
- REST API 的 `open(create)` 会话请求参数中移除了 `protocolVersion`，未知或已移除的参数将被静默忽略。
- 支持 `confOverlay` 在 REST API 请求参数中使用。

- **从 1.6 升级到 1.7**
- `kyuubi.ha.zookeeper.engine.auth.type` 不再 fallback 到 `kyuubi.ha.zookeeper.auth.type`，Kerberos 认证需显式设置为 `KERBEROS`。
- GetInfo 请求返回引擎信息而非服务器信息，若需恢复旧行为，设置 `kyuubi.server.info.provider` 为 `SERVER`。
- 会话类型 `SQL` 重命名为 `INTERACTIVE`，支持 `INTERACTIVE` 会话类型。
- REST API 的 `open(create)` 会话请求不再包含 `user` 和 `password` 参数，需通过 HTTP 请求的 `Authorization` 头设置。

- **从 1.6.0 升级到 1.6.1**
- `kyuubi.ha.zookeeper.engine.auth.type` 不再 fallback 到 `kyuubi.ha.zookeeper.auth.type`，Kerberos 认证需显式设置为 `KERBEROS`。

## 2. 监控
- **日志系统**
- Kyuubi 使用 Apache Log4j2（v1.5.0 及以上版本）或 Apache Log4j（v1.4.1 及以下版本）进行日志记录。
- 主要日志组件包括：Kyuubi 服务器日志、引擎日志和操作日志。
- 默认日志文件路径为：`$KYUUBI_HOME/logs/kyuubi-${env:USER}-org.apache.kyuubi.server.KyuubiServer-${env:HOSTNAME}.out`。

- **指标监控**
- 提供服务器指标监控功能，具体配置可参考文档。

## 3. 故障排除
- **常见问题**
- 文档未提供具体故障排除步骤，但提到了一些配置和参数调整方法。

## 4. 架构
- **简介**
- Kyuubi 是一个高性能的通用 JDBC 和 SQL 执行引擎，提供统一的多租户 JDBC 接口，基于 Apache Spark 构建。
- 支持弹性资源管理、高可用性、负载均衡和多租户支持。

- **架构概述**
- 采用服务器和引擎耦合架构，通过 Apache Zookeeper 实现服务发现和负载均衡。
- 客户端通过服务发现层连接到 Kyuubi 实例，实例从引擎命名空间中选择可用引擎或创建新引擎。

- **认证与授权**
- 支持基于 Kerberos 的认证和基于 SQL 标准的细粒度授权。

## 5. 开发工具
- 提供 Maven 项目构建、子模块构建、依赖管理、文档生成等工具，支持在不同 Spark 版本下构建。

## 6. 部署
- 支持在 Kubernetes 上部署，可使用官方 Docker 镜像或自建镜像。
- 支持与 Hive Metastore 集成，默认行为和版本兼容性可参考文档。

## 7. 配置
- **配置系统**
- 支持环境变量、Spark 配置、Flink 配置、Hive 配置等。
- 用户默认配置可覆盖系统默认配置，但会被 JDBC 连接 URL 或 Set Command 覆盖。

## 8. 限制与对比
- **与 Spark Thrift Server 的对比**
- Kyuubi 扩展了 Spark Thrift Server 的应用场景，重点在于多租户支持。

## 总结
Apache Kyuubi 是一个基于 Apache Spark 的高性能统一 JDBC 和 SQL 执行引擎，支持多租户、高可用性、负载均衡和弹性资源管理，适用于企业级数据处理和分析场景。文档详细介绍了升级、监控、故障排除、架构、开发和部署等内容，帮助用户更好地理解和使用 Kyuubi。