Apache Kyuubi 1.7.2-rc0 Documentation

语言	格式	评分
英语	.epub	3
摘要
文档主要介绍了Apache Kyuubi 1.7.2-rc0的版本升级内容、高可用性（HA）架构以及相关配置。文档详细说明了从不同版本升级到新版本时需要注意的事项，包括REST API参数的变化、认证方式的调整等。同时，文档还介绍了Kyuubi的高可用性实现，通过ZooKeeper进行服务发现和负载均衡，确保系统的可靠性。此外，文档还涵盖了Kyuubi的架构设计、认证授权机制、开发工具使用等内容，为用户提供了全面的技术支持。
AI总结
### Apache Kyuubi 1.7.2-rc0 文档总结 #### 1. 升级指南 - 从 Kyuubi 1.7.1 升级到 1.7.2 - Kyuubi BeeLine 支持使用 `--python-mode` 选项运行 Python 代码或脚本。 - 从 Kyuubi 1.7.0 升级到 1.7.1 - REST API 的 `open/create` 会话请求中移除了 `protocolVersion` 参数，无效参数将被静默忽略。 - 支持 `confOverlay` 参数，可创建 `EXECUTE_STATEMENT` 类型的操作。 - 从 Kyuubi 1.6 升级到 1.7 - `kyuubi.ha.zookeeper.engine.auth.type` 不再回退到 `kyuubi.ha.zookeeper.auth.type`，Kerberos 认证需显式设置为 `KERBEROS`。 - REST API 的 `open/create` 会话请求不再包含 `user` 和 `password` 参数，需通过 HTTP 请求的 `Authorization` 头设置。 - 从 Kyuubi 1.6.0 升级到 1.6.1 - `kyuubi.ha.zookeeper.engine.auth.type` 不再回退到 `kyuubi.ha.zookeeper.auth.type`，Kerberos 认证需显式设置为 `KERBEROS`。 #### 2. 日志配置 - 日志文件路径：`$KYUUBI_HOME/logs/kyuubi-${USER}-org.apache.kyuubi.server.KyuubiServer-${HOSTNAME}.out`。 - 示例：通过环境变量 `KYUUBI_LOG_DIR` 配置日志目录。 #### 3. 高可用性（HA）架构 - 特点： - 使用 Apache ZooKeeper 实现服务发现和负载均衡。 - 支持高并发和弹性资源管理，提升系统可用性和稳定性。 - 支持平滑升级，服务器停止时不会立即下线，而是逐步释放连接后停止。 - 架构： - 客户端层：通过 ZooKeeper 发现多个 Kyuubi 实例并负载均衡。 - 服务器层：每个 Kyuubi 实例注册到服务发现层，选择可用的引擎实例。 - 引擎层：引擎实例由 Spark 提供，支持共享和复用。 #### 4. 认证与授权 - 认证：通过身份验证确保客户端与服务器之间的信任连接。 - 授权：使用 Submarine 插件实现基于 SQL 标准的细粒度授权。 #### 5. 架构介绍 - 目标：提供高性能的 JDBC 和 SQL 执行引擎，支持大规模数据处理和分析。 - 优势： - 支持多租户，扩展了 Spark Thrift Server 的应用场景。 - 通过引擎缓存和水平扩展提升并发能力。 - 提供高可用性和负载均衡，确保服务稳定性和 SLA 承诺。 #### 6. 开发工具 - 提供 Maven 项目构建、子模块独立构建、依赖管理等功能。 - 支持不同 Spark 版本构建和文档生成。 #### 7. 配置参数 - 关键配置： - `kyuubi.ha.addresses`：服务发现的连接字符串。 - `kyuubi.frontend.trino.bind.host` 和 `kyuubi.frontend.trino.bind.port`：Trino 前端服务的绑定地址和端口。 #### 8. 其他特性 - 支持 Hive JDBC 驱动，帮助迁移 Hive 慢查询到 Spark SQL。 - 支持 Apache Thrift 协议，兼容多种语言开发服务。 #### 总结 Apache Kyuubi 是一个高性能的统一 JDBC 和 SQL 执行引擎，基于 Apache Spark 构建，支持高可用性、负载均衡和多租户场景。通过 ZooKeeper 实现服务发现和故障自动恢复，提供灵活的资源管理和高并发处理能力，适用于企业级的交互式查询和批处理任务。