Apache Kyuubi 1.8.0-rc0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.8.0-rc0是一款基于Apache Spark构建的企业级即席SQL查询服务，强调高可用性和负载均衡。通过使用Apache ZooKeeper管理服务实例，Kyuubi能够实现服务冗余和故障自动检测，确保服务的高可用性。文档详细介绍了其高可用性架构、负载均衡机制、升级指南以及与其他系统的对比。Kyuubi支持在线扩展和升级，提供多租户支持，并通过统一的JDBC接口实现高效的数据处理和分析。

AI总结

《Apache Kyuubi 1.8.0-rc0 Documentation》主要介绍了Apache Kyuubi的高可用性（HA）架构、核心功能、安装配置以及相关文档的贡献指南。以下是对文档内容的总结：

### 1. 高可用性（HA）架构
- **核心目标**：确保服务的高可用性，减少停机时间。
- **实现方式**：通过Apache ZooKeeper实现冗余服务实例的管理，支持自动故障检测和恢复。
- **负载均衡**：通过负载均衡优化资源利用率，提高吞吐量，避免单点过载。
- **服务发现**：客户端通过服务发现层找到可用的Kyuubi实例，支持多实例间的负载均衡。

### 2. 关键功能与优势
- **高并发支持**：支持动态扩展服务实例，满足高并发请求。
- **平滑升级**：支持优雅停机，确保升级过程中服务不中断。
- **多租户支持**：通过隔离 namespace 实现不同用户间的资源隔离。
- **弹性资源管理**：提供两层弹性资源管理架构，优化资源利用率。
- **多引擎支持**：支持多种 SQL 引擎（如 Scala、Python 等），满足多样化需求。

### 3. 安装与配置
- **安装步骤**：通过解压 tarball 安装 Kyuubi，启动脚本为 `kyuubi`。
- **配置文件**：配置文件位于 `conf` 目录，支持自定义参数（如内存、连接属性等）。
- **日志与工作目录**：日志文件存放在 `logs` 目录，工作目录为 `work`。

### 4. 其他重要信息
- **文档贡献**：文档源文件托管在 GitHub 仓库，支持社区贡献，包括编写、翻译和问题报告。
- **迁移指南**：从旧版本升级时需要注意以下事项：
- SQLite 成为默认元数据存储，取代了已弃用的 Derby。
- 默认 metrics reporter 变为 PROMETHEUS，可配置为 JSON 格式。
- REST API 参数调整，如移除 `protocolVersion` 和新增 `confOverlay` 支持。
- **安全与授权**：支持基于 Kerberos 的认证和基于 SQL 的细粒度授权，确保数据和元数据的安全性。

### 5. 结论
Apache Kyuubi 是一个高性能的统一多租户 JDBC 接口，基于 Apache Spark 构建，支持大规模数据处理和分析。其高可用性、负载均衡、多引擎支持和弹性资源管理使其成为企业级数据处理的理想选择。