Apache Kyuubi 1.8.0-rc0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 是一个基于 Apache Spark 的统一多租户 JDBC 接口，用于大规模数据处理和分析。它支持多种计算引擎（如 Spark、Flink、Trino 等），提供高可用性、负载均衡和弹性资源管理。Kyuubi 提供强大的身份验证和授权服务，确保数据和元数据安全。文档详细介绍了其架构、安装、配置、监控和升级等内容，强调了其在大数据平台中的灵活性和高性能。

AI总结

《Apache Kyuubi 1.8.0-rc0 Documentation》总结如下：

---

### **Apache Kyuubi 1.8.0 发布说明**
- **核心功能**：Kyuubi 是一个统一的多租户 JDBC 接口，基于 Apache Spark 构建，支持大规模数据处理和分析。
- **主要特性**：
- **统一入口**：提供统一的 SQL 接口，支持交互式查询、批处理、ETL 和 BI 分析。
- **多租户支持**：通过集中式认证和授权，确保数据和资源的安全性，支持 LDAP、Kerberos 等协议。
- **高可用性**：通过负载均衡和故障检测实现高可用性，支持零停机维护。
- **弹性资源管理**：采用两级弹性资源架构，优化资源利用率，支持多种场景下的性能需求。
- **扩展性**：支持多种计算引擎（如 Spark、Flink、Trino）和存储系统（如 Hive、Iceberg），可快速扩展功能。

### **架构与组件**
- **架构**：Kyuubi 服务器负责处理客户端连接和执行请求，支持轻量级和重量级会话创建。后端引擎负责数据处理和存储。
- **组件**：
- **Kyuubi 服务器**：处理连接和请求，支持高可用性和负载均衡。
- **计算引擎**：支持 Spark、Flink、Trino 等，用于数据处理和分析。
- **存储系统**：支持 Hive、Iceberg 等，用于数据存储。
- **元数据管理**：默认使用 SQLite（取代了已弃用的 Derby），支持细粒度的行/列级授权。

### **安装与配置**
- **安装**：基于二进制发布，解压后运行即可。配置文件位于 `$KYUUBI_HOME/conf`。
- **升级**：
- **从 1.7 到 1.8**：默认数据库类型改为 SQLite，metrics 报告器改为 Prometheus。
- **从 1.7.1 到 1.7.2**：Kyuubi BeeLine 支持 `--python-mode` 选项。
- **从 1.6 到 1.7**：调整了部分配置参数和认证机制。

### **监控与故障排除**
- **监控**：基于 Dropwizard Metrics 库，支持多种 metrics 报告器（如 Prometheus）。
- **故障排除**：
- 常见问题：`UnsupportedClassVersionError` 通常由 Java 版本不匹配引起，需检查 JRE 和 JDK 版本是否一致。

### **术语表**
- **Kyuubi**：统一多租户 JDBC 接口，支持大规模数据处理和分析。
- **Spark**：提供高性能查询能力，Kyuubi 的性能提升依赖于 Spark 的优化。
- **数据湖**：Kyuubi 的目标是成为数据湖管理平台，支持统一 SQL 接口。

---

### **总结**
Apache Kyuubi 1.8.0 是一个功能强大的统一数据处理和分析平台，支持多租户、高可用性和多种计算引擎。其核心优势在于通过 JDBC 接口实现数据湖的统一管理，支持交互式查询、批处理和 ETL 等多种工作负载。文档详细介绍了安装、配置、监控和故障排除等内容，同时提供了从旧版本升级的指南。