Apache Kyuubi 1.7.0-rc1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.0是一款分布式和多租户的SQL网关，支持在数据仓库和湖仓中提供无服务器SQL服务。Kyuubi支持多种计算框架，如Spark、Flink、Doris、Hive和Trino等，允许用户通过统一的JDBC接口访问和处理大量数据。其架构设计强调高可用性，通过负载均衡和故障检测机制确保系统的稳定运行。同时，Kyuubi提供多租户支持和安全性措施，包括身份验证、授权和审计功能。此外，Kyuubi支持通过日志和指标进行监控，确保系统性能和资源的透明度。文档还详细介绍了Kyuubi的配置、监控、安全设置以及JDBC连接的使用方法。

AI总结

《Apache Kyuubi 1.7.0-rc1 Documentation》总结如下：

1. **Apache Kyuubi 简介**
Apache Kyuubi 是一个分布式、多租户的统一 SQL 网关，支持在数据仓库和数据湖上提供无服务器 SQL 功能。它构建在 Apache Spark、Flink、Doris、Hive、Trino 等多种计算框架之上，支持从多源异构数据源对海量数据进行查询。Kyuubi 隐藏了底层的技术细节，为用户提供了一个统一的 SQL 接口，简化了数据处理和分析过程。

2. **核心功能与设计**
- **多租户支持**：Kyuubi 提供端到端的多租户能力，控制平面上实现集中认证，数据平面上确保资源获取和数据访问的安全性，支持细粒度的行列级安全控制。
- **高可用性（HA）**：通过负载均衡和故障检测机制，Kyuubi 保证系统的持续运行，避免单点故障，并支持无停机时间的计划性维护。
- **统一接口**：支持多种协议，包括 Hive Thrift Protocol、RESTful APIs 和 MySQL Protocol，且计划扩展更多协议。

3. **配置与安全性**
- **配置文件**：Kyuubi 通过 `kyuubi-defaults.conf` 和 `hive-site.xml` 加载配置，优先级为前者更高。Hadoop Credentials Manager 负责加载和管理配置。
- **安全配置**：支持通过 Kerberos、LDAP 等协议实现认证，保证集群和数据的安全性。
- **凭证更新**：Hadoop Credentials Manager 在 Kyuubi 服务器启动时初始化，忽略 JDBC 连接 URL 中的配置。

4. **监控与日志**
- **日志系统**：Kyuubi 使用 Log4j2（1.5.0 及以上版本）或 Log4j（1.4.1 及以下版本）记录日志，主要包括服务器日志、引擎日志和操作日志，帮助追踪 SQL 工作负载。
- **监控工具**：通过 metrics 和日志等手段实现对服务器和引擎的故障检测和性能监控。

5. **客户端与连接**
- **JDBC 连接**：Kyuubi 支持通过 JDBC 连接 URL 配置基础设置，包括主机、端口、数据库/模式和身份验证信息。会话配置可以通过特殊格式的数据库/模式字段添加。
- **支持工具**：如 DBeaver 可以直接使用 Kyuubi JDBC 驱动，兼容 Apache Hive 和 Apache Spark 的配置。

6. **发布与文档**
- **发布流程**：包括发布决策、版本准备、分支切割、候选版本构建、投票表决、问题修复、最终发布、发布推广等步骤。
- **文档生成**：通过 Make 命令生成 HTML 文档，支持本地查看。
- **测试与开发工具**：支持 Maven 和 ScalaTest 运行测试，提供 IDEA 配置指南，方便开发者使用。

7. **其他信息**
- **术语表**：明确了 Kyuubi 的核心概念。
- **社区与贡献**：鼓励用户参与社区讨论，并通过邮件列表获取最新信息。

总结中突出了 Kyuubi 的核心功能、配置方法、安全机制、监控工具、客户端连接方式以及发布流程等关键信息，满足了用户对文档核心内容的快速了解需求。