Apache Kyuubi 1.7.2-rc0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档介绍了Apache Kyuubi 1.7.2-rc0的功能与特性。Kyuubi是一个构建于Apache Spark之上的统一多租户JDBC接口，支持多租户安全管理、通过LDAP和Kerberos等协议实现网络安全，以及高可用性和负载均衡以避免单点故障。Kyuubi提供了Serverless SQL功能，允许用户在数据湖环境中高效执行SQL查询，并支持多种数据存储技术如Apache Iceberg、Delta Lake和Apache Hudi。文档还详细说明了配置参数、日志系统、安装步骤以及发布文档的方法。

AI总结

《Apache Kyuubi 1.7.2-rc0 Documentation》全面介绍了Apache Kyuubi的功能、架构和配置。以下是文档的核心内容总结：

1. **多租户支持**：
Kyuubi提供端到端的多租户功能。在控制面，通过集中身份验证层（支持LDAP、Kerberos等协议）减少数据和资源泄露风险；在数据面，引擎实例化使用相同的信任客户端身份，资源获取和数据访问均在单独引擎内完成，确保数据和资源安全。此外，Kyuubi支持细粒度的行/列级授权机制，进一步优化数据安全模型。

2. **高可用性与负载均衡**：
Kyuubi设计了高可用性（HA）功能，确保系统在指定期间无故障运行。通过负载均衡防止单点故障，实现计划性维护的零停机时间。系统还支持故障检测，可通过指标、日志等监控Kyuubi服务器和引擎的运行状态。

3. **无服务器SQL与更多功能**：
Kyuubi支持Lakehouse上的无服务器SQL，简化了用户从数据中获取灵感和优化数据管道的过程。它提供类似RDBMS的用户体验，支持多种数据源的安全访问，并能高效处理大规模数据。此外，Kyuubi还支持无服务器代码片段和自包含应用的提交，便于更高级的使用场景。

4. **核心功能与架构**：
Kyuubi是一个基于Apache Spark的统一多租户JDBC接口，支持大规模数据处理和分析。它通过JDBC接口实现Java与数据库的无依赖连接，兼容Hive JDBC驱动，便于将慢查询从Hive迁移到Spark SQL。

5. **配置参数**：
文档详细列出了多个配置参数及其用途，如最大查询行数、作业调度池、异步SQL查询状态的长轮询超时等，用户可根据需求调整这些参数以优化性能。

6. **安装与部署**：
Kyuubi的安装包包含了二进制文件、配置文件、日志目录等基础结构。部署过程涉及对外部依赖（如Spark、Zookeeper）的支持，文档提供了详细的目录结构和部署说明。

7. **监控与日志**：
Kyuubi使用Apache Log4j2记录日志（版本1.5.0及以上）或Log4j（1.4.1及以下），日志涵盖服务器活动、引擎运行和操作记录等内容。监控功能通过指标和日志帮助用户跟踪系统运行状态和故障排除。

8. **版本发布与文档构建**：
Kyuubi社区严格遵循版本发布流程，确保每个版本的稳定性和安全性。此外，文档提供了构建指南，方便用户自行生成项目文档。

总体而言，Kyuubi通过其多租户架构、高可用性、无服务器SQL支持和灵活的配置选项，成为大规模数据处理和分析的强大工具，同时确保了系统的安全性和易用性。