Apache Kyuubi 1.7.0-rc0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi™ 1.7.0是一款分布式和多租户网关，支持在数据仓库和湖屋上执行无服务器SQL。它通过统一的SQL接口，整合了多种现代计算框架如Spark、Flink、Hive和Trino等，为大规模数据处理提供了便捷的解决方案。文档详细介绍了Kyuubi的多租户支持，包括控制平面上的集中认证层和数据平面上的资源管理；高可用性设计，确保系统在计划维护期间实现无停机；以及安全机制，如细粒度的行列级授权。同时，文档还涵盖了Kyuubi的配置、部署步骤以及社区合作信息。

AI总结

### Apache Kyuubi 1.7.0-rc0 文档总结

Apache Kyuubi是一个分布式、多租户的SQL网关，旨在为数据仓库和数据湖提供无服务器SQL查询服务。它支持多种计算框架，如Spark、Flink、Doris、Hive和Trino等，帮助用户在统一的SQL接口下处理异构数据源和分布式集群。Kyuubi通过隐藏技术细节，为用户提供简化的数据处理和安全的集成体验。

#### 关键功能与特性

1. **多租户支持**
- 提供端到端的多租户隔离，控制平面通过集中认证层（支持LDAP和Kerberos等协议）降低数据泄露风险。
- 数据平面上，引擎使用可信客户端身份，确保资源获取和数据访问的安全性。
- 提供粒度化的行/列级数据安全模型，优化数据安全。

2. **高可用性**
- 支持负载均衡，防止单_point_故障，实现零停机时间的系统维护。
- 通过指标和日志监控故障，确保服务器和引擎的稳定运行。

3. **统一SQL网关**
- 支持多种协议，包括Hive Thrift、RESTful APIs、MySQL协议等，帮助用户无缝连接和交互。
- 支持Hive JDBC驱动，实现从Hive到Spark SQL的无缝迁移。
- 集成Iceberg和Delta Lake，提供高效的数据格式和ACID事务支持。

4. **架构组件**
- **Kyuubi Server**：处理并发连接和查询请求，提供统一的入口。
- **Engine**：处理所有查询，支持共享和注册到引擎命名空间，主要由Spark SQL驱动。
- **ServerSpace和EngineSpace**：用于服务注册和交互，提升管理效率。

#### 配置与部署

- **配置**：通过`kyuubi-defaults.conf`文件进行属性设置，如认证、绑定主机和端口等。
- **部署步骤**：
1. 下载并解压安装包。
2. 配置`kyuubi-defaults.conf`。
3. 启动Kyuubi服务，查看日志获取JDBC连接URL。
4. 使用Beeline工具测试连接，检查引擎运行状态。

#### 社区与版本发布

- 鼓励用户加入邮件列表，参与讨论和贡献。
- 版本发布流程严格管理，包括准备、分支管理、构建候选版本、投票、问题修复、最终发布等步骤。
- 社区发布版本时需遵循Apache基金会的产品发布政策，确保符合开源标准。

#### 其他技术集成

- **Apache ZooKeeper**：提供分布式协调服务，支持服务发现和高可用性。
- **Apache Curator**：简化ZooKeeper的使用，提供高级API和实用工具，提升系统可靠性。

总体而言，Apache Kyuubi 1.7.0-rc0版本在多租户安全、高可用性、统一接口支持和分布式架构方面均有显著提升，为企业级数据处理和分析提供了强大的支持。