Apache Kyuubi 1.7.3 Documentation
3.79 MB
211 页
0 评论
语言 | 格式 | 评分 |
---|---|---|
英语 | .pdf | 3 |
摘要 | ||
Apache Kyuubi 1.7.3 文档介绍了其作为分布式和多租户网关的功能,支持在数据仓库和湖仓中提供无服务器 SQL 服务。Kyuubi 支持多种计算框架,如 Apache Spark、Flink、Doris、Hive 和 Trino,并提供统一的 JDBC 接口。文档详细描述了其多租户支持,包括身份验证和授权扩展,以及高可用性设计,确保无单点故障和零停机时间。同时,文档还涵盖了社区参与、版本发布流程和工具使用指南,包括 Kyuubi Administer 工具的安装和使用方法。 | ||
AI总结 | ||
《Apache Kyuubi 1.7.3 Documentation》总结如下:
### 1. 概述
Apache Kyuubi 是一个分布式、多租户的网关,支持在 Data Warehouses 和 Data Lakes 上提供无服务器 SQL 功能。它基于多种现代计算框架(如 Apache Spark、Flink、Doris、Hive 和 Trino 等)构建分布式 SQL 查询引擎,能够对海量数据进行高效处理和分析。Kyuubi 通过统一的接口隐藏了底层计算和存储的复杂性,为用户提供了简化的数据处理和安全的集群访问。
### 2. 核心功能
- **多租户支持**:Kyuubi 提供端到端的多租户功能。在控制平面上,Kyuubi 服务器通过集中式身份验证(支持 LDAP 和 Kerberos 等协议)保护数据和资源安全。在数据平面上,Kyuubi 引擎使用受信任的客户端身份进行资源分配和数据访问,确保数据和资源的安全性。此外,Kyuubi 还提供了引擎授权扩展,支持细粒度的行/列级安全控制。
- **高可用性**:Kyuubi 支持高可用性(HA),确保系统在预定期限内无故障运行。HA 功能包括负载均衡(防止单点故障)、零停机时间维护以及故障检测(通过指标和日志可视化)等。
### 3. 应用场景与扩展功能
- **统一数据栈**:Kyuubi 可与 Spark、Iceberg 等工具结合,构建数据湖仓库(Data Lakehouse),支持 ETL 和 OLAP 等多种工作负载,提供一站式数据处理和分析。
- **多协议支持**:Kyuubi 提供多种接口(如 Hive Thrift Protocol、RESTful APIs、MySQL Protocol 等),方便客户端与服务器通信。
- **数据操作**:支持常见的数据操作(如 CREATE TABLE、SELECT、INSERT、UPDATE、DELETE、MERGE INTO 等),并对 Apache Kudu 和 Iceberg 等存储引擎提供支持。
### 4. 社区与贡献
- **社区参与**:Kyuubi 鼓励用户通过邮件列表、问题追踪(Issue Tracker)、GitHub 讨论、Slack 等渠道参与社区建设。用户可以提出问题、分享成功经验、改进文档、测试最新版本或贡献代码。
- **贡献指南**:Kyuubi 是一个社区驱动的项目,欢迎各种形式的贡献,包括代码提交、文档改进、问题报告等。
### 5. 版本发布与管理
- **发布流程**:Kyuubi 的版本发布过程包括决定发布、准备发布、构建候选版本、投票验证、最终发布等步骤。发布经理负责整个流程,确保版本符合社区标准。
- **发布后操作**:发布完成后,需更新网站、发送公告、发布 Docker 镜像,并清理过时的发布候选目录。
### 总结
Apache Kyuubi 1.7.3 作为一个分布式、多租户的 SQL 网关,通过支持多种计算框架和存储引擎,提供了高效、安全、可扩展的数据处理和分析能力。其高可用性和多协议支持使其适合生产环境下的复杂数据处理需求,同时,社区驱动的特点为其持续发展和完善提供了坚实的基础。 |
P1
P2
P3
P4
P5
P6
P7
下载文档到本地,方便使用
- 可预览页数已用完,剩余
204 页请下载阅读 -
文档评分