Apache Kyuubi 1.5.2 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.5.2是一个高性能的通用JDBC和SQL执行引擎，旨在让用户像处理普通数据一样处理大数据。它提供标准化的JDBC接口，使终端用户无需了解底层大数据平台即可专注于业务开发和数据价值挖掘。Kyuubi依赖Apache Spark提供高性能数据查询能力，通过引擎缓存提高即席查询响应速度，并通过水平扩展和负载均衡增强并发能力。它提供完整的身份验证和授权服务以确保数据安全，以及高可用性和负载均衡来保证SLA承诺。Kyuubi采用两级弹性资源管理架构，在覆盖所有场景性能需求的同时提高资源利用率。其愿景是构建在Apache Spark和数据湖技术之上，统一门户并成为理想的数据湖管理平台，支持ETL和BI等纯SQL方式的数据处理和分析。文档还介绍了Kyuubi的架构、配置、指标系统、安全机制、安装步骤以及社区贡献指南。

AI总结

Apache Kyuubi 是一个高性能的统一 JDBC 和 SQL 执行引擎，旨在让用户像处理普通数据一样处理大数据。它提供标准 JDBC 接口，用户无需了解底层大数据平台即可进行数据访问和分析。

**核心特性：**
- 基于 Apache Spark 提供高性能查询
- 通过引擎缓存提升临时查询响应速度
- 支持水平扩展和负载均衡以增强并发能力
- 提供完善的认证和权限控制保障数据安全
- 高可用与负载均衡保障 SLA
- 两级弹性资源管理架构，兼顾资源利用率与响应性能
- 支持云端原生、数据湖等技术

**架构概述：**
Kyuubi 服务器作为守护进程处理并发连接和查询请求，将其转换为对查询引擎的操作并返回结果给客户端。

**安全机制：**
通过 kyuubi.authentication 参数配置认证类型，验证用户与服务器的连接身份。用户访问其他服务（如 Hive Metastore、YARN、HDFS）时仍需单独认证。

**安装与部署：**
- 仅需正确设置 `JAVA_HOME`，解压 tarball 即可启动
- 支持 YARN、Kubernetes、Mesos 等集群管理器
- 默认配置模板位于 `conf/` 目录下

**度量与监控：**
自 v1.5.0 起，使用 `kyuubi.operation.*` 类指标替代旧版 `kyuubi.statement.*` 指标，用于统计操作数量、状态和失败类型。

**常见问题：**
`java.lang.UnsupportedClassVersionError: unsupported major.minor version 52.0` 表示 Java 版本过低，需要升级至 JDK 8 或更高版本。

**社区参与：**
可通过邮件列表、Issue Tracker、GitHub Discussions 参与社区，贡献代码或建议。

**版本发布流程：**
更新项目版本后，需同步更新文档版本（`docs/conf.py`）和依赖列表（`dev/dependencyList`），并通过脚本生成发布公告发送至指定邮件列表。最后删除废弃的候选版本目录。

**使用场景：**
支持 ETL 数据处理和 BI 分析，所有工作负载可统一通过 SQL 接口在同一平台、同一份数据上完成。