Apache Kyuubi 1.7.0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档详细介绍了Apache Kyuubi 1.7.0的功能、架构及其相关组件。Kyuubi是一个分布式和多租户的SQL网关，支持在各种计算框架如Apache Spark、Flink、Doris、Hive和Trino上构建分布式SQL查询引擎，以实现对大规模数据集的查询。文档还涵盖了安装、配置、构建和调试Kyuubi的步骤，包括日志系统、监控指标和故障排除。同时，文档介绍了Kyuubi的发布流程、高可用性/负载均衡机制以及支持的DataLake和LakeHouse技术，如Apache Iceberg、Delta Lake和Apache Hudi。

AI总结

《Apache Kyuubi 1.7.0 Documentation》总结

### 目录结构
- **LICENSE**：Apache 2.0 许可证。
- **NOTICE**：项目及依赖的声明。
- **RELEASE**：构建信息。
- **bin**：Kyuubi 服务器启动脚本 `kyuubi`。
- **conf**：配置文件模板，包括 `kyuubi-defaults.conf`、环境变量和日志配置。
- **docker**：包含 Dockerfile 和 Kubernetes 配置文件。
- **externals/engines**：支持的 SQL 引擎。
- **jars**：服务器所需的包。
- **logs**：日志存储目录。
- **pid**：存储服务器实例 PID 文件。
- **work**：子进程（SQL 引擎）的工作目录。

### 安装说明
1. 解压缩安装包：`tar zxf apache-kyuubi-1.7.0-bin.tgz`。
2. 安装 Spark：从 [官方下载页面](https://spark.apache.org/downloads.html) 获取最新稳定版本。
3. 发布 Docker 镜像：参考 [发布指南](https://github.com/apache/kyuubi-docker/blob/master/release/release_guide.md)。

### 核心概念
- **Kyuubi**：一个分布式、多租户的 SQL 网关，支持 serverless 查询。
- **JDBC**：用于连接 Kyuubi 服务器。
- **Server**：Kyuubi 服务入口。
- **Engine**：支持包括 Spark、Flink、Hive 等的 SQL 引擎。
- **Multi-Tenancy**：端到端的多租户隔离。
- **High Availability**：通过 Zookeeper 实现服务发现和负载均衡。

### 开发工具
- **构建**：使用 Maven 构建，支持子模块单独构建。
- **测试**：支持全面测试、模块测试和单个测试调试。
- **调试**：提供服务器和引擎的调试支持。
- **开发环境**：包括虚拟环境、依赖管理和文档生成工具。

### 监控与日志
- **日志系统**：默认使用 Log4j2，日志路径为 `$KYUUBI_HOME/logs/kyuubi-${env:USER}-...out`。
- **Kyuubi 服务器日志**：记录启动、停止和客户端请求响应。
- **Kyuubi 引擎日志**：记录 SQL 引擎活动。
- **操作日志**：记录操作轨迹。

### 故障排除
- **常见问题**：包括配置问题、性能问题和环境问题。

### 数据湖与湖仓
- **统一访问**：支持 Iceberg、Delta Lake 和 Hudi。
- **安全性**：通过认证和标准化 SQL授权实现。

### 发布指南
1. 发布决策：确定发布版本。
2. 准备发布：检查代码和文档。
3. 分支管理：创建发布分支。
4. 构建候选版本：生成发布包。
5. 投票与验证：社区投票和问题修复。
6. 最终发布：合并分支并发布。

### 快速入门
- **Kubernetes**：使用 Helm 快速部署。
- **Hive JDBC**：安装并配置 JDBC 驱动器。

通过以上总结，用户可以快速了解 Kyuubi 的安装、配置、开发和监控，重点突出其核心功能、架构和最佳实践。