Apache Kyuubi 1.7.1-rc0 Documentation

• 语言: 英语
• 格式: .epub
• 来源: kyuubi.readthedocs.io

摘要

文档主要介绍了Apache Kyuubi 1.7.1-rc0的功能、架构、安装配置、监控与故障排除等内容。Kyuubi是一个基于Apache Spark的高性能统一JDBC和SQL执行引擎，支持多租户、高可用性和负载均衡，提供安全认证与授权机制，并可与Hive等系统集成。文档详细说明了Kyuubi的部署、配置、日志管理以及与其他系统的集成方式，帮助用户更好地理解和使用该平台。

AI总结

### Apache Kyuubi 1.7.1-rc0 文档总结

#### 1. 日志系统
- **日志工具**：Kyuubi 使用 Apache Log4j2（v1.5.0 及以上版本）进行日志记录，旧版本使用 Apache Log4j。
- **日志文件路径**：默认日志文件路径为 `$KYUUBI_HOME/logs/kyuubi-${env:USER}-org.apache.kyuubi.server.KyuubiServer-${env:HOSTNAME}.out`。
- **日志组件**：
- Kyuubi 服务器日志：记录服务器启动、停止及客户端请求响应。
- Kyuubi 引擎日志：记录引擎的查询活动。
- 操作日志：记录用户操作。

#### 2. 监控与故障排除
- **监控**：通过日志和指标监控 Kyuubi 服务器状态，包括配置、指标和常见问题。
- **故障排除**：文档未详细说明外部系统日志记录，但提供了基本的故障排除方法。

#### 3. 架构
- **核心组件**：
- **服务器（Kyuubi Server）**：处理并发连接和查询请求，将请求转换为引擎操作。
- **引擎（Engine）**：处理所有查询，主要依赖 Apache Spark SQL。
- **服务发现**：使用 Apache Zookeeper 实现高可用性和负载均衡。
- **多租户支持**：通过命名空间隔离不同用户的服务实例。
- **安全性**：支持身份验证和基于 SQL 标准的细粒度授权。

#### 4. 配置
- **日志配置**：通过 `$KYUUBI_HOME/conf/log4j2.xml` 配置日志，可参考 `log4j2.xml.template`。
- **环境变量**：文档展示了多个环境变量（如 `JAVA_HOME`, `KYUUBI_HOME`, `SPARK_HOME`）的配置示例。

#### 5. 升级指南
- **从 1.7.0 到 1.7.1**：
- 移除了 REST API 的 `protocolVersion` 参数。
- 新增 `confOverlay` 支持。
- **从 1.6 到 1.7**：
- `kyuubi.ha.zookeeper.engine.auth.type` 不再 fallback，需显式设置为 `KERBEROS`。
- `GetInfo` 请求返回引擎信息，若需返回服务器信息，设置 `kyuubi.server.info.provider` 为 `SERVER`。
- 会话类型 `SQL` 已重构为 `INTERACTIVE`。
- **从 1.6.0 到 1.6.1**：
- 同上，`kyuubi.ha.zookeeper.engine.auth.type` 不再 fallback。

#### 6. 部署
- **Kubernetes**：支持使用 Kyuubi 官方 Docker 镜像或自定义构建镜像进行部署。
- **Hive 集成**：支持 Hive JDBC 驱动，可无缝迁移 Hive 慢查询到 Spark SQL。

#### 7. 总结
- **核心功能**：Kyuubi 是一个高性能的统一多租户 JDBC 接口，基于 Apache Spark，支持交互式查询、批处理和全表扫描。
- **优势**：高可用性、负载均衡、弹性资源管理、支持多种存储和计算引擎（如 Spark、Hive）。
- **目标**：统一数据湖管理平台，提供统一的 SQL 接口，支持 ETL 和 BI 分析。

以上为文档的核心内容总结，涵盖了 Kyuubi 的日志、架构、配置、升级和部署等方面。