Apache Kyuubi 1.7.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.7.0 is a high-performance SQL execution engine designed to facilitate handling big data through a standardized JDBC interface. It supports multi-tenancy and high availability, ensuring secure and efficient data access. Kyuubi relies on Apache Spark for high-performance queries and integrates with various data sources via connectors. The system provides robust security, load balancing, and elastic resource management. It offers tools for monitoring, configuration, and extension, making it a versatile platform for data processing and analytics. The document also covers migration guidelines and best practices for deploying and maintaining Kyuubi in production environments.

AI总结

Apache Kyuubi 1.7.0 是一个高性能的统一 JDBC 和 SQL 执行引擎，旨在让用户像处理普通数据一样处理大数据。它通过标准化的 JDBC 接口简化了大数据场景下的数据访问，用户无需关注底层大数据平台的具体实现。Kyuubi 依赖 Apache Spark 提供高性能查询能力，并通过引擎缓存、水平扩展和负载均衡提升即席查询的响应速度和并发能力。

### 核心功能与架构
- **统一入口**：提供标准化的 JDBC 接口，支持多种工作负载，包括交互式查询、批处理和全表扫描。
- **高性能**：基于 Spark 的高效查询能力，结合引擎缓存和弹性资源管理，优化资源利用率。
- **多租户支持**：通过集中式认证和授权机制，确保数据和资源的安全性，支持 LDAP 和 Kerberos 等协议。
- **高可用性**：通过负载均衡和故障检测实现高可用性，使用 Zookeeper 等工具确保集群的稳定运行。
- **扩展性**：支持多种计算引擎（如 Flink、Trino、Doris）和存储系统（如 Hive、Iceberg），并通过插件机制扩展功能。

### 安装与配置
- **安装**：提供二进制和源码包，解压后即可运行。推荐使用二进制包以简化部署。
- **配置**：通过配置文件（如 `kyuubi-defaults.conf`）管理集群参数，支持动态配置和扩展点插件。

### 连接器与扩展
- **连接器**：支持多种数据源，如 Hive、Kudu、Iceberg 等，允许用户通过统一入口访问不同数据源。
- **扩展点**：提供服务器端和引擎端的扩展机制，允许管理员或用户动态加载功能，如会话配置顾问和自定义插件。

### 迁移与兼容性
- **升级指南**：从旧版本升级时需注意配置参数的变化，特别是与 Kerberos 和 Zookeeper 相关的设置。
- **兼容性**：支持与多种计算框架（如 Spark、Flink）和存储系统的集成，确保数据处理的灵活性和高效性。

### 安全与监控
- **安全性**：提供全面的身份验证和授权机制，支持细粒度的行级和列级访问控制。
- **监控与工具**：集成监控功能，帮助管理员实时了解集群状态和性能，提供工具支持部署、管理和扩展集群。

Apache Kyuubi 通过统一的入口和强大的扩展性，简化了大数据环境下的数据管理和分析流程，适合需要高性能和灵活性的企业级应用。