Apache Kyuubi 1.4.0 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

文档介绍了Apache Kyuubi 1.4.0，这是一个高性能的通用JDBC和SQL执行引擎，旨在让用户像处理普通数据一样处理大数据。Kyuubi提供标准化的JDBC接口，使用户无需关注底层大数据平台（如计算引擎、存储服务、元数据管理等），可专注于业务系统开发和数据价值挖掘。Kyuubi依赖Apache Spark提供高性能数据查询能力，并通过引擎缓存提高ad-hoc响应速度，通过水平扩展和负载均衡增强并发。它提供完整的认证和授权服务以确保数据和元数据安全，同时通过基于Zookeeper的高可用性和负载均衡保障SLA。Kyuubi采用两级弹性资源管理架构，覆盖交互式、批处理、点查询和全表扫描等场景，旨在成为统一的数据湖管理平台，支持ETL和BI等纯SQL工作负载。

AI总结

Apache Kyuubi 是一个高性能、通用的 JDBC 和 SQL 执行引擎，旨在帮助用户像处理普通数据一样处理大数据。它提供标准化的 JDBC 接口，使终端用户无需了解底层大数据平台（如计算引擎、存储服务、元数据管理等）即可专注于业务开发和数据价值挖掘。

Kyuubi 基于 Apache Spark 提供高性能数据查询能力，并通过引擎缓存提升临时查询响应速度，通过水平扩展和负载均衡增强并发能力。它提供完善的认证和授权服务以保障数据和元数据安全，并通过基于 ZooKeeper 的高可用和负载均衡方案保证 SLA。此外，其两级弹性资源管理架构能在覆盖交互式、批处理、点查询和全表扫描等场景的性能需求的同时，有效提升资源利用率。Kyuubi 的目标是在 Apache Spark 和数据湖技术之上构建一个统一的数据湖管理平台，支持 ETL 和 BI 等所有工作负载，仅需一份数据和一个 SQL 接口。

**监控**方面，Kyuubi 使用 Apache Log4j 记录日志，主要包含三类日志：Kyuubi 服务器日志、Kyuubi 引擎日志和操作日志。服务器日志可通过配置 $KYUUBI_HOME/conf 目录下的 `log4j.properties` 文件进行管理，默认输出到 `$KYUUBI_HOME/logs` 目录。

**配置**方面，Kyuubi 提供多种配置方式。环境变量可在 `$KYUUBI_HOME/conf/kyuubi-env.sh` 中设置，例如 `JAVA_HOME`。

**安装**步骤：从官网下载最新稳定版，解压 tarball（例如 `tar zxf apache-kyuubi-1.3.1-incubating-bin.tgz`），正确设置 `JAVA_HOME` 和 `SPARK_HOME` 即可启动。解压后的目录包含启动脚本（`bin`）、配置模板（`conf`）、扩展包（`extension`、`externals`）、依赖包（`jars`）等。

**社区贡献**方面，Kyuubi 是 Apache v2.0 开源项目。贡献代码前建议先搜索并创建 Issue 描述功能或缺陷。提交 Pull Request 需遵循模板，尽量使用英文，并可以参照官方指南。