Apache Kyuubi 1.4.1 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: kyuubi.readthedocs.io

摘要

Apache Kyuubi 1.4.1-incubating是一个统一的用于大规模数据处理和分析的多租户JDBC接口，构建于Apache Spark之上。文档涵盖了多租户、易用性、高性能、安全认证与授权、高可用性等特性。在监控方面，Kyuubi使用Apache Log4j进行日志记录，主要包含Kyuubi Server日志、Kyuubi引擎日志和操作日志。Kyuubi Server日志可通过配置$KYUUBI_HOME/conf/log4j.properties进行设置，默认输出到$KYUUBI_HOME/logs目录。Kyuubi基于Zookeeper提供高可用性和负载均衡解决方案。配置方面，可通过$KYUUBI_HOME/conf/kyuubi-env.sh设置环境变量，通过$KYUUBI_HOME/conf/kyuubi-defaults.conf设置Kyuubi属性。测试可基于Apache Maven和ScalaTest Maven Plugin进行。支持使用Java调试线协议（JDWP）进行调试。

AI总结

Apache Kyuubi 1.4.1 是一个基于 Apache Spark 的统一多租户 JDBC 接口，用于大规模数据处理和分析。其核心特性包括：

- **多租户**：支持多用户隔离。
- **易用性**：通过 JDBC 接口无缝连接业务开发与大数据分析。
- **高性能**：提供高性能的数据处理能力。
- **安全**：具备强身份验证及细粒度的行列级授权。
- **高可用**：基于 Zookeeper 提供高可用和负载均衡方案。

**主要功能模块：**

- **监控**：使用 Apache Log4j 进行日志记录，主要包括 Kyuubi 服务器日志、引擎日志和操作日志。服务器日志默认存储在 `$KYUUBI_HOME/logs` 目录下。
- **配置**：
- 环境变量通过 `$KYUUBI_HOME/conf/kyuubi-env.sh` 配置。
- Kyuubi 属性通过 `$KYUUBI_HOME/conf/kyuubi-defaults.conf` 配置。
- 引擎端的环境变量可通过 `kyuubi.engineEnv.VAR_NAME` 格式的配置项传递。
- **开发工具**：
- 支持使用 Maven 和 ScalaTest Maven Plugin 运行测试。
- 支持使用 Java Debug Wire Protocol 进行调试。
- **社区与文档**：文档包含了术语表、社区贡献指南（如 Kyuubi Project Improvement Proposals）以及附录。