Apache Kyuubi 1.9.0-SNAPSHOT Documentation

语言	格式	评分
英语	.epub	3
摘要
文档介绍了Apache Kyuubi 1.9.0的功能、架构及使用指南。Kyuubi是一个基于Spark的高性能统一JDBC和SQL执行引擎，提供标准化接口以便于在大数据场景中访问数据。支持多租户、负载均衡、高可用性及资源管理。文档还详细说明了如何使用Helm在Kubernetes上部署Kyuubi，并进行相关配置和测试。
AI总结
《Apache Kyuubi 1.9.0-SNAPSHOT Documentation》主要介绍了Apache Kyuubi的安装、配置、功能特性以及相关工具的使用方法。以下是文档的核心内容和关键信息的总结： --- ### 1. 安装与配置 1. 下载与解压 - 用户可以从官网下载最新的稳定版本，或使用快照版本。 - 解压命令：`tar -xzvf apache-kyuubi-1.9.0-SNAPSHOT-bin.tgz`。 2. 配置文件修改 - 修改`conf/kyuubi-defaults.conf`，添加以下内容： ```spark.master spark://:7077 kyuubi.authentication NONE kyuubi.frontend.bind.host kyuubi.frontend.bind.port 10009``` - 如果使用自定义Zookeeper集群，还需配置`kyuubi.ha.addresses :2181`。 3. 启动Kyuubi - 启动命令：`bin/kyuubi start`。 - 检查启动状态及JDBC连接URL： - 查看日志，找到JDBC连接URL，如`jdbc:hive2://:10009/`。 4. 测试Kyuubi与Delta Lake的连接 - 使用`beeline`工具测试连接：`./bin/beeline -u 'jdbc:hive2://:10009/'`。 - 也可通过Spark UI检查引擎状态。 --- ### 2. Kubernetes部署（Helm） 1. 安装Helm - 从[安装页面](https://helm.sh/docs/intro/install/)下载并安装适当版本的Helm。 2. 部署Kyuubi - 使用Helm安装Kyuubi： ```helm install kyuubi ${KYUUBI_HOME}/charts/kyuubi -n kyuubi --create-namespace``` - 部署完成后，可通过以下方式访问服务： - REST服务：`kyuubi-rest.kyuubi.svc.cluster.local`。 - Thrift二进制服务：`kyuubi-thrift-binary.kyuubi.svc.cluster.local`。 --- ### 3. 功能与架构 1. Kyuubi概述 - Kyuubi是一个基于Apache Spark的高性能通用JDBC和SQL执行引擎，目标是提供标准化的数据访问接口，使用户能够像处理普通数据一样处理大数据。 - 它支持多租户、水平扩展、负载均衡、高可用性和资源管理，适用于interactive、批处理、点查询和全表扫描等场景。 2. 核心组件 - Server：处理并发连接和查询请求，将请求转化为针对引擎的操作。 - Engine：基于Spark SQL处理查询，可被多个Server共享。 - EngineSpace：用于注册和管理引擎。 - ServerSpace：用于注册和管理Server。 3. 支持的技术 - 支持Hive JDBC驱动，便于用户将Hive查询迁移到Spark SQL。 - 支持Apache Thrift，实现跨语言服务开发。 - 支持数据湖技术（如Delta Lake、Apache Iceberg、Apache Hudi）。 4. 架构特点 - 基于Spark提供高性能数据查询能力。 - 引擎缓存提高Ad-hoc响应，水平扩展和负载均衡提升并发。 - 提供两级弹性资源管理，兼顾性能响应和资源利用率。 --- ### 4. 工具与命令行 1. KyuubiCtl命令行工具 - 使用方法：`bin/kyuubi-ctl [create\|get\|delete\|list] [options]`。 - 主要命令： - `create`：创建Server或引擎。 - `get`：获取Server或引擎信息。 - `delete`：删除指定服务或引擎。 - 常用选项：`-zk`（Zookeeper连接字符串）、`-n`（命名空间）、`-s`（主机）、`-p`（端口）等。 --- ### 5. 文档风格与术语 1. 文档风格 - 使用Pascal Case标明标题，避免编号。 - 图片仅用于提供难以用文字表达的信息。 - 参考Google、Apple和Red Hat的文档风格指南。 2. 术语解释 - JDBC：Java数据库连接标准，提供数据库无关的连接接口。 - Thrift：一种跨语言服务开发框架。 - Server/Engine：Kyuubi的核心组件，分别负责处理请求和执行查询。 --- ### 总结《Apache Kyuubi 1.9.0-SNAPSHOT Documentation》详细介绍了Kyuubi的安装、配置、功能特性及其在Kubernetes中的部署方法。Kyuubi作为一个高性能的通用JDBC和SQL执行引擎，基于Spark提供了强大的数据处理能力，支持多租户、负载均衡、高可用性和数据湖技术。用户可以通过命令行工具和Helm快速部署和管理Kyuubi服务。