PyFlink 1.16 Documentation

• 语言: 英语
• 格式: .pdf
• 来源: pyflink.readthedocs.io

摘要

文档提供了PyFlink 1.16的官方文档，涵盖了安装指南、FAQ、DataStream API、Table API的使用方法，以及如何在YARN集群上提交PyFlink作业。文档详细介绍了PyFlink的安装步骤、常见问题解答、DataStream和Table API的核心概念，包括环境配置和作业提交的最佳实践。

AI总结

### PyFlink 1.16 文档总结

#### 1. 安装指南
- **Python 版本要求**：
- PyFlink 1.16 支持 Python 3.6 到 3.9。
- **安装方式**：
- 使用 `pip` 或 `conda` 安装。
- 可从源代码安装。

#### 2. 快速入门
- **DataStream API**：
- 用于构建流处理应用，支持状态和计时器的细粒度控制。
- 示例代码展示了如何创建 `StreamExecutionEnvironment` 和数据流处理。
- **Table API**：
- 提供了表的创建、查询和管理功能。
- 示例代码展示了如何从 Python 列表创建表并定义数据 schema。

#### 3. 常见问题解答 (FAQ)
- **Scala 依赖问题**：
- PyFlink 1.16 不再依赖 Scala 2.11 或 2.12。
- 如需使用 Scala，请下载 Flink 的二进制分发包并设置 `FLINK_HOME` 环境变量。
- **Java gateway 进程退出问题**：
- 可能是 PyFlink 版本冲突或安装不正确。
- 解决方法：检查 PyFlink 安装目录和日志文件，确保所有 JAR 包版本一致。

#### 4. YARN 集群作业提交
- **应用模式**：
- 示例命令展示了如何通过 `flink run-application` 提交 PyFlink 作业。
- **每作业模式**：
- 已 deprecated，建议使用应用模式。
- **会话模式**：
- 示例命令展示了如何通过 `flink run -t yarn-session` 提交 PyFlink 作业。

#### 5. 其他
- 文档还提供了如何在本地构建文档、如何检查 PyFlink 安装是否正确等实用信息。
- 如需进一步了解，请参考 PyFlink 的官方文档或相关开发指南。