基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具 霍琳贺

• 语言: 中文（简体）
• 格式: .pptx
• 来源: github.com/itfanr

摘要

文档介绍了基于Rust Arrow Flight的物联网和时序数据传输及转换工具，重点介绍了TDengine时序数据库的功能和设计。TDengine是一款开源、云原生的时序数据库，专为物联网、工业互联网等场景设计，支持高效写入、多表聚合和多种数据源接入。文档还讨论了使用Rust开发的taoX工具，用于解决物联网数据接入中的复杂问题，并展示了Rust在高性能、跨平台和异步编程方面的优势。

AI总结

### 文档总结

**主题：** 基于 Rust Arrow Flight 的物联网和时序数据传输及转换工具
**演讲者：** 霍琳贺，涛思数据
**会议：** 2023 第三届中国 Rust 开发者大会（上海）

---

#### 1. TDengine 时序数据库
- **简介：** TDengine 是一款开源、云原生时序数据库，专为物联网、工业互联网、金融等领域设计，支持弹性伸缩、缓存、流式计算和数据订阅等功能。
- **特点：**
- 采用关系型数据库模型，支持高效写入（SQL、批量写入、Schemaless）。
- 支持多数据源接入（Kafka、MQTT 等），可定义规则引擎。
- 核心代码全部开源，全球安装实例超 27 万， GitHub 趋势多次排名第一。

---

#### 2. taoSX：物联网数据接入工具
- **背景问题：**
- 多种协议数据对接复杂。
- 模块化开发难度高，维护性差。
- 数据存储压力大，实时分析需求强。
- **解决方案：**
- 使用 Rust 开发，结合 Arrow Flight 和 Tonic 实现高效数据传输和转换。
- 支持多云部署、流计算、多级存储等特性。

---

#### 3. Rust 的优势
- **选择 Rust 的原因：**
- 高安全性、高性能、跨平台兼容。
- 强大的类型系统和抽象能力。
- 优秀的生态系统和开发工具链。
- **Rust Crate 使用：**
- 异步运行时（Tokio）、任务调度（Tokio Cron Scheduler）、消息队列（Flume）。
- Web 服务（Actix-Web）、OpenAPI（Utoipa）、指标（Metrics）。
- 数据结构（Arrow、Parquet、CSV）、压缩（Zstd）、异步 HashMap（Dashmap）。

---

#### 4. TDengine 的核心能力
- 支持时序数据处理、缓存、流处理和数据订阅。
- 提供高效的数据接入和转换能力，满足大规模物联网场景需求。

---

#### 5. 总结
- TDengine 和 taoSX 结合 Rust 和 Arrow Flight，提供高效的时序数据处理和物联网数据接入解决方案。
- 案例和数据表明，该方案在性能、可扩展性和维护性方面表现优异，适用于大规模物联网和工业应用场景。