夏歌-使用Rust构建LLM应用

• 语言: 中文（简体）
• 格式: .pptx
• 来源: github.com/itfanr

摘要

本文档介绍了在第三届中国Rust开发者大会上关于使用Rust构建LLM应用的主题。文档提到Rust在系统编程领域取得了巨大成功，并探讨了如何通过低代码方式，利用Rust和WebAssembly构建和部署AI相关工作流。具体包括了serverless平台的设计，该平台能够将Rust函数编译成WebAssembly并在WasmEdge安全容器中运行，并封装了常用LLM和SaaS API如ChatGPT、GitHub、Discord等。此外，文档还展示了基于ChatGPT的Telegram机器人和PR审查机器人的实现，说明了Rust在训练、推理和AI工具中的应用。最后，文档还提到了LangChain、WASI-NN和WasmEdge对Pytorch、TensorFlow Lite等框架的支持。

AI总结

## 《夏歌-使用Rust构建LLM应用》总结

本次演讲围绕如何利用Rust语言构建低代码（Low code）LLM（大语言模型，Large Language Model）应用展开，重点介绍了Rust在AI领域的潜力及实际应用案例。

### 一、Rust的低代码开发
1. **Rust的优势与挑战**
- Rust在系统编程领域取得了显著成功，但由于学习曲线陡峭，开发者数量有限。
- 提出通过封装LLM生态相关的Rust框架，降低开发复杂度，让更多开发者能以简单的方式使用Rust构建应用。

2. **Serverless平台方案**
- 开发了一个专为Rust和WebAssembly设计的serverless平台，支持上传Rust函数并自动编译为WebAssembly（Wasm），运行于WasmEdge安全容器中。
- 平台封装了常用LLM（如ChatGPT）和SaaS API（如Telegram、GitHub、Discord等），并提供相应的Rust包（crate）方便开发者使用。

### 二、实际应用案例
1. **基于ChatGPT的Telegram机器人**
- 演示了如何用Rust快速构建一个基于ChatGPT的Telegram机器人（版本号：0.1.0）。
- 功能包括：通过不同prompt扮演角色、支持图片和文本聊天，以及具备短期记忆能力。

2. **PR审查机器人**
- 展示了一个基于Rust的GitHub PR审查机器人，集成了OpenAI与GitHub的基础功能。

### 三、Rust在AI领域的扩展
1. **直接使用Rust构建AI应用**
- 讨论了如何利用Rust进行AI模型的训练、推理以及相关工具的开发。
- 引入了WASI-NN（WebAssembly Neural Network Interface）规范，以及WasmEdge已支持的PyTorch、TensorFlow Lite等框架，展示了Rust在AI领域的潜力。
- 提及了Langchain等工具的应用，进一步扩展了Rust在LLM领域的可能性。

### 总结
本次演讲展示了Rust在LLM应用开发中的潜力，通过低代码框架和serverless平台降低了开发门槛。结合实际案例（如Telegram机器人和PR审查机器人），证明了Rust在构建高效、安全的AI应用中的独特优势。同时，通过支持WASI-NN、WasmEdge等技术，为Rust在AI领域的深度开发奠定了基础。