ppt文档 夏歌-使用Rust构建LLM应用

38.31 MB 36 页 0 评论
语言 格式 评分
中文(简体)
.pptx
3
摘要
本文档介绍了在第三届中国Rust开发者大会上关于使用Rust构建LLM应用的主题。文档提到Rust在系统编程领域取得了巨大成功,并探讨了如何通过低代码方式,利用Rust和WebAssembly构建和部署AI相关工作流。具体包括了serverless平台的设计,该平台能够将Rust函数编译成WebAssembly并在WasmEdge安全容器中运行,并封装了常用LLM和SaaS API如ChatGPT、GitHub、Discord等。此外,文档还展示了基于ChatGPT的Telegram机器人和PR审查机器人的实现,说明了Rust在训练、推理和AI工具中的应用。最后,文档还提到了LangChain、WASI-NN和WasmEdge对Pytorch、TensorFlow Lite等框架的支持。
AI总结
## 《夏歌-使用Rust构建LLM应用》总结 本次演讲围绕如何利用Rust语言构建低代码(Low code)LLM(大语言模型,Large Language Model)应用展开,重点介绍了Rust在AI领域的潜力及实际应用案例。 ### 一、Rust的低代码开发 1. **Rust的优势与挑战** - Rust在系统编程领域取得了显著成功,但由于学习曲线陡峭,开发者数量有限。 - 提出通过封装LLM生态相关的Rust框架,降低开发复杂度,让更多开发者能以简单的方式使用Rust构建应用。 2. **Serverless平台方案** - 开发了一个专为Rust和WebAssembly设计的serverless平台,支持上传Rust函数并自动编译为WebAssembly(Wasm),运行于WasmEdge安全容器中。 - 平台封装了常用LLM(如ChatGPT)和SaaS API(如Telegram、GitHub、Discord等),并提供相应的Rust包(crate)方便开发者使用。 ### 二、实际应用案例 1. **基于ChatGPT的Telegram机器人** - 演示了如何用Rust快速构建一个基于ChatGPT的Telegram机器人(版本号:0.1.0)。 - 功能包括:通过不同prompt扮演角色、支持图片和文本聊天,以及具备短期记忆能力。 2. **PR审查机器人** - 展示了一个基于Rust的GitHub PR审查机器人,集成了OpenAI与GitHub的基础功能。 ### 三、Rust在AI领域的扩展 1. **直接使用Rust构建AI应用** - 讨论了如何利用Rust进行AI模型的训练、推理以及相关工具的开发。 - 引入了WASI-NN(WebAssembly Neural Network Interface)规范,以及WasmEdge已支持的PyTorch、TensorFlow Lite等框架,展示了Rust在AI领域的潜力。 - 提及了Langchain等工具的应用,进一步扩展了Rust在LLM领域的可能性。 ### 总结 本次演讲展示了Rust在LLM应用开发中的潜力,通过低代码框架和serverless平台降低了开发门槛。结合实际案例(如Telegram机器人和PR审查机器人),证明了Rust在构建高效、安全的AI应用中的独特优势。同时,通过支持WASI-NN、WasmEdge等技术,为Rust在AI领域的深度开发奠定了基础。
P1
P2
P3
P4
P5
P6
P7
P8
P9
P10
P11
P12
下载文档到本地,方便使用
- 可预览页数已用完,剩余 24 页请下载阅读 -
文档评分
请文明评论,理性发言.