## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## 使用 Rust 构建 LLM 应用 夏歌 ## 😍  ## Bojan Tunguz  Python 与 Docker • 笨重 • 资源占用多 Rust 与 WebAssembly - 轻量级 - 资源占用量小 - 节省大量计算资源 # Rewrite it in Rust 为什么不用 Rust？ Rust 太难学！ 学习曲线太陡峭了，学习周期太长了 招 Rust 开发太难了 ## Rust 在系统编程已经取得了巨大成功 ## Low code Rust ## 培养更广泛的 Rust 开发 围绕 LLM 生态封装相应的

## COSCHINA gitee ## 2023 中国开源开发者报告 China Open Source 2023 Annual Report ## LLM 技术报告 出品：OSCHINA & Gitee 编委会： 雨多田光，OSCHINA总编 局长，OSCHINA主编 王茜，OSCHINA主编 叶子，OSCHINA新媒体运营 鱼仔，OSCHINA新媒体运营 诺墨，Gitee开源社区产品负责人 设计：张琪 ## LLM 技术报告 大语言模型（LLM）技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法，从而能够执行各种语言相关任务。以 GPT 系列为代表，LLM 以其在自然语言处理领域的卓越表现，成为推动语言理解、生成和应用的引擎。 LLM 在多个 在多个领域都取得了令人瞩目的成就。在自然语言处理领域，GPT 系列模型在文本生成、问答系统和对话生成等任务中展现出色的性能。在知识图谱构建、智能助手开发等方面，LLM 技术也发挥了关键作用。此外，它还在代码生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、基础设施、应用现状，以及相关的工具和平台。 ![Image](/uploads/documents/f/4/8/5

Documentation 3 2 Indices and tables 123 Python Module Index 125 Index 127 ## LLM vLLM is a fast and easy-to-use library for LLM inference and serving. vLLM is fast with: - State-of-the-art serving throughput to PagedAttention) - vLLM paper (SOSP 2023) - How continuous batching enables 23x throughput in LLM inference while reducing p50 latency by Cade Daniel et al. - vLLM Meetups. ## DOCUMENTATION ## 1 other words, we use vLLM to generate texts for a list of input prompts. Import LLM and SamplingParams from vLLM. The LLM class is the main class for running offline inference with vLLM engine. The SamplingParams

目 录 致谢 介绍 1 微服务简介 2 Spring Cloud 2.1 服务发现 2.1.1 Eureka 2.1.2 Eureka的高可用 2.1.3 Consul 2.1.4 Consul安装与使用 2.1.5 Consul常用命令 2.1.6 Consul高可用 2.2 服务提供者 2.3 服务消费者 2.3.1 Ribbon 2.3.2. Feign 2.4 熔断器 2.4.1. Hystrix Dashboard 2.4.3. Turbine 2.5 配置中心 2.6 API Gateway 3 使用Docker构建微服务 3.1 Docker介绍 3.2 Docker的安装 3.3 Docker的常用命令 3.4 Dockerfile常用指令 3.5 Docker私有仓库的搭建与使用 3.6 使用Dockerfile构建Docker镜像 3.7 使用Maven插件构建Docker镜像 3.8 Docker docker-compose.yml常用命令 8.4 docker-compose常用命令 8.5 使用Docker Compose部署项目 致谢 当前文档 《使用Spring Cloud与Docker实战微服务》由进击的皇虫 使用 书栈（BookStack.CN）进行构建，生成于 2018- 05-03。 书栈（BookStack.CN）仅提供文档编写、整理、归类等功能，以及对文档内容的生成和导出工具。

## 微服务架构与领域驱动设计 王磊 ## 关于我   ## 华为 - 2012技术专家 Leader • 丰富的持续交付/微服务架构/DevOPS经验 • 《微服务架构与实践》作者 • 《DevOps实践指南》译者 • 中国首批EXIN DevOps Master教练 • 西安DevOps Meetup 联合发起人 • 《消费者驱动契约测试-Pact》译者 • 《使用SpringBoot/Cloud构建微服务》视频作者(StuQ) 01 微服务架构与DDD 02 领域驱动设计的核心 领域驱动设计的核心 03 基于事件风暴的DDD实践 ## 什么是微服务架构  ## 微服务架构 ![Image](/uploads/documents/4/0/7/5/40750bf1f86244e6930c200f69cabe6f/p5_1

## 微服务环境下的系统治理与容错 王新栋  ## 收获国内外一线大厂实践 与技术大咖同行成长 ✓ 演讲视频 ✓ 干货整理 ✓ 大咖采访 ✓ 行业趋势 关注 QCon 公众号  ## About The SPEAKER - 《架构修炼之道》作者，《决战618：探秘京东技术取胜之道》联合作者； - 对分布式、微服务系统有多年实战经验，所设计和研发的系统经历了多次百亿流量的验证； - 热爱分享，维护技术公众号 [程序渠道]，对高并发、高可用系统有持续不懈的追求； 个人微信号  ## TABLE OF CONTENTS 大 纲 - 微服务架构 • 治理 • 容错 • 总结  ## 微服务架构 ## 架构 ## 架构是为应用程序服务的 ## 软件系统应用程序的需求 ## 功能性需求 ☑ C端用户需要能够快速查看自己的订单

## 微服务的设计原则 与生态系统 王磊 ## 关于我  Ruby Gems 开发实战  ## Microservices – the new architectural style Martin Fowler, Mar 2014 - 微服务架构是一种架构模式，将单体应用划分成一组小的服务，服务之间互相协作，为用户提供最终价值

Documentation 3 2 Indices and tables 91 Python Module Index 93 Index 95 ## LLM vLLM is a fast and easy-to-use library for LLM inference and serving. vLLM is fast with: - State-of-the-art serving throughput to PagedAttention) - vLLM paper (SOSP 2023) - How continuous batching enables 23x throughput in LLM inference while reducing p50 latency by Cade Daniel et al. ## DOCUMENTATION ## 1.1 Installation vLLM other words, we use vLLM to generate texts for a list of input prompts. Import LLM and SamplingParams from vLLM. The LLM class is the main class for running offline inference with vLLM engine. The SamplingParams

Documentation 3 2 Indices and tables 135 Python Module Index 137 Index 139 ## LLM vLLM is a fast and easy-to-use library for LLM inference and serving. vLLM is fast with: - State-of-the-art serving throughput to PagedAttention) - vLLM paper (SOSP 2023) - How continuous batching enables 23x throughput in LLM inference while reducing p50 latency by Cade Daniel et al. - vLLM Meetups. ## DOCUMENTATION ## 1 other words, we use vLLM to generate texts for a list of input prompts. Import LLM and SamplingParams from vLLM. The LLM class is the main class for running offline inference with vLLM engine. The SamplingParams