2 使用Python训练和部署低精度模型 张校捷6c60/p1_2.jpg) PYTHON 30th ## 使用Python训练和部署低精度模型 (TensorFlow版) 张校捷 2019/9/21 ## 目录 >> 低精度的概念和意义 TensorFlow的FP16模型 >> TensorRT的FP16/Int8模型 总结  PYTHON 30th ## 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示使用低精度的意义 ## 深度学习模型中实数的表示 FP32: E8M23 (tf.float32) FP16: E8M7 (TPU, tf.bfloat16) FP16: E5M10 (GPU, tf.float16) Int8 I nt8模型的推断过程   ## 2 TensorFlow的FP16模型 实数0 码力 | 24 页 | 981.45 KB | 2 年前3
运维上海2017-机器学习模型训练的Kubernetes实践-袁晓沛## 七 牛AI训练业务的K8S实践 袁晓沛 七牛容器云负责人 ## QCon 全球软件开发大会 10⽉17-19⽇上海·宝华万豪酒店  扫码锁定席位 ## 九 折即将结束 团购还享更多优惠,折扣有效期至9月17日 扫描右方二维码即可查看大会信息及购票 CONTENTS AI训练的业务情况 AI训练的痛点 为什么用K8S 基于K8S的AI训练 一次踩坑经历 接下来的工作 ## AI训练流程  海量图片零散的无标注的富媒体文件有潜在学习价值 各类网络模型 论文 开源代码样例 创建 训练样本集 Name 供训练任务高速读取 resize, shuffle, stats 训练参数 ServingGate 开放 API 访问 私有 API 访问 按版本访问 启动训练 模型推理 API AppName, AppVersion 一键部署 分阶段发布 分布式、容器化 发布 启动评测 独立评测任务ID 容器化 评测参数 ## AI训练迭代 原始数据0 码力 | 39 页 | 5.82 MB | 2 年前3
《TensorFlow 2项目进阶实战》2-快速上手篇:动⼿训练模型和部署服务项目进阶实战》视频课程 快速上手篇:动手训练模型和部署服务 ## 目录 - TensorFlow 2 开发环境搭建 - 使用 tf.keras.datasets 加载数据 - 使用 tf.data.Dataset 加载数据 - 使用 tf.keras.Model 管理模型 - Fashion MNIST 数据集介绍 - 使用 TensorFlow 2 训练分类网络 TensorFlow Tools细胞数据 细胞数据 细胞数据 ## Try it! 使用 tf.keras.Model 管理模型 #### 历史上的 tf.keras.Model • Class tf.compat.v1.keras.Model • Class tf.compat.v1.keras.models.Model Class tf.compat.v2.keras.models.Model • Class tf.keras.models.Model #### 使用 tf.keras.Model 构建模型 ## 构建CNN模型网络(Sequential) In [3]: model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28 0 码力 | 52 页 | 7.99 MB | 2 年前3
JVM 内存模型## JVM 内存模型 0 码力 | 1 页 | 48.42 KB | 2 年前3
RNN训练难题## PyTorch ## RNN训练难题 主讲人:龙良曲  ## Simple Yet? Nothing is straightforward. 技术报告李泽辰,Gitee 主编 李涛,APUS董事长兼CEO 2023年12月发布 设计:张琪 ## LLM 技术报告 大语言模型(LLM)技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统,专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法,从而能够执行各种语言相关任务。以 GPT 系列为代表,LLM 以其在自 以其在自然语言处理领域的卓越表现,成为推动语言理解、生成和应用的引擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处理领域,GPT 系列模型在文本生成、问答系统和对话生成等任务中展现出色的性能。在知识图谱构建、智能助手开发等方面,LLM 技术也发挥了关键作用。此外,它还在代码生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发,将深入探讨 LLM 技术的背景、基础设施、应用现状,以及相关的工具和平台。 ## LLM Tech Map ## 大模型 ➢ 备案上线的中国大模型 知名大模型 知名大模型应用 LLMOps 大模型聚合平台 ## 工具和平台 ➢ 开发工具 插件、IDE、终端代码生成工具 ## AI 编程 ## 算力 ## 基础设施 向量数据库 数据库向量支持 ➢ 大模型框架、微调 (Fine Tuning) ➢ 大模型训练平台与工具 ## LLM Agent0 码力 | 32 页 | 13.09 MB | 2 年前3
RustBelt - Rust 的形式化语义模型RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 王俊吉 6.17-6.18 @Shanghai ## Outline ## RustBelt - Rust 的形式化语义模型 Background Rust Semantics • RustBelt Project • Type System • Rust Types Overview • The own Predict0 码力 | 21 页 | 2.63 MB | 2 年前3
Rust OS 开源操作系统训练营的教与学-0615-李明17-6.18 @Shanghai Rust China Conf 2023 # Rust OS 开源操作系统训练营的教与学 李明 清华大学 2023-6-17 ## 1 Rust OS 开源训练营的起因和发展 ## 鹏城实验室 PENGCHENG LABORATORY ## 开源操作系统训练营的起源(2020年) |30|||| 训练营过去三年的发展情况 2020年 ~ 2022年 • 2020年 • 夏季训练营 2020.7.1 ~ 8.31 • 2021年 CSCC 全国大学生计算机系统能力大赛 • 夏季训练营 2021.7.1 ~ 7.31 2022年 CSCC 全国大学生计算机系统能力大赛 • 夏季训练营 2022.7.3 ~ 8.31 • 秋冬季训练营 2022.10.16 Hub of OS Kernel ## 2023 开源操作系统训练营 • 2023.05.27:在5月底前完成第二阶段 rCore OS 实验的全部内容,排行榜分数达到500分(满分)或类似的能力证明的同学,可联系李明老师了解详情,参加内容丰富的线下实习计划。实习地点在北京/济南。 ·2023.05.07:部分已经完成训练营第二阶段训练的同学,可联系李明老师,与全国的学生/工程师一起参加各种有趣挑战性的小项目0 码力 | 26 页 | 2.62 MB | 2 年前3
领域驱动设计&中台/架构分层模型适配## 架构分层模型适配 有效防止架构腐化实践 吴雪峰@201811 DDCHINA ## CONTENTS 01 DDD分层参考架构 02 严纪律 防腐化 — 分层模型适配 03 分层模型适配实例 ## DDD分层参考架构 ## DDD分层参考架构 前端应用  给用户提供界面,关注用户交互和体验 为前端应用提供API服务,关注事务和分布式等技术性问题 领域模型和领域逻辑,关注业务概念。 访问外界系统(调用外界系统)的技术相关实现。 分层依据: 干系人和技术点 ## DDD分层参考架构 - 前端应用 前端应用 UX关注的层  ## 腐化案例: 亏空 大量技术术语业务人员完全看不懂领域模型和领域逻辑,关注业务概念。0 码力 | 39 页 | 2.54 MB | 2 年前3
AI大模型千问 qwen 中文文档AI agent, etc. 最新版本 Qwen1.5 有以下特点: • 6 种模型规模,包括 0.5B、1.8B、4B、7B、14B 和 72B; - 针对每种尺寸提供基础模型和 Chat 模型,并确保聊天模型按照人类偏好进行校准; • 对基础模型和 Chat 模型的多语言支持 - 基础模型和聊天模型都支持多种语言; - 支持工具调用、RAG(检索增强文本生成)、角色扮演、AI Agent 微信群。很期待见到你们! ## 文档 ### 1.1 安装 要快速上手 Qwen1.5,您可以从 Hugging Face 安装 transformers 库,并使用 Qwen1.5 Collection 中的模型。我们建议您安装最新版本的 transformers 库,或者至少安装 4.37.0 版本。 #### 1.1.1 Pip 安装 pip install transformers -U #### 我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4.37.0 版本。以下是一个非常简单的代码片段示例,展示如何运行 Qwen1.5-Chat 模型,其中包含 Qwen1.5-7B-Chat 的实例: from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda"0 码力 | 56 页 | 835.78 KB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100
相关搜索词
低精度模型TensorFlowFP16Int8TensorRTKubernetes分布式训练容器化AI训练CephTensorFlow 2tf.keras.Modeltf.data.Datasettf.keras.datasetsFashion MNISTJVM内存模型堆栈方法区垃圾回收机制RNNLSTM梯度消失梯度爆炸PyTorch大语言模型向量数据库微调训练平台工具和平台RustBelt类型系统RustownSeparation LogicRust编程RISC-V架构操作系统内核组件化设计Hypervisor领域驱动设计分层架构模型架构腐化资源模型业务模型Qwen大模型AWQ模型部署多语言支持上下文窗口













