2 使用Python训练和部署低精度模型 张校捷c60/p1_2.jpg) PYTHON 30th ## 使用Python训练和部署低精度模型 (TensorFlow版) 张校捷 2019/9/21 ## 目录 >> 低精度的概念和意义 TensorFlow的FP16模型 >> TensorRT的FP16/Int8模型 总结  PYTHON 30th ## 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示使用低精度的意义 ## 深度学习模型中实数的表示 FP32: E8M23 (tf.float32) FP16: E8M7 (TPU, tf.bfloat16) FP16: E5M10 (GPU, tf.float16) Int8 I nt8模型的推断过程   ## 2 TensorFlow的FP16模型 实数0 码力 | 24 页 | 981.45 KB | 2 年前3
JVM 内存模型## JVM 内存模型 0 码力 | 1 页 | 48.42 KB | 2 年前3
《TensorFlow 2项目进阶实战》2-快速上手篇:动⼿训练模型和部署服务扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇:动手训练模型和部署服务 ## 目录 - TensorFlow 2 开发环境搭建 - 使用 tf.keras.datasets 加载数据 - 使用 tf.data.Dataset 加载数据 - 使用 tf.keras.Model 管理模型 - Fashion MNIST 数据集介绍 - 使用 TensorFlow Tools细胞数据 细胞数据 细胞数据 ## Try it! 使用 tf.keras.Model 管理模型 #### 历史上的 tf.keras.Model • Class tf.compat.v1.keras.Model • Class tf.compat.v1.keras.models.Model Class tf.compat.v2.keras.models.Model • Class tf.keras.models.Model #### 使用 tf.keras.Model 构建模型 ## 构建CNN模型网络(Sequential) In [3]: model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28 0 码力 | 52 页 | 7.99 MB | 2 年前3
rocketmq 服务部署 链滴 ## rocketmq 服务部署 作者:gitsilence 原文链接:https://ld246.com/article/1632123166220 来源网站:链滴 许可协议:署名-相同方式共享4.0国际(CC BY-SA 查看是否启动成功 关闭命令 /Users/gitsilence/JavaTools/rocketmq/rocketmq-4.9.2-SNAPSHOT/bin/mqshutdown namesrv ## 集群部署 ## 双主双从异步复制模式 两个台电脑 • Mac OS 地址:192.168.166.20 • Cent OS 地址:192.168.166.206 保证两台电脑在同一网段,端口是通的,可以关闭防火墙 00(0,0ms)0 453367.41 -1.0000 ## 单机部署 ## 部署rocketmq-console可视化监控 1、git clone git@github.com:apache/rocketmq-externals.git 2. cd rocketmq-externals 0 码力 | 11 页 | 284.35 KB | 2 年前3
亿联TVM部署0 码力 | 6 页 | 1.96 MB | 1 年前3
开源中国 2023 大模型(LLM)技术报告李泽辰,Gitee 主编 李涛,APUS董事长兼CEO 2023年12月发布 设计:张琪 ## LLM 技术报告 大语言模型(LLM)技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统,专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法,从而能够执行各种语言相关任务。以 GPT 系列为代表,LLM 以其在自 以其在自然语言处理领域的卓越表现,成为推动语言理解、生成和应用的引擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处理领域,GPT 系列模型在文本生成、问答系统和对话生成等任务中展现出色的性能。在知识图谱构建、智能助手开发等方面,LLM 技术也发挥了关键作用。此外,它还在代码生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发,将深入探讨 LLM 技术的背景、基础设施、应用现状,以及相关的工具和平台。 ## LLM Tech Map ## 大模型 ➢ 备案上线的中国大模型 知名大模型 知名大模型应用 LLMOps 大模型聚合平台 ## 工具和平台 ➢ 开发工具 插件、IDE、终端代码生成工具 ## AI 编程 ## 算力 ## 基础设施 向量数据库 数据库向量支持 ➢ 大模型框架、微调 (Fine Tuning) ➢ 大模型训练平台与工具 ## LLM Agent0 码力 | 32 页 | 13.09 MB | 2 年前3
RustBelt - Rust 的形式化语义模型RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 王俊吉 6.17-6.18 @Shanghai ## Outline ## RustBelt - Rust 的形式化语义模型 Background Rust Semantics • RustBelt Project • Type System • Rust Types Overview • The own Predict0 码力 | 21 页 | 2.63 MB | 2 年前3
使用IBM Cloud 部署OpenShift Data FoundationOpenShift Data Foundation 4.12 # 使用 IBM Cloud 部署 OpenShift Data Foundation 使用 IBM 云部署 Red Hat OpenShift Data Foundation 的说明 Powered by TCPDF (www.tcpdf.org) 使用 IBM 云部署 Red Hat OpenShift Data Foundation 的说明 ## 使开源包含更多 …… 3 对红帽文档提供反馈 …… 4 第 1 章 使用 IBM CLOUD 部署 OPENSHIFT DATA FOUNDATION …… 5 1.1. 在 IBM CLOUD PUBLIC 上部署 …… 5 1.2. 在 IBM CLOUD SATELLITE 上部署 …… 5 ## 使开源包含更多 红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言 点 Submit Bug。 Red Hat OpenShift Data Foundation 4.12 支持在连接的环境中在 IBM Cloud 集群上部署 Red Hat OpenShift。 ## 第 1 章 使用 IBM CLOUD 部署 OPENSHIFT DATA FOUNDATION 您可以将 Red Hat OpenShift Data Foundation 用于在 IBM 云中0 码力 | 10 页 | 111.86 KB | 2 年前3
以外部模式部署OpenShift Container Storage/b/7b7bf95ae20a9c3c3e8c87b74205eac1/p1_1.jpg) # Red Hat OpenShift Container Storage 4.6 ## 以外部模式部署 OpenShift Container Storage 如何安装和配置您的环境 Powered by TCPDF (www.tcpdf.org) 如何安装和配置您的环境 Enter your first 有关安装 Red Hat OpenShift Container Storage 4.6 使用外部 Red Hat Ceph Storage 集群的说明,请参阅本文档。 ## 目录 第1章 以外部模式部署概述 ..... 3 第2章 为基于 RED HAT ENTERPRISE LIUNX 的节点上的容器启用文件系统访问 ..... 4 第3章 安装 RED HAT OPENSHIFT CONTAINER ## 第1章 以外部模式部署概述 Red Hat OpenShift Container Storage 可以使用外部托管的 Red Hat Ceph Storage (RHCS) 集群作为存储供应商。此部署类型支持裸机和用户置备的 VMware 环境。如需更多信息,请参阅规划部署。 有关如何安装 RHCS 4 集群的说明,请参阅安装指南。 按照以下步骤,以外部模式部署 OpenShift Container0 码力 | 29 页 | 738.90 KB | 2 年前3
AI大模型千问 qwen 中文文档AI agent, etc. 最新版本 Qwen1.5 有以下特点: • 6 种模型规模,包括 0.5B、1.8B、4B、7B、14B 和 72B; - 针对每种尺寸提供基础模型和 Chat 模型,并确保聊天模型按照人类偏好进行校准; • 对基础模型和 Chat 模型的多语言支持 - 基础模型和聊天模型都支持多种语言; - 支持工具调用、RAG(检索增强文本生成)、角色扮演、AI Agent 微信群。很期待见到你们! ## 文档 ### 1.1 安装 要快速上手 Qwen1.5,您可以从 Hugging Face 安装 transformers 库,并使用 Qwen1.5 Collection 中的模型。我们建议您安装最新版本的 transformers 库,或者至少安装 4.37.0 版本。 #### 1.1.1 Pip 安装 pip install transformers -U #### 和 vLLM 在部署时的应用实例。 #### 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5, 我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4.37.0 版本。以下是一个非常简单的代码片段示例,展示如何运行 Qwen1.5-Chat 模型,其中包含 Qwen10 码力 | 56 页 | 835.78 KB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100
相关搜索词
低精度模型TensorFlowFP16Int8TensorRTJVM内存模型堆栈方法区垃圾回收机制TensorFlow 2tf.keras.ModelFashion MNISTtf.data.Datasettf.keras.datasetsRocketMQBrokerNamesrv异步复制双主双从TVMOpenVinoautotuningWindowsmulti-threading大语言模型向量数据库微调训练平台工具和平台RustBelt形式化语义模型类型系统所有权分离逻辑Red Hat OpenShift Data FoundationIBM Cloud部署存储OpenShift Data Foundation 操作器外部模式部署Red Hat Ceph StorageOpenShift Container Storage Operator存储集群服务Ceph 集群Qwen大模型AWQ模型部署多语言支持上下文窗口













