Qwen Qwen Team 2024 年 05 月 11 日 快速开始 1 文档 3 i ii Qwen Qwen is the large language model and large multimodal model series of the Qwen Team, Alibaba Group. Now the large language models have been ModelScope • Qwen1.5 Collection 加入社区，加入 Discord 和 微信群 。很期待见到你们！ 快速开始 1 Qwen 2 快速开始 CHAPTER1 文档 1.1 安装 要快速上手 Qwen1.5，您可以从 Hugging Face 安装 transformers 库，并使用 Qwen1.5 Collection 中的模型。 我们建议您安装最新版本的 generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： 4 Chapter 1. 文档 Qwen model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen1.5-7B-Chat", torch_dtype="auto", device_map="auto"

便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing PDF version LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.2 Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.1 Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . .

6.3 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2.7 查阅文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.1 提交主要更改 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764 16.6 d2l API 文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 16.6.1 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以

Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 以上都是一些最基础跟使用频率较高的 Pytorch 基础操作，了 解并掌握这些函数有助于进一步学习本书后续章节知识，更多 关于 Pytorch 基础操作的函数知识与参数说明，读者可以直接 参见官方的开发文档。 1.5 线性回归预测 上一小节介绍了 Pytorch 框架各种基础操作，本节我们学习一 个堪称是深度学习版本的 Hello World 程序，帮助读者理解模 型训练与参数优化等基本概念，开始我们学习

词语矢量考虑了上下文及词语之间的语义关系  复杂词语可以通过矢量计算来实现（如 Vec（北京）＝ vec(东京) – vec(日本) + vec(中国) ）  矢量化模型的现况  词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟  已经有一些在词语相似度，舆情分析等方面的应用 矢量化搜索模型 9 词语矢量化模型 CBOW: 通过上下文词语 来预测词语本身出现的概 率 Skip-gram: 词语i 与cluster j的余弦相似度 Random: 生成一个0 – 1之间的随机数 基于词语聚类的矢量化模型 12 • 把搜索词和商品文档各自作为整体看待，直接学习训练各自的矢量值 • 通过分析用户每次访问的行为顺序， 构建有“搜索词”和“商品文档”组成的句子 • 训练集是采用苏宁易购的用户搜索日志作为来源。在经过数据清理之后，按照搜索的 时间顺序，结合商品的点击，商品放入购物车，商品的购买这些用户行为，而建立的 应用示例：苏宁易购机器人Sunny，百度度秘，Amazon Echo 19 问题分析与用户分析 网页前端 移动应用前端 系统架构图 会话分析 用户意图识别 检索模块 段落或句 子检索 文档检 索 专业检索接口： 商品参数接口 商品价格接口 商品信息接口 商品卖点接口 促销活动接口 订单信息接口 语法语义分析 用户画像 Json/rest 答案获取和排序模块 答案实体抽取

MI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 权威认证的人工智能服务，可充分保障客户业务实践与业务安全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本挖掘的一些常见应用需求 风 险 智 能 审 核 功 能 达 观 智 能 文 档 审 阅 平 台 错 误 智 能 纠 正 功 能 文 档 智 能 比 对 功 能 常见应用场景 智能文档审阅系统：抽取核心算法 智能文档审阅系统：段落分析 PDF格式文本数据丢失段落信息 使用深度学习进行段落分析 生成式摘要 生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量

org/stable/tutorial/basic/tutorial.html ，scikit-learn (sklearn) 官方文档 2. https://sklearn.apachecn.org/ ，scikit-learn (sklearn) 官方 文档中文版 31 谢 谢！

该单词在原来文章中的重要程度 采用 TF-IDF 计算权重，公式为 ?? − ???(?, ?) = ??(?, ?) × ???(?) ??(?, ?) 表示单词 ? 在文档 ? 中出现的频率 ???(?) 是逆文档频率，用来衡量单词 ? 对表达语义所起的重要性，其表示为： ???(?) = log 文章总数 包含单词?的文章总数 + 1 文本特征提取 3. 特征提取 23 许永洪

0.0098, 0.0213, -0.0162, 0.0075, -0.0018]) 如何使用损失函数 稍后阅读： nn 包，包含了各种用来构成深度神经网络构建块的模块和损失函数，完整的文档请查看 here。 剩下的最后一件事: ● 新网络的权重 更新权重 在实践中最简单的权重更新规则是随机梯度下降（SGD）： weight = weight - learning_rate *

backward(torch.tensor(1))等价） 23 2. Autograd自动求导 grad属性 backward函数本身没有返回值，它计算出来的梯度存放在叶子节点的grad属性中。 PyTorch文档中提到，如果grad属性不为空，新计算出来的梯度值会直接加到旧值 上面。 为什么不直接覆盖旧的结果呢？ 这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理