黄海广 副教授 2 本章目录 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 3 1.Tensors张量 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 4 1.Tensors张量的概念 Tensor实际上就是一个多维数组（multidimensional 创建与另一个张量具有相同大小的张量，请使用 torch.*_like  如torch.rand_like()  创建与其他张量具有相似类型但大小不同的张量，请使 用tensor.new_*创建操作。 1.Tensors张量的概念 6  查看张量的属性  查看Tensor类型  tensor1 = torch.randn(2,3) #形状为(2,3)一组从标准正态分布 中随机抽取的数据  tensor1  tensor1.ndim #查看维度  查看Tensor是否存储在GPU上  tensor1.is_cuda  查看Tensor的梯度  tensor1.grad 1.Tensors张量的概念 7  Tensor在CPU和GPU之间转换，以及numpy之间的转换  CPU tensor转GPU tensor  cpu_tensor.cuda()  GPU tensor

messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors="pt").to(device) # Directly use generate() and tokenizer.decode() to get the output. # Use `max_new_tokens` add_generation_prompt=True (续下页) 6 Chapter 1. 文档 Qwen (接上页) ) model_inputs = tokenizer([text], return_tensors="pt").to(device) # Directly use generate() and tokenizer.decode() to get the output. # Use `max_new_tokens` messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors="pt").to(device) generated_ids = model.generate( model_inputs.input_ids, max_new_tokens=512 ) generated_ids

w 和 b 的偏导数，故在创建 w 和 b 张量时设置为待优化张量。如 果没有设置 requires_grad 参数，则会产生类似于： RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 的错误信息。 预览版202112 4.4 创建张量 7 4.4 叠操作来合并张量，取决于具体的场景是否需要创建新维度。下面来介绍拼接操作和堆叠 操作的典型应用场景和使用方法。 拼接 在 PyTorch 中，可以通过 torch.cat(tensors, dim)函数拼接张量，其中参数 tensors 保存了所有需要合并的张量 List，dim 参数指定需要合并的维度索引。回到上面的例子， 需要在班级维度上合并成绩册，这里班级维度索引号为 0，即 dim=0，合并张量 torch.randn([6,35,8]) torch.cat([a,b], dim=0) # 非法拼接，其他维度长度不相同 Out[3]: RuntimeError: Sizes of tensors must match except in dimension 0. Got 32 and 35 in dimension 1 堆叠 拼接操作直接在现有维度上合并数据，并不会创建新的维度。如果在合并数据