索引与切片 主讲人：龙良曲 Indexing ▪ dim 0 first select first/last N select by steps select by specific index … select by mask ▪ .masked_select() select by flatten index 下一课时 Tensor变换 Thank You.

在Pandas中，最基本的时间序列类型就是以 时间戳为索引的Series对象。 date_ser = pd.Series([11, 22, 33], index=date_index) 2018-08-20 11 2018-08-28 22 2018-09-08 33 11 创建时间序列 还可以将包含多个datetime对象的列表传给 index参数，同样能创建具有时间戳索引的 Series对象。 如果希望DataFrame对象具有时间戳索引， 也可以采用上述方式进行创建。 data_demo = [[11, 22, 33], [44, 55, 66]] date_list = [datetime(2018, 1, 23), datetime(2018, 2, 15)] time_df = pd.DataFrame(data_demo, index=date_list) 13 通过时间戳索引选取子集 最简单的选取子集的方式，是直接使用位置 最简单的选取子集的方式，是直接使用位置 索引来获取具体的数据。 # 根据位置索引获取数据 time_se[3] 14 通过时间戳索引选取子集 还可以使用datetime构建的日期获取其对应 的数据。 date_time = datetime(2015, 6, 1) date_se[date_time] 15 通过时间戳索引选取子集 还可以在操作索引时，直接使用一个日期字 符串（符合可以被解析的格式）进行获取。

2.6 层「节点」的概念 每当你在某个输入上调用一个层时，都将创建一个新的张量（层的输出），并且为该层添加 一个「节点」，将输入张量连接到输出张量。当多次调用同一个图层时，该图层将拥有多个节点 索引 (0, 1, 2…)。 在之前版本的 Keras 中，可以通过 layer.get_output() 来获得层实例的输出张量，或者通 过 layer.output_shape 来获取其输出形状。现在你依然可以这么做（除了 返回。但是比如说，如果将一个 Conv2D 层先应用 于尺寸为 (32，32，3) 的输入，再应用于尺寸为 (64, 64, 3) 的输入，那么这个层就会有多个 输入/输出尺寸，你将不得不通过指定它们所属节点的索引来获取它们： a = Input(shape=(32, 32, 3)) b = Input(shape=(64, 64, 3)) conv = Conv2D(16, (3, 3), padding='same') 224, 3)) encoded_image = vision_model(image_input) # 接下来，定义一个语言模型来将问题编码成一个向量。 # 每个问题最长 100 个词，词的索引从 1 到 9999. question_input = Input(shape=(100,), dtype='int32') embedded_question = Embedding(input_dim=10000

第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 GPU 设备是否可用，如图 1.32 所示。如果为 True，则 PyTorch GPU 版本安装成功；如果 为 False，则安装失败，需要再次检查 CUDA、环境变量等步骤，或者复制错误，从搜索引 擎中寻求帮助。 预览版202112 1.6 开发环境安装 21 图 1.32 PyTorch-GPU 安装结果测试 如果没有支持 CUDA 的显卡设备，则可以安装 CPU (1) ?1 (2) ?2 (2) ?3 (2)] [ ?11 ?12 ?21 ?22 ?31 ?32 ] + [?1 ?2] 其中?1 (1)、?1 (1)等符号的上标表示样本索引号(样本编号)，下标表示某个样本向量的元素索 引号。上式对应的模型结构如图 3.5 所示。 ?1 ?2 ?3 ?1 ?12 ?21 ?32 ?

3 广播机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.1.4 索引和切片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.1.5 节省内存 人员对文献 进行详尽的审查。在美国国家医学图书馆（The United States National Library of Medicine），一些专业的 注释员会检查每一篇在PubMed中被索引的文章，以便将其与Mesh中的相关术语相关联（Mesh是一个大约 有28000个标签的集合）。这是一个十分耗时的过程，注释器通常在归档和标记之间有一年的延迟。这里，机器 学习算法可以提供临时标签 的每个元素分配相应的相关性分数，然后检索评级最高的元素。 PageRank15，谷歌搜索引擎背后最初的秘密武器就是这种评分系统的早期例子，但它的奇特之处在于它不依 赖于实际的查询。在这里，他们依靠一个简单的相关性过滤来识别一组相关条目，然后根据PageRank对包含 查询条件的结果进行排序。如今，搜索引擎使用机器学习和用户行为模型来获取网页相关性得分，很多学术 会议也致力于这一主题。 推荐系统

⚫其它 55 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 里面的元素的值不能修改，只能读取。元组的符号是( ) ⚫集合(set) 集合主要有两个功能，一个功能是进行集合操作，另一个功能是消除重复元素。 集合的格式 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据， 各列的数据类型可能 不同 64 Python模块-Pandas ⚫ 数据索引 df[5:10] 通过切片方式选取多行 df[col_label] or df.col_label 选取列 df.loc[row_label 参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行 索引作为右键. 66 Python模块-Pandas ⚫数据融合 pd.concat([df1, df2]) 轴向连接多个 DataFrame. 67 Python模块-Pandas

⚫其它 56 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 里面的元素的值不能修改，只能读取。元组的符号是( ) ⚫集合(set) 集合主要有两个功能，一个功能是进行集合操作，另一个功能是消除重复元素。 集合的格式 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据， 各列的数据类型可能 不同 65 Python模块-Pandas ⚫ 数据索引 df[5:10] 通过切片方式选取多行 df[col_label] or df.col_label 选取列 df.loc[row_label 参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行 索引作为右键. 67 Python模块-Pandas ⚫数据融合 pd.concat([df1, df2]) 轴向连接多个 DataFrame. 68 Python模块-Pandas

DataLoader。 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 from torch . u t i 0 1] (1.2.3) Lambda 函数就是应用用户定义的 lambda 函数，首先使用 zeros 函数创建一个 10 维数组， 然后调用.scatter 函数为每个向量的第 label 个索引赋值为 1。 由于 pytorch 的网络训练会自动帮你进行转换，所以我们不需要自己去操作，因此并不需要 设置 target_transf orm。 前两节的源码参见 chapter1.py。 的意义是不再构建计算图。因为 pytorch 在运 算时会首先构建计算图，用于后面的反向传播算法等操作，我们测试正确率时不需要构建计算图。 pred.argmax(1) 表示向量中最大的一个数的索引，即为我们预测的当前数据类别。然后，.sum 函 数得到一个 batch 里的所有预测正确的次数。 现在我们的网络已经可以训练了，我们可以看到，最终训练的模型在测试集上的准确率为百 分之 70

“bge-small“作为向量模型，或调整上下文窗口大小或文本块大小。 Qwen 1.5 模型系列支持最大 32K 上下文窗口大小。 现在我们可以从文档或网站构建索引。 以下代码片段展示了如何为本地名为’document’的文件夹中的文件（无论是 PDF 格式还是 TXT 格式）构 建索引。 from llama_index.core import VectorStoreIndex, SimpleDirectoryReader embed_model=Settings.embed_model, transformations=Settings.transformations ) 以下代码片段展示了如何为一系列网站的内容构建索引。 from llama_index.readers.web import SimpleWebPageReader from llama_index.core import VectorStoreIndex documents, embed_model=Settings.embed_model, transformations=Settings.transformations ) 要保存和加载已构建的索引，您可以使用以下代码示例。 1.15. LlamaIndex 43 Qwen from llama_index.core import StorageContext, load_index_from_storage

目前商品搜索中的一些问题 7 人工智能／深度学习在搜索中的应用：网页／电商搜索 • 基于深度学习的（Query, Document）分数是Google搜索引擎中第3重要的排序信 号 • 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 用户搜索日志 用户点击日志 用户购物车 日志 用户购买日志 Word2vec模型 计算距离最近 的矢量 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”，