Tensor维度变换 主讲人：龙良曲 Operation ▪ View/reshape ▪ Squeeze/unsqueeze ▪ Transpose/t/permute ▪ Expand/repeat 2 View reshape ▪ Lost dim information 3 Flexible but prone to corrupt 4 Squeeze v.s. unsqueeze

PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 图 1.15 目标检测效果图 图 1.16 语义分割效果图 视频理解(Video Understanding) 随着深度学习在 2D 图片的相关任务上取得较好的效 果，具有时间维度信息的 3D 视频理解任务受到越来越多的关注。常见的视频理解任务有 视频分类、行为检测、视频主体抽取等。常用的模型有 C3D、TSN、DOVF、TS_LSTM 等。 图片生成(Image Generation) ∗，就可以从(部分)实数空间中随机采样?和?，并计算出?和?对应模型的误差值ℒ， 然后从测试过的{ℒ}集合中挑出最好的ℒ∗，它所对应的?和?就可以近似作为最优?∗和?∗。 这种算法固然简单直接，但是面对大规模、高维度数据的优化问题时计算效率极低， 基本不可行。梯度下降算法(Gradient Descent)是神经网络训练中最常用的优化算法，配合 强大的图形处理芯片 GPU(Graphics Processing

LSTM 的序列分类 在这个模型中，我们将 3 个 LSTM 层叠在一起，使模型能够学习更高层次的时间表示。 前两个 LSTM 返回完整的输出序列，但最后一个只返回输出序列的最后一步，从而降低了 时间维度（即将输入序列转换成单个向量）。 from keras.models import Sequential from keras.layers import LSTM, Dense import return_sequences=True, input_shape=(timesteps, data_dim))) # 返回维度为 32 的向量序列 model.add(LSTM(32, return_sequences=True)) # 返回维度为 32 的向量序列 model.add(LSTM(32)) # 返回维度为 32 的单个向量 model.add(Dense(10, activation='softmax')) Input(shape=(20, 784)) # 这部分将我们之前定义的模型应用于输入序列中的每个时间步。 # 之前定义的模型的输出是一个 10-way softmax， # 因而下面的层的输出将是维度为 10 的 20 个向量的序列。 processed_sequences = TimeDistributed(model)(input_sequences) 3.2.4 多输入多输出模型 以下是函数式

杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 12 1.5.2 实现资源运行环境全生命周期管理 实现资源运行环境从申请、到审批、自动化部署、操作、变更、回收全生命周期管理； 同时生命周期过程中各维度管理，包括分权分域管理、流程管理、访问控制管理、成本费用 管理、分级分组分类管理、整合运维工具进行管理等，方便日常管理，同时满足安全管理、 成本管理要求。 1.5.3 实现运维工具深度整合、联动自动化 可视化，并持续分析优化回收浪费资源和减少浪费，制作报告模版，定时生成发送资源使用 报告、账单费用报告、优化分析报告; 其中可视化支持概览当前及历史月份的费用、各类资源使用量，以及各个维度组成可视 化，维度默认支持组织维度、业务维度，并且可自定义维度。 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设 建立 IT 工具体系演进框架门户，能够支持不断迭代建设，覆盖服务运维场景，不断提 升服务和自动 方式，加速业务系统的开发、 测试、投产、上线，以及简化方便提升运维的效率，运营减少资源浪费降低成本支出，减少 人工操作以及人工操作风险、解放人力。从场景上，可以分别从 2 个维度理解，一个是从 项目生命周期过程维度，如图 7 所示。一个是从服务、管理、运维、运营四方面场景，如 图 8 所示。支持的场景列表，如表 2 所示。 图 7: 项目的生命周期的环节场景 图 8: 项目的生命周期的环节场景

APPKIT打造稳定、灵活、高效的运营配置平台 作者: 国宝 小龙 一、背景 一、背景 美团App、大众点评App都是重运营的应用。对于App里运营资源、基础配置，需要根据城市、版本、平 台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中，保持运营资源能够被高效、稳定和灵 活地配置，是我们团队面临的重大考验。在这种背景下，大众点评移动开发组必须要打造一个稳定、灵 活、高效的运营配置平台。本文 基础配置，常见的有入口资源的配置、网络的配置等。相对运营资源来说，其变更的频繁度相对较低，与 时间、城市的关系也没那么强。譬如下面大众点评App-我的页面里的入口。这类配置有如下几个特征： 1. 多维度：需要针对不同的版本、平台、渠道，做不同的配置。 2. 长期有效：这种类型的配置一般长期存在，不会存在过期问题。 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 二、遇到的问题 发，少则需要1到2天的开发工时，研发成本高。问题总结如下： 1. 研发成本高，每个需求要开发新的配置管理页面。 2. 研发周期长，运营效率低，从需求的提出到运营上线周期长。 3. 灵活性差，对不同的运营维度（城市、版本、时间等）都需要事先确定好，无法动态调整。 上线流程“粗糙” 上线流程“粗糙” 在早期，运营配置上线流程需要研发同学参与。产品提出运营配置需求，研发同学通过修改代码对配置进 行变更

RepConv 层。同时，将原始的 CSP-Block 6 > 2022年美团技术年货 都重新设计为 RepBlock，其中 RepBlock 的第一个 RepConv 会做 channel 维度 的变换和对齐。另外，我们还将原始的 SPPF 优化设计为更加高效的 SimSPPF。 图 4 EfficientRep Backbone 结构图 Rep-PAN：在 Neck 设计方面，为了 对蒸馏的损失贡献相同。我们采用了每通道 分布蒸馏 [6]，即让 student 输出的每个通道的分布拟合 teacher 输出的每个通道的 分布。两种方法的区别如下图 6 所示： 算法 < 25 图 6 使用空间维度蒸馏和通道维度蒸馏的对比示意 2.3.2 YOLOv6 量化感知蒸馏框架 针 对 YOLOv6s， 我 们 选 择 对 Neck（Rep-PAN）输 出 的 特 征 图 进 行 通 道 蒸 馏 （channel-wise AutoML、 Debiasing、强化学习等问题，这类比赛的共同特点是通过以前方法难以解决现有的 新问题。这三个阶段趋势也一定程度反应着当前工业界与学术界的难点与重点，无论 从方式、方法，还是从问题维度，都呈现出从窄到宽，从标准向非标准演进的趋势。 图 2 KDD Cup 近 20 年问题趋势 本文会先介绍笔者的 7 次 KDD Cup/Kaggle 比赛冠军的方案与理解，问题涉及推 荐、广

适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 通过迭代调整提示语，优化输出质量 设计评估标准，量化提示语效果 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素

适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 通过迭代调整提示语，优化输出质量 设计评估标准，量化提示语效果 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库，提高效率和一致性 开发提示语策略，应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素

业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增 量业务，预设维度分析场 量业务，预设维度分析场景下表现良好，但在变化维的场景下生产成本巨大。例如，如果使用最 新商家类型回溯商家近三个月的表现，需要重新计算三个月的Cube，需花费几个小时，来计算近 TB的历史数据。另外，应对非预设维度分析，MOLAP模型需要重新进行适配计算，也需要一定的 迭代工作。 明细数据的交互 业务分析除了宏观数据之外，对明细数据查询也是一种刚需。通常大家会选择MySQL等关系型DB 作为明细数据的快速检索查询，但 ”是一个组织机构维度中的最小层级，源于外卖组织的特 点，“商圈”及其上层组织机构是一个变化维度，当“商圈”边界发生变化时，就导致在往常日增量的 业务生产方式中，历史数据的回溯失去了参考意义。在所有展现组织机构数据的业务场景中，组 织机构的变化是一个绕不开的技术问题。此外，商家品类、类型等其它维度也存在变化维的问题 。如下图所示： 数据生产面临的挑战 数据爆炸，每日使用最新维度对历史数据进行回溯

参数的情况下增加系统的记忆 和复杂性。研究人员通过使用只能被视为可学习的指针结构 (Bahdanau et al., 2014) 找到了一个优雅的 解决方案。不需要记住整个文本序列（例如用于固定维度表示中的机器翻译），所有需要存储的都是指 向翻译过程的中间状态的指针。这大大提高了长序列的准确性，因为模型在开始生成新序列之前不再 需要记住整个序列。 • 多阶段设计。例如，存储器网络 (Sukhbaatar 关经验，想要深入学习数学内容，可以跳过本节。 首先，我们导入torch。请注意，虽然它被称为PyTorch，但是代码中使用torch而不是pytorch。 import torch 张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）； 具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。 首先，我们可以使用 arange 创建一个行向量 7], [ 8, 9, 10, 11]]) 我们不需要通过手动指定每个维度来改变形状。也就是说，如果我们的目标形状是（高度,宽度），那么在 知道宽度后，高度会被自动计算得出，不必我们自己做除法。在上面的例子中，为了获得一个3行的矩阵， 我们手动指定了它有3行和4列。幸运的是，我们可以通过-1来调用此自动计算出维度的功能。即我们可以 用x.reshape(-1,4)或x.reshape(3