## PyTorch ## Tensor维度变换 主讲人：龙良曲 ## Operation View/reshape - Squeeze/unsqueeze - Transpose/t/permute Expand/repeat ## V iew reshape • Lost dim information ## Flexible but prone to corrupt ☀️ ☁️

7e010676e/p6_1.jpg) ## 数据同步ck 1. 基于公司对数据要求为T+1 2. 基于现有开发人员水平及成本 因此采用可视化同步工具kettle. 先将oracle数据平台维度信息以及相关主题清单数据同步至clichouse数据仓库 Etl服务器 - 通过clickhouse-client将文本导入ck数据库 Oracle数据平台 - 通过kettle每天定时导出文件至本地 数仓建设  ## 数仓建设-维度表 ### 一 般维度表数据量不大. 目前采用的是引擎Log+字典表(dictionary)  ORDER BY (stat_day, dc_id) SETTINGS index_granularity = 8192; ## 数仓建设 - 对外数据 目前对外开放是主题事实清单表+维度表封装成一个视图,类似如下 create or replace view vw_fct_rpt_dc_shop_sku_vender_day as select stat_year,

PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第5章 PyTorch进阶 5.1 合并与分割 cc2b1d8a235/p20_2.jpg) 图 1.16 语义分割效果图 视频理解(Video Understanding) 随着深度学习在 2D 图片的相关任务上取得较好的效果，具有时间维度信息的 3D 视频理解任务受到越来越多的关注。常见的视频理解任务有视频分类、行为检测、视频主体抽取等。常用的模型有 C3D、TSN、DOVF、TS_LSTM 等。 图片生成(Image Generation) 从测试过的 $ \{L\} $ 集合中挑出最好的 $ L^{*} $ ，它所对应的w和b就可以近似作为最优 $ w^{*} $ 和 $ b^{*} $ 。 这种算法固然简单直接，但是面对大规模、高维度数据的优化问题时计算效率极低，基本不可行。梯度下降算法(Gradient Descent)是神经网络训练中最常用的优化算法，配合强大的图形处理芯片 GPU(Graphics Processing U

LSTM 的序列分类 在这个模型中，我们将 3 个 LSTM 层叠在一起，使模型能够学习更高层次的时间表示。 前两个 LSTM 返回完整的输出序列，但最后一个只返回输出序列的最后一步，从而降低了时间维度（即将输入序列转换成单个向量）。 from keras.models import Sequential from keras.layers import LSTM, Dense import numpy input_shape=(timesteps, data_dim))) # 返回维度为 32 的向量序列 model.add(LSTM(32, return_sequences=True)) # 返回维度为 32 的向量序列 model.add(LSTM(32)) # 返回维度为 32 的单个向量 model.add(Dense(10, activation='softmax')) Input(shape=(20, 784)) # 这部分将我们之前定义的模型应用于输入序列中的每个时间步。 # 之前定义的模型的输出是一个 10-way softmax, # 因而下面的层的输出将是维度为 10 的 20 个向量的序列。 processed_sequences = TimeDistributed(model)(input_sequences) #### 3.2.4 多输入多输出模型

APPKIT打造稳定、灵活、高效的运营配置平台 作者：国宝 小龙 ## 一、 背景 美团App、大众点评App都是重运营的应用。对于App里运营资源、基础配置，需要根据城市、版本、平台、渠道等不同的维度进行运营管理。如何在版本快速迭代过程中，保持运营资源能够被高效、稳定和灵活地配置，是我们团队面临的重大考验。在这种背景下，大众点评移动开发组必须要打造一个稳定、灵活、高效的运营配置平台。本文主要分享 基础配置，常见的有入口资源的配置、网络的配置等。相对运营资源来说，其变更的频繁度相对较低，与时间、城市的关系也没那么强。譬如下面大众点评App-我的页面里的入口。这类配置有如下几个特征： 1. 多维度：需要针对不同的版本、平台、渠道，做不同的配置。 2. 长期有效：这种类型的配置一般长期存在，不会存在过期问题。 ![Image](/uploads/documents/3/5/e/a/35ea 要1到2天的开发工时，研发成本高。问题总结如下： 1. 研发成本高，每个需求要开发新的配置管理页面。 2. 研发周期长，运营效率低，从需求的提出到运营上线周期长。 3. 灵活性差，对不同的运营维度（城市、版本、时间等）都需要事先确定好，无法动态调整。 ## 上线流程“粗糙” 在早期，运营配置上线流程需要研发同学参与。产品提出运营配置需求，研发同学通过修改代码对配置进行变更，然后通过代码上线进行发布。整体流程如下：

资源精细化运营管理回收优化 软件用起来才有价值，才有改进的机会 #### 1.5.2 实现资源运行环境全生命周期管理 实现资源运行环境从申请、到审批、自动化部署、操作、变更、回收全生命周期管理；同时生命周期过程中各维度管理，包括分权分域管理、流程管理、访问控制管理、成本费用管理、分级分组分类管理、整合运维工具进行管理等，方便日常管理，同时满足安全管理、成本管理要求。 #### 1.5.3 实现运维工具深度整合、联动自动化 分析优化回收浪费资源和减少浪费，制作报告模版，定时生成发送资源使用报告、账单费用报告、优化分析报告； 其中可视化支持概览当前及历史月份的费用、各类资源使用量，以及各个维度组成可视化，维度默认支持组织维度、业务维度，并且可自定义维度。 #### 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设 建立 IT 工具体系演进框架门户，能够支持不断迭代建设，覆盖服务运维场景，不断提升服务和 通过新的模式和方式，加速业务系统的开发、测试、投产、上线，以及简化方便提升运维的效率，运营减少资源浪费降低成本支出，减少人工操作以及人工操作风险、解放人力。从场景上，可以分别从2个维度理解，一个是从项目生命周期过程维度，如图7所示。一个是从服务、管理、运维、运营四方面场景，如图8所示。支持的场景列表，如表2所示。 ![Image](/uploads/documents/1/6/1/f/161f2

Conv 层替换成了 stride=2 的 RepConv 层。同时，将原始的 CSP-Block 都重新设计为 RepBlock，其中 RepBlock 的第一个 RepConv 会做 channel 维度的变换和对齐。另外，我们还将原始的 SPPF 优化设计为更加高效的 SimSPPF。  图 6 使用空间维度蒸馏和通道维度蒸馏的对比示意 #### 2.3.2 YOLOv6 量化感知蒸馏框架 针对 YOLOv6s，我们选择对 Neck（Rep-PAN）输出的特征图进行通道蒸馏（channel-wise distillation 年以来，重点关注非监督问题，例如 AutoML、Debiasing、强化学习等问题，这类比赛的共同特点是通过以前方法难以解决现有的新问题。这三个阶段趋势也一定程度反应着当前工业界与学术界的难点与重点，无论从方式、方法，还是从问题维度，都呈现出从窄到宽，从标准向非标准演进的趋势。 ![Image](/uploads/documents/5/b/1/9/5b19ae814e1fdbee8febba2ae4abed19/p44_1

并能够生成合适的内容，但缺乏像推理模型那样复杂的推理和决策能力。 例如：GPT-3、GPT-4（OpenAI），BERT（Google），主要用于语言生成、语言理解、文本分类、翻译等任务。 |维度|推理模型|通用模型| |---|---|---| |优势领域|数学推导、逻辑分析、代码生成、复杂问题拆解|文本生成、创意写作、多轮对话、开放性问答| |劣势领域|发散性任务（如诗歌创作）|需要严格逻辑链的任务（如数学证明）| 够生成新的创意和解决方案，具备创新能力| |人机互动能力|按照预设脚本响应，较难理解人类情感和意图|更自然地与人互动，理解复杂情感和意图| |问题解决能力|擅长解决结构化和定义明确的问题|能够处理多维度和非结构化问题，提供创造性的解决方案| |伦理问题|作为受控工具，几乎没有伦理问题|引发自主性和控制问题的伦理讨论| CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推 td>利用提示语桥接不同学科和AI能力创造跨领域的创新解决方案系统思维设计多步骤、多维度的提示语体系构建提示语模板库，提高效率和一致性开发提示语策略，应对复杂场景