的问题，迭代中的一个 关键问题不是评估效果的好坏，而是方案是否存在不必要的超参数等信息，能否不断 地简化 AutoML 的建模，不断地自动化，自适应适配各类问题。 最后，也特别感谢 Convolution Team、Nomo Team、Getmax Team、Aister Team 等队伍的队友们。 总结 本文基于笔者 7 次算法比赛的冠军经历，分享推荐系统、时间序列及自动化机器学习 处理来自不同空间尺 度的特征，从而能够广泛应用于图像分割、检测等变长输入的场景。 ● Twins-SVT 提 出 了 空 间 可 分 离 自 注 意 力 机 制（Spatially Separable Self-Attention，SSSA）来对图像特征的空间维度进行分组，分别计算各局 部空间的自注意力，再利用全局自注意力机制对其进行融合。这种机制在计算 上更高效，性能更优。 Twins 相结合，形成 Twins-PCPVT 来支持尺度变化场景的下游任务。再从自注意机制的效 率和感受野角度出发，设计了兼容局部和全局感受野的新型自注意力，叫做空间可分离 自注意力 （Spatially Separable Self-Attention，SSSA）， 形成了 Twins-SVT。 Twins-PCPVT Twins-PCPVT 通过将 PVT 中的位置编码（和 DeiT [7] 一样固定长度、可学习的位

络、通信网络、蛋白质分子结构等一系列的不规则空间拓扑结构的数据，它们往往显得力 不从心。2016 年，Thomas Kipf 等人基于前人在一阶近似的谱卷积算法上提出了图卷积网 络(Graph Convolution Network，GCN)模型。GCN 算法实现简单，从空间一阶邻居信息聚 合的角度也能直观地理解，在半监督任务上取得了不错效果。随后，一系列的网络模型相 继被提出，如 GAT、EdgeConv、DeepGCN 和3 × 3感受 野大小。小卷积核使得网络提取特征时的感受野区域有限，但是增大感受野的区域又会增 加网络的参数量和计算代价，因此需要权衡设计。 空洞卷积(Dilated/Atrous Convolution)的提出较好地解决这个问题，空洞卷积在普通卷 积的感受野上增加一个 Dilation Rate 参数，用于控制感受野区域的采样步长，如下图 10.51 所示：当感受野的采样步长 Dilation 时，使用普通卷积方式进行运算；当 dilation 参数大于 1 时，采样空洞卷积方式进行计算。 10.11.2 转置卷积 转置卷积(Transposed Convolution，或 Fractionally Strided Convolution，部分资料也称 之为反卷积/Deconvolution，实际上反卷积在数学上定义为卷积的逆过程，但转置卷积并不 能恢复出原卷积的输入，因此称为反卷积并不妥当)通过在输入之间填充大量的

Forward Block Forward Block deconvolution deconvolution convolution convolution 检测 Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block SACC2017 视觉感知模型-融合 分割 Forward Block Forward Block deconvolution deconvolution convolution convolution 检测 Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block Forward Block Forward Forward Block deconvolution deconvolution 分割 convolution convolution 检测 识别 Single Frame Predictor SACC2017 视觉感知模型-融合 检测 识别 分割 跟踪 核 心 深度学习 •完全基于深度学习 •统一分类，检测，分割，跟踪 ü通过共享计算提高算法效率 ü通过多个相关任务共同学习提高算法性能

com/exdb/publis/pdf/lecun-89e.pdf Convolution Operation Rethink Linear layer http://slazebni.cs.illinois.edu/spring17/lec01_cnn_architectures.pdf Why call Convolution? Convolution https://www.superdatascience superdatascience.com/convolutional-neural-networks-cnn-step-1- convolution-operation/ Convolution Convolution CNN on feature maps https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ 下一课时 卷积神经网络

如果你试图分离声明和定义，调用另一个文件里 的 __device__ 或 __global__ 函数，就会出错 。 分离 __device__ 函数的声明和定义：解决 • 开启 CMAKE_CUDA_SEPARABLE_COMPILATION 选 项（设为 ON ），即可启用分离声明和定义的支持。 • 不过我还是建议把要相互调用的 __device__ 函数放在 同一个文件，这样方便编译器自动内联优化（第四课讲 glDispatchComputeIndirect 的 API 和这个很像，但毕竟没有 CUDA 可以直接在核函数里调用核函数并指定参数这么方便…… 不过，这个功能同样需要开启 CUDA_SEPARABLE_COMPILATION 。 第 2 章：内存管理 如何从核函数里返回数据？ • 我们试着把 kernel 的返回类型声明为 int ，试 图从 GPU 返回数据到 CPU 。 • 但发现这样做会在编译期出错，为什么？

Given new coordinates, can we predict whether it’s clean or not? Analysis • Firstly it’s linear separable.
 • To begin with we need to find a line L. Assume there is x0 which always 
 equals 1 Line (X)

Demo AlexNet ▪ GTX 580 ▪ 3GBx2 ▪ 11x11 ▪ 8 layers VGG ▪ 3x3 ▪ 1x1 ▪ 11-19 layers 1x1 Convolution ▪ less computation ▪ c_in => c_out GoogLeNet ▪ 1st in 2014 ILSVRC ▪ 22 layers Stack more

卷积神经网络 主讲人：龙良曲 Convolution Moving window Several kernels Animation https://medium.freecodecamp.org/an-intuitive-guide-to-convolutional-neural- networks-260c2de0a050 Notation Input_channels: Kernel_channels:

lob/master/cumulative_gans.jpg DCGAN https://blog.openai.com/generative-models/ Transposed Convolution https://datascience.stackexchange.com/questions/6107/what-are-deconvolutional- layers VAE V.S

apply_grad/ ����� zeros_initializer/random_normal_initializer/orthogonal_initializer ������ convolution/pool/bias_add/softmax/dropout/erosion2d ���� random_normal/random_shuffle/multinomial/random_gamma