多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 1 http://distill.pub 2 http://discuss.d2l.ai 2 目录 在实践中学习 许多教科书教授一系列的主题，每一个都非常详细。例如，Chris Bishop的优秀教科书 (Bishop, 2006) Fiete Lüer, Surbhi Vijayvargeeya, Muhyun Kim, dennismalmgren, adursun, Anirudh Dagar, liqingnz, 3 http://learnpython.org/ 4 https://discuss.d2l.ai/ 6 目录 Pedro Larroy, lgov, ati‐ozgur, Jun Wu, Matthias 需先将当前路径定位到刚下载的本书代码解压后的目录）： jupyter notebook 9 https://developer.nvidia.com/cuda‐downloads 10 目录 现在可以在Web浏览器中打开http://localhost:8888（通常会自动打开）。由此，我们可以运行这本书中每个 部分的代码。在运行书籍代码、更新深度学习框架或d2l软件包之前，请始终执行conda activate d2l以激活

LS-ACTS • http://www.zjucvg.net/ls-acts/ls-acts.html • RKSLAM: • http://www.zjucvg.net/rkslam/rkslam.html • RDSLAM: • http://www.zjucvg.net/rdslam/rdslam.html • ACTS: • http://www.zjucvg.net/acts/acts 在VR/AR、机器人和无人驾驶领域 进行应用 Personal Homepage: http:www.cad.zju.edu.cn/home/gfzhang: Email: zhangguofeng@cad.zju.edu.cn ZJUCVG Group Website: http:www.zjucvg.net:

opt_SGD = torch.optim.SGD(net_SGD.parameters(), lr=LR) opt_Momentum = torch.optim.SGD(net_Momentum.parameters(), lr=LR, momentum=0.9) opt_RMSProp = torch.optim.RMSprop(net_RMSProp.parameters(), lr=LR lr=LR, alpha=0.9) opt_Adam = torch.optim.Adam(net_Adam.parameters(), lr=LR, betas=(0.9, 0.99)) 15 Pytorch的优化器 16 神经网络的局部最优问题 17 局部最优问题 18 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 2 ?1 ?2 ?1 ?2 29 Softmax 回归 30 参考文献 1. IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017 2. Andrew Ng，http://www.deeplearning.ai 31 谢 谢！

始参数。迁移学习是深度学习中非常重要和常用的⼀个策略。 4.卷积神经网络使用技巧 29 迁移学习步骤 1.使用预训练的模型 net = models.resnet18(pretrained=True) 2.冻结模型权重 for param in net.parameters(): #遍历每个模型参数 param.requires_grad = False #参数梯度为False device("cuda:0" if torch.cuda.is_available() else "cpu") net.fc = nn.Linear(512, 10) 4.卷积神经网络使用技巧 30 参考文献 • IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017 • Andrew Ng，http://www.deeplearning.ai • LeNet-5 ： Gradient-Based Large-Scale Image Recognition (Karen Simonyan and Andrew Zisserman, 2015) • GoogLeNet/Inception Net：Going Deeper with Convolutions (Christian Szegedy et al., 2015) • ResNet：Deep Residual Learning for

2016.6 香港中文大学博士 2016.6 – 2017.5 香港中文大学 Research Fellow 2017.5 – 现在 腾讯优图X-Lab 视觉AI负责人，专家研究员 个人主页：http://xiaoyongshen.me/ Google Scholar： https://scholar.google.com/citations?user=P eMuphgAAAAJ&hl=en ??? ???????????? ????????????0 ???????????? ME ????????????????????????→0 SPMC Detail Fusion Net Our Method 48 ???????????????????????? ???????????? ????????????0 ???????????? ME ?????????? inaccurate kernels inaccurate models unstable solvers information loss Efficient Network Structure U-Net or encoder-decoder network [Su et al, 2017] Remaining Challenges 82 Input Output conv skip connection

Segmentation) 是通过算法自动分割并识别出图片中的内容，可以 将语义分割理解为像素点的分类问题，分析每个像素点的物体的类别信息，如图 1.16 所 示。常见的语义分割模型有 FCN、U-net、PSPNet、DeepLab 系列等。 预览版202112 1.4 深度学习应用 11 图 1.15 目标检测效果图 图 1.16 语义分割效果图 视频理解(Video Advances in Neural Information Processing Systems 32 (页 8024–8035). Curran Associates, Inc. 检索来源: http://papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep- learning-library + ?2 ?2 + ⋯ + ?? ?? + ? 其中?称为感知机的偏置(Bias)，一维向量? = [?1, ?2, … , ??]称为感知机的权值(Weight)，? 称为感知机的净活性值(Net Activation)。 ?1 ?2 ? ?? ? ?1 ?2 ? ?? 输入? 输出 图 6.1 感知机模型 上式写成向量形式：

com/zalandoresearch/fashion-mnist http://yann.lecun.com/exdb/mnist/ MNIST & Fashion-MNIST https://www.cs.utoronto.ca/~kriz/cifar.html CIFAR-10 & CIFAR-100 http://image-net.org/ ImageNet http://www.vision.caltech

network/tribe analysis Netflix • Recommendation engine Pinterest • Image recognition search Fraud.net • Detect online payment fraud DataXu • Leverage automated & unattended ML at large scale (Amazon initialization • getAction() • setPerception(nextObservation,action,reward,termina l) • Resources: • http://ww1.sinaimg.cn/mw690/8708cad7jw1f8naomr mweg209n0fo7wj.gif • https://github.com/li-haoran/DRL-FlappyBird

江苏师范大学，申亚博老师课件 2. PyTorch深度学习：基于PyTorch，机械工业出版社，吴茂贵等，2019年出版 3. Andrew Ng，http://www.deeplearning.ai 4. https://blog.csdn.net/longxinchen_ml/article/details/86533005 35 谢 谢！

Lasso回归） L2正则化：?(?) = 1 2 σ?=1 ? ( ℎ(?(?)) − ?(?))2 + ? σ?=1 ? ?? 2，Ridge Regression （ 岭回归） Elastic Net：?(?) = 1 2 σ?=1 ? ( ℎ(? ? ) − ? ? )2 + ?(? ⋅ σ?=1 ? | ??| + (1 − ?) ⋅ σ?=1 ? ?? 2) 其中： • λ为正则化系数，调整正则化项与训练误 TIBSHIRANI R, BICKEL P, RITOV Y, et al. Least absolute shrinkage and selection operator[J]. Software: http://www.stat.stanford.edu/ tibs/lasso.html, 1996. 33 谢 谢！