ACM Conference. ACM, 2016. [2] He K , Zhang X , Ren S , et al. Identity Mappings in Deep Residual Networks[J]. Springer, Cham, 2016. [3] Ali, Jehad & Khan, Rehanullah & Ahmad, Nasir & Maqsood, Imran. Yue Hu. 2020. Graph neural architecture search. In IJCAI, Vol. 20. 1403–1409. [12] Matheus Nunes and Gisele L Pappa. 2020. Neural Architecture Search in Graph Neural Networks. In Brazilian Conference [13] Huan Zhao, Lanning Wei, and Quanming Yao. 2020. Simplifying Architecture Search for Graph Neural Network. arXiv preprint arXiv:2008.11652 (2020). [14] Jin Xu, Mingjian Chen, Jianqiang Huang, Xingyuan

经网络结构，由谷歌团队于2019年提出，该 模型在图像分类、目标检测和图像分割等任 务中取得了不错的结果。 EfficientNet的设计思路来源于模型优化的 两个主要思想： 神经网络结构搜索（Neural Architecture Search，NAS）和模型融合。 其主要贡献在于开创性地提出了通过均匀缩 放（Accurate Scaling）来调整网络深度 、宽度和分辨率的方法。 23 3 Classification with Deep Convolutional Neural Networks (Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton, 2012) 31 参考文献 • VGG：Very Deep Convolutional Networks for Large-Scale Image Recognition (Karen 2016) • DenseNet：Densely Connected Convolutional Networks (Gao Huang et al., 2017) • MobileNet ： MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (Andrew G. Howard

实现更复杂的模型奠定了基础。接下来，在 6节 和 7节 中，我们介绍了卷积神经网络（convolutional neural network，CNN），这是构成大多数现代计算机视觉系统骨干的强大工具。随后，在 8节 和 9节 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 许多数据的根本原因？例如，如果我们有关于房价、污染、犯罪、地理位置、教育和工资的人口统计数 据，我们能否简单地根据经验数据发现它们之间的关系？ • 生成对抗性网络（generative adversarial networks）：为我们提供一种合成数据的方法，甚至像图像和 音频这样复杂的非结构化数据。潜在的统计机制是检查真实和虚假数据是否相同的测试，它是无监督 学习的另一个重要而令人兴奋的领域。 1.3.3 与环境互动 知器学习 算法的原型，被称为“赫布学习”。这个算法也为当今深度学习的许多随机梯度下降算法奠定了基础：强化期 望行为和减少不良行为，从而在神经网络中获得良好的参数设置。 神经网络（neural networks）的得名源于生物灵感。一个多世纪以来（追溯到1873年亚历山大·贝恩和1890年 詹姆斯·谢林顿的模型），研究人员一直试图组装类似于相互作用的神经元网络的计算电路。随着时间的推移，

① 素材来自 https://towardsdatascience.com/how-to-teach-a-computer-to-see-with-convolutional-neural-networks- 96c120827cd1 预览版202112 3.1 手写数字图片数据集 3 目前常用的深度学习框架，如 PyTorch (Paszke, 以及其他人, 2019)、TensorFlow 所在的层叫作输入层，每一个非线性 模块的输出??连同它的网络层参数??和??等称为一层网络层。特别地，对于网络中间的 层，也叫作隐藏层，最后一层也叫作输出层。这种由大量神经元模型连接形成的网络结构 称为神经网络(Neural Network)。从这里可以看到，神经网络并不难理解，神经网络每层的 节点数和神经网络的层数或结构等决定了神经网络的复杂度。 预览版202112 第 3 章 分类问题 10 LarochelleH., BeygelzimerA., d\textquotesingle Alch é-BucF., FoxE., & GarnettR. (编辑), Advances in Neural Information Processing Systems 32 (页 8024–8035). Curran Associates, Inc. 检索来源: http://papers.neurips

with deep neural networks and tree search." nature 529.7587 (2016): 484-489. 【4】 Wei, Jason, et al. "Chain-of-thought prompting elicits reasoning in large language models." Advances in neural information Shunyu, et al. "Tree of thoughts: Deliberate problem solving with large language models." Advances in Neural Information Processing Systems 36 (2024). 【6】Karpas, Ehud, et al. "MRKL Systems: A modular, neuro-symbolic 【7】Schick, Timo, et al. "Toolformer: Language models can teach themselves to use tools." Advances in Neural Information Processing Systems 36 (2024). 【8】https://huggingface.co/spaces/mteb/leaderboard 【9】https://github

Learning Source: Overcoming catastrophic forgetting in neural networks Memory-Augmented Neural Networks Source: Hybrid computing using a neural network with dynamic external memory Work Fun Play Hard

323(6088):533-536. [7] Bishop C M. Neural Networks for Pattern Recognition[J]. Advances in Computers, 1993, 37:119-166. [8] LeCun Y, Bengio Y. Convolutional networks for images, speech, and time series[J] series[J]. The handbook of brain theory and neural networks, 1995, 3361(10): 1995. 29 谢 谢！

s.pdf Receptive Field https://medium.freecodecamp.org/an-intuitive-guide-to-convolutional-neural- networks-260c2de0a050 Weight sharing ▪ ~60k parameters ▪ 6 Layers http://yann.lecun.com/exdb/publis/pdf/lecun-89e res.pdf Why call Convolution? Convolution https://www.superdatascience.com/convolutional-neural-networks-cnn-step-1- convolution-operation/ Convolution Convolution CNN on feature maps https://ujjwalkarn

RESERVED 23 深度学习模型结构  混合模型：DNN + RNN  Deep neural networks (DNN) - 全连接的多层感知机 - BatchNormalization - 激活层（RELU） - dropout正则化  Recurrent neural networks (RNN) - LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED

然语言处理 ＝ ？ Microso� Apple AWS 今年最激动人心的事件？ 2016.1.28 “Mastering the game of Go with deep neural networks and tree search” 今年最激动人心的事件？ 2016年3月Alphago 4:1 击败李世石九段 人工智能 VS. 机器学习 VS. 深度学习 人工智能发展的历史 发现异常的规律行为，识别和标记欺诈交易 推荐引擎 客户流失预测 ... 机器学习－学习方式 监督学习- 人工干预和验证的要求,算法：Logistic Regression，Back Propagation Neural Network 等。例如：照片分类和标签 无监督学习- 无人工干预的要求, 算法: Apriori算法以及k-Means。例如：对于文档的基于上下 文的自动分类 半监督学习 - 介于监督学习和无监督学习之间，算法: