Lecture 4: Regularization and Bayesian Statistics Feng Li Shandong University fli@sdu.edu.cn September 20, 2023 Feng Li (SDU) Regularization and Bayesian Statistics September 20, 2023 1 / 25 Lecture Lecture 4: Regularization and Bayesian Statistics 1 Overfitting Problem 2 Regularized Linear Regression 3 Regularized Logistic Regression 4 MLE and MAP Feng Li (SDU) Regularization and Bayesian Statistics generalize well to predict new data Feng Li (SDU) Regularization and Bayesian Statistics September 20, 2023 4 / 25 Addressing The Overfitting Problem Reduce the number of features Manually select which features

Chapter 4 - Efficient Architectures “Any sufficiently advanced technology is indistinguishable from magic.” — Arthur C. Clarke, “Hazards of Prophecy: The Failure of Imagination” (1962) “Any technology animals. The higher the value, the more that particular feature represents the given animal. In Table 4-1 we manually assigned values for the cute and dangerous features for six animals2, and we are calling cat (0.95, 0.05) snake (0.01, 0.9) bear (0.5, 0.95) raccoon (0.5, 0.5) mouse (0.01, 0.2) Table 4-1: A table consisting of embeddings of the various animals, using two features (cute and dangerous)

多变量房价预测问题：数据分析 面积（平方英尺） 卧室数量（个） 价格（美元） 2104 3 399900 1600 3 329900 2400 3 369000 1416 2 232000 3000 4 539900 1985 4 299900 1534 3 314900 1427 3 198999 1380 3 212000 1494 3 242500 训练数据： 数据分布： 多变量房价预测问题：特征归一化

Classes (VOC) Challenge Pascal VOC • Microsoft Common Objects in Context MS-COCO PASCAL VOC 数据集 4个大类：person, animal, vehicle, household 20个小类： • person • bird, cat, cow, dog, horse, sheep • aeroplane

02 Apriori 算法 03 FP-Growth算法 3 1.关联规则概述 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 4 1.关联规则概述 关联规则 关联规则（Association Rules）反映一个事物与其他事物之间的相互依存 性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中 一个事物就能够通过其他事物预测到。 ???? = ????(?,?) ???? ? 提升度：???? = ??????? ??????? ? ×??????? ? 支持度：??????? = ????(?,?) ? =3/4 9 2.Apriori算法 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 10 2.Apriori算法 Apriori算法利用频繁项集生成关联规则。它基于频繁项集的子集也 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 项集 支持度 {1} 3 {2} 3 {3} 4 {4} 1 {5} 4 C1 13 2.Apriori算法 算法案例 可以看到，第4项的支持度为1，小于最小支持度2。所以我们将在接下来的 迭代中丢弃{4}。我们得到最终表F1。 项集

而不是堆砌公式。 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 DQN、TRPO、PPO 等。 1.1.3 神经网络与深度学习 神经网络算法是一类基于神经网络从数据中学习的算法，它仍然属于机器学习的范 畴。受限于计算能力和数据量，早期的神经网络层数较浅，一般在 1~4 层左右，网络表达 能力有限。随着计算能力的提升和大数据时代的到来，高度并行化的 GPU 和海量数据让大 规模神经网络的训练成为可能。 2006 年，Geoffrey Hinton 首次提出深度学习的概念。2012

04 NumPy的函数库 3 1.NumPy概述 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 4 NumPy(Numeric Python)是Python的一种开源的数值计算扩展库。 它包含很多功能： · 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 · 傅里叶变换 NumPy 数组对象 >import numpy as np # 导入NumPy工具包 >data = np.arange(12).reshape(3, 4) # 创建一个3行4列的数组 >data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) ndarray对维数没有限制。 [ ]从内到外分别为第0轴，第1轴，第2轴，第3轴。 ndarray，它是一系列同类型数据 的集合，以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 10 1.1 认识 NumPy 数组对象 shape(4,) shape(4,3,2) shape(3,2) NumPy 数组图示 11 1.1 认识 NumPy 数组对象 2 >type(data) numpy.ndarray data.size #

....................................................................................... 3 Chapter 4. PyTorch Release 23.07............................................................................. Open a command prompt and paste the pull command. Running PyTorch PyTorch RN-08516-001_v23.07 | 4 Ensure that the pull successfully completes before you proceed to step 3. 3. To run the container one or more host directories as Docker® data volumes. PyTorch RN-08516-001_v23.07 | 5 Chapter 4. PyTorch Release 23.07 The NVIDIA container image for PyTorch, release 23.07 is available on NGC.

3.7.4 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 4 多层感知机 127 4.1 多层感知机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 费壁垒后面。 我们着手创建的资源可以：（1）每个人都可以免费获得；（2）提供足够的技术深度，为真正成为一名应用机 器学习科学家提供起步；（3）包括可运行的代码，向读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。 这些目标经常是相互冲突的。公式、定理和引用最好用LaTeX来管理和布局。代码最好用Python描述。网页

understanding, tool use, role play, playing as AI agent, etc. 最新版本 Qwen1.5 有以下特点： • 6 种模型规模，包括 0.5B、1.8B、4B、7B、14B 和 72B； • 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； • 对基础模型和 Chat 模型的多语言支持 • 基础模型和聊天模型都支持多种语言； Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4. 37.0 版本。以下是一个非常简单的代码片段示例，展示如何运行 Qwen1.5-Chat 模型，其中包含 Qwen1. 5-7B-Chat 的实例： from transformers import model.generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： 4 Chapter 1. 文档 Qwen model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen1.5-7B-Chat", torch_dtype="auto"