Lecture 3: Logistic Regression Feng Li Shandong University fli@sdu.edu.cn September 20, 2023 Feng Li (SDU) Logistic Regression September 20, 2023 1 / 29 Lecture 3: Logistic Regression 1 Classification Classification 2 Logistic Regression 3 Newton’s Method 4 Multiclass Classification Feng Li (SDU) Logistic Regression September 20, 2023 2 / 29 Classification Classification problems Email: Spam / Not Spam 1 : “Positive Class” (e.g., malignant tumor) Feng Li (SDU) Logistic Regression September 20, 2023 3 / 29 Warm-Up What if applying linear regress to classification? Tumor Size Malignant? (Yes) 1

Chapter 3 - Learning Techniques “The more that you read, the more things you will know. The more that you learn, the more places you'll go.” ― Dr. Seuss Model quality is an important benchmark to evaluate requires fewer samples to achieve the same performance, which makes it cheaper to train. Refer to Figure 3-1 for an example of such a model, and note how it achieves accuracy similar to the baseline, but does terminating the training early, if we adopt this hypothetical sample efficient model training. Figure 3-1: The above plot demonstrates sample efficiency between two model training setups. The sample efficient

� ���� Python �� 0 �� scalar = 1 1 �� vector = [1, 2, 3] 2 ������� matrix = [[1, 2, 3], [4, 5, 6], [7, 8, 9]] 3 ���� tensor = [[[1], [2], [3]], [[4], [5], [6]], [[7], [8], [9]],…] n n��� .... �� ���1����2������������������������������ 16 17 18 13 10 14 11 15 12 7 8 9 4 1 5 2 6 3 1 1 2 3 1 2 3 4 5 6 7 8 9 0� 1� 2� 3� TensorFlow �� � TensorFlow �����Tensor����������������� ������������� 1. ����������������� ����������������� 2. ������������� 16 17 18 13 10 14 11 15 12 7 8 9 4 1 5 2 6 3 1 1 2 3 1 2 3 4 5 6 7 8 9 0� 1� 2� 3� TensorFlow �� Q�TensorFlow ������ • ������������ • ����������������� • �����������������

1 2021年06月 机器学习-第十一章 关联规则 黄海广 副教授 2 本章目录 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 3 1.关联规则概述 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 4 1.关联规则概述 关联规则 关联规则（Association Rules）反映一个事物与其他事物之间的相互依存 ?????? = ????(?,?) ???? ? 提升度：???? = ??????? ??????? ? ×??????? ? 支持度：??????? = ????(?,?) ? =3/4 9 2.Apriori算法 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 10 2.Apriori算法 Apriori算法利用频繁项集生成关联规则。它基于频繁项集的子集也 基于频繁k项集，连接生成候选频繁k+1项集。 3） 令k=k+1，转入步骤2。 12 2.Apriori算法 算法案例 第一次迭代：假设支持度阈值为2，创建大小为1的项集并计算它们的支持度。 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 项集 支持度 {1} 3 {2} 3 {3} 4 {4} 1

科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 预览版202112 1.2 神经网络发展简史 3 算法需要与环境进行交互，获取环境反馈的滞后的奖励信号，因此并不能通过计算预测动 作与“正确动作”之间的误差来优化网络。常见的强化学习算法有 DQN、TRPO、PPO 等。 1.1

. . . 3 1.5 使用 TensorFlow 以外的后端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.6 技术支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.7 为什么取名为 . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . . . . . 7 3 快速开始 8 3.1 Sequential 顺序模型指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3 5.3.4 Conv2DTranspose [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.3.5 Conv3D [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 5.3.6 Cropping1D [source]

...................... 2 Chapter 3. Running PyTorch................................................................................................................ 3 Chapter 4. PyTorch Release 23.07 framework containers are stored in the nvcr.io/nvidia repository. PyTorch RN-08516-001_v23.07 | 3 Chapter 3. Running PyTorch Before you begin Before you can run an NGC deep learning framework container .07-py3 2. Open a command prompt and paste the pull command. Running PyTorch PyTorch RN-08516-001_v23.07 | 4 Ensure that the pull successfully completes before you proceed to step 3. 3. To run

机器学习-NumPy使用总结 黄海广 副教授 2 本章目录 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 3 1.NumPy概述 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 4 NumPy(Numeric P 导入NumPy工具包 >data = np.arange(12).reshape(3, 4) # 创建一个3行4列的数组 >data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) ndarray对维数没有限制。 [ ]从内到外分别为第0轴，第1轴，第2轴，第3轴。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据 的集合，以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 10 1.1 认识 NumPy 数组对象 shape(4,) shape(4,3,2) shape(3,2) NumPy 数组图示 11 1.1 认识 NumPy 数组对象 2 >type(data) numpy.ndarray data.size # 数组元素的个数，输出结果12，表示总共有12个元素

. . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 3 线性神经网络 85 3.1 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜 起来。有时会让读者对如何实现它们一无所知。此外，太多的资源隐藏在商业课程提供商的付费壁垒后面。 我们着手创建的资源可以：（1）每个人都可以免费获得；（2）提供足够的技术深度，为真正成为一名应用机 器学习科学家提供起步；（3）包括可运行的代码，向读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。 这些目标经常是相互冲突的。公式、定理和引用最好