/p3_1.jpg)  ## Sigmoid / Logistic $$ f(x)=\sigma(x)=\frac{1}{1+e^{-x}} $$ ## Derivative $$ \begin{aligned}\frac{d} ;\sigma(x)-\sigma(x)^{2}\\\sigma^{\prime}&=&\sigma(1-\sigma)\end{aligned} $$ ### torch.sigmoid ## ☀️ ☁️ ☁️ In [5]: a=torch.linspace(-100,100,10) In [6]: a Out $$ 6 $$ : tensor([-100.0000 7778, -55.5556, -33.3333, -11.1111, 11.1111, 33.3333, 55.5555, 77.7778, 100.0000]) In [7]: torch.sigmoid(a) Out [7]: tensor([0.0000e+00, 1.6655e-34, 7.4564e-25, 3.3382e-15, 1.4945e-05, 9.9999e-01, 1.0000e+00

In [41]: x=torch.randn(1,10) In [48]: w=torch.randn(1,10,requires_grad=True) In [49]: o=torch.sigmoid(x@w.t()) In [50]: o.shape Out[50]: torch.Size([1, 1]) In [51]: loss=F.mse_loss(torch.ones(1,1)

Recap for continuous: $ y = xw + b $ • for probability output: $ y = \sigma(xw + b) $ σ: sigmoid or logistic ## Binary Classification interpret network as $ f: x \rightarrow p(y|x; \theta) $ continuous since the number of correct is not continuous ### Q2. why call logistic regression use sigmoid - Controversial! MSE => regression - Cross Entropy => classification 0.7 0.7 0.3 ## Binary

Regression 经典的分类算法,简单、有效, 目前用到最多的机器学习分类算法之一。 $ \sigma(z) $ 代表一个常用的逻辑函数（logistic function） 为S形函数（Sigmoid function） $$ z=w^{T}x+b\\ 则:\sigma(z)=\frac{1}{1+e^{-z}} $$ 合起来，我们得到逻辑回归模型的假设函数： $$ L\big(\hat{y} t{y}\big) $$  sigmoid 函数 当 $ \sigma(z) $ 大于等于0.5时，预测y=1 当 $ \sigma(z) $ 小于0.5时，预测y=0 ## 逻辑回归 ## 损失函数 $$ L\big(\hat{y}

## 机器学习-逻辑回归 黄海广 副教授 2022年02月 ## 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ### 1. 分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ## 分类问题 ## 监督学习的最主要类型 ## ✓ 分类（Classification） (One-vs-Rest) 一对多 (一对余) ### 2. Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 ### 2. Sigmoid函数 ## Sigmoid 函数 $ \sigma(z) $ 代表一个常用的逻辑函数（logistic function）为S形函数（Sigmoid function） 则： $ \sigma(z 2}x_{2}+\ldots+w_{n}x_{n}+b=w^{\mathrm{T}}x+b, $ 则 b 可以融入到 $ w_{0} $ ，即： $ z=w^{T}x $ ### 2. Sigmoid 函数 线性回归的函数 $ h(x) = z = w^{T}x $ ，范围是 $ (-\infty, +\infty) $ 。 而分类预测结果需要得到 $$ 0,1 $$ 的概率值。

这里的 $ \sigma $ 代表了某个具体的非线性激活函数，如 Sigmoid 函数(图 3.9(a))、ReLU 函数(图 3.9(b))。  (a) Sigmoid函数 \triangleq\frac{1}{1+\mathrm{e}^{-x}} $$ 它的一个优良特性就是能够把 $ x \in R $ 的输入“压缩”到 区间的输出和概率的分布范围 $ [0,1] $ 契合，可以通过 Sigmoid 函数将输出转译为概率输出 ☐ 信号强度 一般可以将 0~1 理解为某种信号的强度，如像素的颜色强度，1 代表当前通道颜色最强，0 代表当前通道无颜色；抑或代表门控值(Gate)的强度，1 代表当前门控全部开放，0 代表门控关闭 Sigmoid 函数连续可导，如图 6.7 所示，可以直接利用梯度下降算法优化网络参数，应用的非常广泛。

2.5 softsign ..... 144 10.2.6 relu ..... 144 10.2.7 tanh ..... 144 10.2.8 sigmoid ..... 144 10.2.9 hard_sigmoid ..... 144 10.2.10 linear ..... 144 10.3 高级激活函数 ..... 145 ## 目录 11 回调函数 Callsbacks model.add(Dense(32, activation='relu', input_dim=100)) model.add(Dense(1, activation='sigmoid')) model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy']) add(Dense(64, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(1, activation='sigmoid')) model.compile(loss='binary_crossentropy', optimizer='rmsprop'

b_{2}^{[1]}\\ b_{3}^{[1]}\\ b_{4}^{[1]}\end{bmatrix}}^{b^{[1]}}\\ \end{aligned} $$ ### 3. 激活函数 Sigmoid函数 $$ a=\sigma(z)=g(z)=\frac{1}{1+e^{-z}} $$ $$ \begin{aligned}\frac{d}{dz}g(z)&=\frac{1 {aligned} $$  sigmoid 函数 当 $ \sigma(z) $ 大于等于0.5时，预测y=1 当 $ \sigma(z) $ 小于0.5时，预测y=0 ### 3. 激活函数 $$ \begin{aligned}&tanh z}g(z)=1-\left(tanh(z)\right)^{2}\end{aligned} $$ tanh函数是sigmoid的向下平移和伸缩后的结果。对它进行了变形后，穿过了 $ (0,0) $ 点，并且值域介于+1和-1之间。 tanh函数是总体上都优于sigmoid函数的激活函数。 ### 3. 激活函数 ## ReLu函数 $$ a=max(0,z) $$ 在输入是负值的

|not|aaron|0|-1.11| |not|taco|0|0.74| 现在我们需要一种方法将这些分数转化为看起来像概率的东西：使用sigmoid函数把概率转换为0和1。 |input word|output word|target|input • output|sigmoid()| |---|---|---|---|---| |not|thou|1|0.2|0.55| |not|aaron|0|-1 ### 3 \.Word2Vec 训练流程 现在我们可以将sigmoid操作的输出视为这些样本的模型输出。您可以看到taco得分最高aaron，并且在sigmoid操作之前和之后仍然具有最低分。既然未经训练的模型已做出预测，并且看到我们有一个实际的目标标签要比较，那么让我们计算模型预测中的误差。为此，我们只从目标标签中减去sigmoid分数 |input word|output word|target|input word|target|input • output|sigmoid()|Error| |---|---|---|---|---|---| |not|thou|1|0.2|0.55|0.45| |not|aaron|0|-1.11|0.25|-0.25| |not|taco|0|0.74|0.68|-0.68| ### 3 \.Word2Vec 训练流程 这是 “机器学习” 的 “学习” 部分。现在，我们可