机器学习课程-温州大学-03机器学习-逻辑回归

• 语言: 中文（简体）
• 格式: .pdf
• 来源: github.com/fengdu78

摘要

文档主要介绍了机器学习中的逻辑回归模型。内容包括分类问题的处理方法、Sigmoid函数的定义与作用、逻辑回归的求解过程及其数学推导、损失函数和代价函数的计算公式，以及逻辑回归模型的代码实现。文档还提到了正则化的适当应用，并介绍了One-vs-All分类方法。

AI总结

### 文档总结

本章主要介绍了逻辑回归的相关内容，包括分类问题、Sigmoid函数、逻辑回归的求解过程以及代码实现。

1. **分类问题**
分类问题是机器学习中的基本任务，通常分为二分类或多分类问题。逻辑回归是一种用于二分类的常用算法，其目标是通过学习输入特征与输出类别之间的关系，预测新的数据点的类别。

2. **Sigmoid函数**
Sigmoid函数（逻辑函数）是一个S形函数，公式为：
$$ g(z) = \frac{1}{1 + e^{-z}} $$
它将任意实数映射到0到1的范围内，常用于将线性回归的输出转化为概率值。当Sigmoid函数的输出大于等于0.5时，预测类别为1；小于0.5时，预测类别为0。

3. **逻辑回归求解**
逻辑回归的损失函数（Log Loss）为：
$$ \mathrm{L}(\hat{y}, y) = -y \log(\hat{y}) - (1 - y) \log(1 - \hat{y}) $$
其中，$\hat{y}$是预测值，$y$是真实值。
代价函数（Cost Function）是对所有样本的损失函数求平均：
$$ J(w) = \frac{1}{m} \sum_{i=1}^{m} \left( -y^{(i)} \log(h(x^{(i)})) - (1 - y^{(i)}) \log(1 - h(x^{(i)})) \right) $$
通过求解代价函数的梯度，可以得到参数更新的公式：
$$ \frac{\partial}{\partial w_j} J(w) = \frac{1}{m} \sum_{i=1}^{m} (h(x^{(i)}) - y^{(i)}) x_j^{(i)} $$
这是逻辑回归优化的核心步骤。

4. **逻辑回归代码实现**
代码实现部分主要涉及Sigmoid函数的定义和代价函数的计算。以下是关键代码示例：

   def sigmoid(z):
       return 1 / (1 + np.exp(-z))

   def cost(w, X, y):
       w = np.matrix(w)
       X = np.matrix(X)
       y = np.matrix(y)
       first = np.multiply(-y, np.log(sigmoid(X * w.T)))
       second = np.multiply((1 - y), np.log(1 - sigmoid(X * w.T)))
       return np.sum(first - second) / len(X)

代码实现了Sigmoid函数和代价函数的计算，为逻辑回归模型的优化提供了基础。

总结来看，逻辑回归通过Sigmoid函数将线性回归的输出转化为概率预测，并通过损失函数和梯度下降方法优化模型参数，最终实现对二分类问题的求解。