吴恩达机器学习笔记-分类问题陈述

之前的文章中我们讨论过关于线性回归的问题,现在我们来学习一下,当预测的变量y为离散值时候的分类问题。

分类

下面给出几个分类的例子:

  • 邮件: 垃圾邮件、非垃圾邮件;
  • 在线交易: 欺诈、非欺诈;
  • 肿瘤: 良性(不是恶性)、恶性

很显然这几个例子的结果只有两个,是或者不是。那么我们可以假设结果y\in{0,1}。这里的0我们可以当做非xx的类型,比如良性肿瘤,而1则可以当做是确认的分类,比如是恶性肿瘤。当然经常我们遇到的分类问题可能不止是或否两种结果,可能y\in{0,1,2,3}

接下来我们来用肿瘤是否恶性的例子来看看分类问题,比如下图:

图中的叉号就是我们的数据样本,横轴为肿瘤大小,纵轴为是否为恶性肿瘤。如果用我们之前学习的线性回归方程,则可以假设h_\theta(x) = \theta^Tx。可以得出图中的倾斜的斜率高一点的那一条直线。为了更好的做出预测,我们可以设定当h_\theta(x)>=0.5时,认为y=1,当h_\theta(x)<0.5时,认为y=0,如此看来,假设我们在x轴正方向远处还有一点如图中所示,我们的假设函数也是满足实际情况。但如果我们的假设函数设置的如图中斜率偏低的那一条呢。很显然和数据集中的数据发生了误差。所以线性回归在分类问题中并不是最适合的方法,而且如果使用线性回归,我们得出的h_\theta(x)是可以大于1或者小于0。而接下来要讨论的logistic分类算法的值域大小是在[0,1]之间的。

假设函数

在线性回归中,我们的假设函数公式是h_\theta(x) = \theta^Tx,那么在分类问题中,我们定义h_\theta(x) = g(\theta^Tx),这里的函数g的定义为g(z)=\frac{1}{1-e^{-z}},z=\theta^Tx,则

h_\theta(x) = \frac{1}{1-e^{-\theta^Tx}}
这个函数被称作S型函数(Sigmoid function)或逻辑函数(Logistic function)。函数的图像如下图所示:

横轴为z,纵轴为g(z)。显然当z趋向于正无穷时,g(z)趋向于1,z趋向于负无穷时,g(z)趋向于0。图像在(0,0.5)点于纵轴相交。我们现在要做的依然是选择合适的参数\theta来拟合数据。
这里我们将h_\theta(x)的输出假设为当输入为x时,y=1时的概率。从概率上的角度来描述可以表达为h_\theta(x) = P(y=1|x;\theta)。因此我们可以得到如下公式:
P(y=1|x;\theta) + P(y=0|x;\theta) = 1 \\ P(y=1|x;\theta) = 1 - P(y=0|x;\theta)

决策边界(decision boundary)

上述我们说过,可以假设当h_\theta(x)>=0.5时,认为y=1,当h_\theta(x)<0.5时,认为y=0。根据逻辑函数的图像,我们得知,当z>0时,h_\theta(x)>=0.5,则\theta^Tx>=0,同样的h_\theta(x)<0.5\theta^Tx<0
这里可以举一个例子,假设h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2)中的\theta_0,\theta_1,\theta_2分别等于-3,1,1。则\theta = \begin{bmatrix} -3\\ 1 \\ 1 \end{bmatrix},那么y=1时,即代表h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2) >= 0.5,即\theta^Tx = -3+x_1+x_2>=0,相反y=0时,\theta^Tx = -3+x_1+x_2<0,那么我们可以得出这两个不等式的分界线即x_1+x_2=3

在这条直线的上方代表y=1的部分,下方则代表y=0的部分,而这条直线就被称作决策边界。
下面再继续看一个复杂点的例子,这里额外添加两个特征x_1^2,x_2^2h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2\theta_3x_1^2+\theta_4x_2^2)。假定\theta = \begin{bmatrix} -1\\ 0 \\ 0 \\ 1 \\ 1 \end{bmatrix},则可得出若-1+x_1^2+x_2^2>=0,则y=1,若-1+x_1^2+x_2^2<0,则y=0,那么显然,这里的决策边界的图像是x_1^2+x_2^2 = 1

当然随着假设函数的复杂程度变化,决策边界也会各有不同。后面我们将会学习如何自动选择参数\theta,使我们能在给定一个训练集时,根据数据自动拟合参数。

以上,为吴恩达机器学习第三周分类和逻辑回归模型部分笔记。

点赞

发表评论

%d 博主赞过: