分类问题
分类问题和回归问题的区别是：分类问题的值域是离散的。
- 线性回归不能应用于分类问题。
- 逻辑回归模型
(此处为一元分类问题)
预测函数：
]
其中：
]
能够使得：
]
预测函数的函数值：
y=0Leftrightarrow h_theta(x)
决策界限
(y=1 or 0) 取决于 (h_theta(x)ge0.5 or h_theta(x) ，此处的 (h_theta(x)=0.5) 即为决策界限。
将其可视化后，表现为线性界限将空间分为不同类型。
决策边界由参数 (theta) 确定。参数 (theta) 使用训练集来拟合。
预测函数使用高阶多项式可以得到非线性决策边界。
拟合
代价函数: (J(theta) = frac{1}{m}Sigma_{i=1}^mcost(h_theta(x),y))
在线性回归问题中，(cost(h_theta(x),y)=frac{1}{2}(h_theta(x)-y)^2)，其中的(h_theta(x))是线性的，因此(cost())函数是凸函数，使用梯度下降即可求得全局最小值。
而在逻辑回归问题中，(h_theta(x)=frac{1}{1+e^{-theta^Tx}})是非线性的，因此(cost())函数不是凸函数，使用梯度下降只能求得局部最小值，无法确认是否是全局最小值。
代价函数
left{
begin{array}{lr}
-log(h_theta(x))qquad quad y=1 \
-log(1-h_theta(x)) quad y=0
end{array}
right.
]
这个函数取自统计学中的极大似然法
对于(y=1)的情况来说：
- 如果(xrightarrow1)，那么表示猜测效果好，代价很低，(costrightarrow0).
- 如果(xrightarrow0)，那么表示猜测效果很差，代价很高，趋近于(infty)，以此来“惩罚”算法。
由于(y)的取值只有0和1两种情况，可以考虑合并：
]
- 代价函数：
begin{aligned}
J(theta) &= frac{1}{m}Sigma_{i=1}^mCost(h_theta(x^{(i)}),y^{(i)})\
&= -frac{1}{m}[Sigma_{i=1}^my^{(i)}log h_theta(x^{(i)})+(1-y^{(i)})log(1-h_theta(x^{(i)})]
end{aligned}
end{equation}
]
-
目标：求解使得(mathop{min}limits_theta J(theta))的 (theta).
-
求解方法：使用梯度下降迭代 (theta)，使其不断趋近于最小值点。
多类别分类问题
-
多类别分类问题可以分解为“一对余”方法。
-
将 (n) 类别分类问题，分解为 (k) 个二元分类问题，得到 (k) 个预测模型 (h_theta^{(i)}(x)=p(y=i | x; theta))，其中： (i=(1,2,3,…,k)) .
-
最终预测：
- 在 (k) 个预测模型中输入 (x)；
- 选择一个使得 (h_theta^{(i)}(x))最大的 (i) ;
- 则 (h_theta^{(i)}(x)) 为最终的预测结果。
机房租用，北京机房托管，大带宽租用，IDC机房服务器主机租用托管-价格及服务咨询 www.e1idc.net
