您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

机器学习里面线性回归为什么不能做分类任务？

线性,结果,变量机器学习里面线性回归为什么不能做分类任务？

发布时间：2020-12-06加入收藏来源：互联网点击：

机器学习里面线性回归为什么不能做分类任务？

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

1.线性回归的假设

线性回归模型是基于输出的结果Y是连续的、除去协变量X1,..,Xp带来的均值系统方差后，误差服从正态分布这一假设上的。如果输出变量是二元的，明显违反了这一假设，由此我么一般认为这样的结论是无效的。

实际上就算是二元的，结果也不会特别坏。虽然如果结果是二元的，条件正态的假设不再成立，但是如果假定形式里的结果的期待值是正确地基于协变量的，比如E(Y|X1,..,Xp)是正确的，线性回归的参数估计是无偏的。但是我们基于结果正态的假设而计算出的标准误（standard errors）和置信区间会因此无效。

2.条件方差不能保持不变

二元数据的方差是均值的函数，尤其是当均值变化时，方差也随之变化。这违反了标准线性回归的假设：残差的方差是不变的。

3.预测值可能会超出范围

二元结果结果的均值等同于出现‘1’的概率。如果我们使用线性回归来对二元结果建模，有很大的几率我们得到的拟合回归将会对个别值给出超出(0,1)范围的结果。

4.一致性连接可能会出错

当结果是二元时如果出现拟合值超出(0,1)范围的情况，实际上是一个征兆，预示着对线性回归的“结果是协变量影响的附加线性组合”的假设不再正确，尤其是当我们只有一个连续的协变量时。这意味着对E(Y|X1,..,Xp) 是如何基于协变量的已建立模型不再正确。这一点的表现是模型预测的自我校准能力很弱，比如在不同的协变量值的组合中对1的预测概率会过高或过低。 相反的是，在逻辑回归中使用的效用函数中，任何线性预测值会被转换为有效的(0,1)的预测概率。虽然在效用规模(logit scale)上并不是所有协变量效用都是线性的，但是使用效用函数的得到的结果明显比单单用“均值是协变量与它们各自的系数相乘的线性组合”这样的假设更有说服力。




总的来说，虽然会有用线性回归对二元结果建模并且结果不是特别差的情况，但一般来说这不是一个好的办法。本质上这是在用错误的工具进行作业。