一.基本原理

利用回归方程（函数）对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式

根据线性代数，我们可以定义方程 xw=y，在线性回归问题中，x是我们的样本数据矩阵，y是我们的期望值向量，也就是说，对于线性回归问题，x 和 y 是已知的，我们要解决的问题是，求取最合适的一个向量 w，使得线性方程组能够尽可能满足样本点的线性分布，之后我们就可以利用求得的w，对新的数据点进行预测

二.优缺点

优点

• 简单，存在解析解，快速

缺点

• 对复杂数据拟合不好，容易欠拟合
• 需要处理异常值，对异常值很敏感

三.适用场景

• 房价预测
• 销售额度预测
• 贷款额度预测
• 自变量和因变量之间存在线性关系
• 低维度，而且每一维之间都没有共线性

四.推导

线性回归模型中参数估计的推导过程

 

五.常见面试题

1.线性回归使用均方误差做损失函数的原理

假设线性回归的预测噪声服从正态分布，可以根据最大似然估计的原理，写出参数分布的似然函数，对其化简后，最大化参数的似然函数等效于最小化均方误差

2.为什么回归任务的损失函数通常是MSE，分类任务的损失函数通常是交叉熵？