$$

$$

标准最小二乘法优化问题:

$f(w) = \sum_{i=1}^{m} (y_i - x_{i}^{T}w)^2$

也可以通过矩阵表示:

$f(w) = (y - Xw)^{T}(y - Xw)$

得到的回归系数为:

$\hat{w} = (X^{T}X)^{-1}X^{T}y$

这个问题解存在且唯一的条件就是XX列满秩: $rank(X) = dim(X)$ .

即使 X 列满秩，但是当数据特征中存在共线性，即相关性比较大的时候，会使得标准最小二乘求解不稳定, $X^TX$ 的行列式接近零，计算 $X^TX$的时候误差会很大。这个时候我们需要在cost function上添加一个惩罚项 $\lambda\sum_{i=1}^{n}w_{i}^2$ ，称为L2正则化。

这个时候的cost function的形式就为:

$f(w) = \sum_{i=1}^{m} (y_i - x_{i}^{T}w)^2 + \lambda\sum_{i=1}^{n}w_{i}^{2}$

• When $\lambda = 0$, then it is OLS
• When $\lambda = \infty$, then it is biased, as all coefficients are 0

• If we got very large $p$, the predicting varaibles, the solution to the linear regression may not be unique. But it still works, by trading off a small increase in bias for a large decrease in variance.