L1与L2正则化简介

在简单的线性回归模型中，以平方误差为损失函数，则优化目标为：

在样本特征多而样本数量较少的情况下，易陷入过拟合，可通过引入正则化降低过拟合风险，引入L1正则化，则有：

正则化参数$\lambda $>0,上式称为LASSO（Least Absolute Shrinkage and Selection Operator）

引入L2正则化，则有：

正则化参数λ>0,上式称为“岭回归”(Ridge Regression)

差异：L1范数相较于L2更易于获得稀疏解，即求得的w会有更多的零分量。
假设个体x只有两个分量，则w也只有两个分量w1，w2，将其作为两个坐标轴，在下图中绘出第一项的等值线（平方误差项取值相同的点的连线），再分别绘制出L1范数和L2范数的等值线，可发现采用L1范数时平方误差等值线与正则化等值线的交点经常出现在坐标轴上，即w1或w2为0，而采用L2范数时，交点检查出现在象限中，即w1和w2均不为0，故采用L1正则化项更易得到稀疏解。

参考：
周志华. 机器学习 : = Machine learning[M]. 清华大学出版社, 2016.

关于更多正则化内容，可参考
正则化方法：L1和L2 regularization、数据集扩增、dropout
最优化方法：L1和L2正则化regularization