LASSO的解法

LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。

1 单变量情形：软阈值法

1.1 软阈值的分类讨论

将$N$个样本的真实值记为$N$维向量$y$，将$N$个样本的自变量记为$z$，假设我们已经将自变量做过标准化，即$z’ \ell_n=0$，$z’z/N=1$，这也意味着在LASSO模型中截距项为$0$。系数$\beta$是要优化的参数，惩罚项参数为$\lambda\gt 0$。

LASSO就是要求解