线性回归、LASSO回归、岭回归、范数(正则化)

2019/7/24 17:31:33 人评论 次浏览 分类:学习教程

回归和分类的区别:
回归的输出是连续的(如房价,身高);
分类的输出是离散的(是猫0还是狗1)。

线性回归

线性回归:

  • 假设函数
    在这里插入图片描述
  • 损失(loss)函数:
    在这里插入图片描述
  • 目标函数:最小化损失函数。
    反向传播推导:
    在这里插入图片描述

正则化

正则化是一种常见的防止过拟合的方法,做法是在损失函数后面添加对参数的约束项(正则化项)。在线性回归中,有两种不同的正则化项。

范数

在这里插入图片描述

LASSO回归

添加L1范数,添加上所有参数的绝对值之和,被称为LASSO回归。
在这里插入图片描述

岭回归

添加L2范数的平方,添加上所有参数的平方和,被称为岭回归。
在这里插入图片描述
LP范数,添加所有参数绝对值的P次方之和再开P次方根。
在这里插入图片描述
p取值范围[0,+∞) ,
L0范数表示非零数据的个数;
L+∞范数表示数据中的最大值;
L-∞ 范数表示数据中的最小值。

L1正则化具有稀疏性

由公式进行,反向传播求偏导可以解释。
在这里插入图片描述
在这里插入图片描述
从上述推导公式可以看出W1每次迭代更新都可能固定减去0.5,这样将会使W1最终有可能减到0。权重减到0,参数变少变稀疏。

L1正则化产生平滑的权值

同样由公式推导得到:
在这里插入图片描述
从上述推导公式可以看出W1每次迭代更新都减去本身的一半,W1最终会无限接近于0,但不会是0,并且具有平滑的作用。

相关资讯

  • 那些我们不愿意承认的事

    很久没有见的老朋友,准确的说应该是很久没有见过的老师,一个比我大两岁的老师,我上初中的时候他从高中回来教我了一年。后来又回去上高中,我上高中的时候他上大学,现在我刚大学毕业他创办了公司。昨日一见依然如故,他还是热爱销售,而我却成了纯粹的技术人员。 看到他…

    2015/6/22 13:12:47

学习教程

共有访客发表了评论 网友评论

验证码: 看不清楚?
    -->