范数

作者:管理员 发布时间:2021-01-30 09:55

    我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解


范数的分类:
L0范数是指向量中非0的元素的个数;[1,2,3,4,5] 非0个数为5,[0,1,2,0,3]非0 个数为3。

L1范数是指向量中各个元素绝对值之和(曼哈顿距离);[1,2,3,-2,-1] =1+2+3+2+1 =9,为个数字的绝对值的和;L1范数可以进行特征选择,即让特征的系数变为0。

L2范数是指向量各元素的平方和然后求平方根(欧式距离;[1,2,-3]=1^2+2^2+(-3)^2=1+4+9=14,为各个数字的平方和在开方;L2范数可以防止过拟合,提升模型的泛化能力,有助于处理 condition number不好下的矩阵(数据变化很小矩阵求解后结果变化很大)


l1和l2为什么可以减少过拟合。模型复杂就是因为w参数较多,所以模型比较复杂。

w=[w1,w2,w3,w4,w5,....,wn]让其中某些为0,某些不为0,那就是l0范数 ;


下降速度:最小化权值参数L1比L2变化的快

模型空间的限制:L1会产生稀疏 L2不会。

L1会趋向于产生少量的特征,而其他的特征都是0,而L2会选择更多的特征,这些特征都会接近于0。



标签:
Copyright © 2020 万物律动 旗下 AI算法狮 京ICP备20010037号-1
本站内容来源于网络开放内容的收集整理,并且仅供学习交流使用;
如有侵权,请联系删除相关内容;