全站搜索
首页_赢咖4星辉-官方注册地址
首页_赢咖4星辉-官方注册地址
赢咖4机器学习第2步:数据预处理的L1和L2正则化方法
作者:管理员    发布于:2021-03-11 00:33    文字:【】【】【

  L1正则化起到特征选择的作用,L2正则化能够防止过拟合,最小近邻KNN算法能够揭示特征个数和模型准确率之间的关系,随机森林算法能够实现特征重要性的排序。

  过拟合就是模型考虑的变量太多,导致模型解决新问题的时候不实用,我们可以利用正则化方法,实现对模型复杂性的补偿,解决模型过拟合问题。

  L1正则化是目标函数减去特征系数绝对值之和实现正则化,而L2正则化则是目标函数加上特征系数的平方和实现正则化。

  L1很容易产生特征系数为0的情况,意味着该特征不会对结果有任何影响,因此,L1正则化会让特征变得稀疏,起到特征选择的作用。

  L2正则化则会对特征系数进行一个比例的缩放,不像L1正则化那样减去一个固定值,L2正则化会让系数趋向变小而不会变为0,因此,L2正则化会让模型变得更简单,达到防止过拟合的目的。

  从上图可以看出,如果特征系数w1为0,其实这个特征对于模型预测结果就没有影响了,因此L1正则化使得参与运算的特征减少,从而达到了特征剔除的目的。

  此外,SBS(后向序列选择法)或者KNN(最小近邻法)也能够实现特征选择,揭示特征个数与模型准确度的关系,为确定特征数提供参考,如下图所示:

  在这里,如果选择0.05,那么阈值数为7,可见比阈值0.1的时候多了两个特征。

  L1正则化起到特征选择的作用,L2正则化能够防止过拟合,最小近邻KNN算法能够揭示特征个数和模型准确率之间的关系,随机森林算法能够实现特征重要性的排序。赢咖4赢咖4

相关推荐
  • 赢咖4注册机器学习探索复杂非平衡相变研究获进展
  • 赢咖4机器学习第2步:数据预处理的L1和L2正则化方法
  • 赢咖4注册新机器学习算法确认50颗系外行星
  • 赢咖4注册人工智能的严重问题是“什么”?
  • 赢咖4小心你下载的机器学习工具包可能是病毒:CuPy被掉包官方一天后才发现
  • 赢咖4非线性不仅能帮助机器学习而且是一种强大的特征工程工具
  • 赢咖4注册松下意图收购机器学习公司 Blue Yonder:或花费近 65 亿美元
  • 赢咖4富士康采用谷歌机器学习程序检测不良产品提高智能手机生产效率
  • 赢咖4注册探究机器学习和物联网结合的四大好处
  • 赢咖4娱乐为什么很多机器学习策略会失败
  • 脚注信息
    版权所有 Copyright(C)2020 星辉娱乐
    网站地图|xml地图|友情链接: 百度一下