机器学习中的几个常见概念(持续更新中......)
2017-05-25 15:11
309 查看
1、学习率 Learning Rate:学习率决定了权值的更新速度,设置太大会使权值越过最优值,太小会使下降速度过慢,算法长时间不能收敛。靠人为干预调整参数需要不断的调整学习率。
2、梯度下降:一个广泛用来最小化模型误差的参数优化算法。梯度下降通过多次迭代,并在每一步中最小化成本函数来估计模型的参数(weight)。
3、signoid函数:是一个激活函数,当然还有relu/tash等。sigmoid的输出范围在[0, 1]之间,输出稳定,数据在传递过程中不容易扩散。缺点就是饱和的时候,梯度太小。
4、softmax函数:对于多层来讲,输出层就必须是softmax,他是sigmoid的推广。
5、随机森林算法及原理:
随机森林通过反复二分数据进行分类和回归,使计算量大大降低。在变量(列)的使用和数据(行)的使用上随机化,生成很多分类树,再汇总分类的结果。
随机森林是随机建立一个森林,森林里面有由很多决策树组成,各个决策树之间没有任何影响。
实现过程:
<1>原始训练集N,利用bootstrap法有放回的随机抽取样本k。
<2>设有m个变量,每次在节点处随机选择n个变量,然后在m中选择一个具有分类能力的变量,变量的阈值通过检查每一个分类点确定。
<3>每一棵树最大限度的生长,不做任何修剪。
<4>将生成的多棵分类树组成的随机森林,用随机森林分类器对新的数据进行判别和分类,分类的结果按分类器的投票多少而定。
6、逻辑回归算法及原理
2、梯度下降:一个广泛用来最小化模型误差的参数优化算法。梯度下降通过多次迭代,并在每一步中最小化成本函数来估计模型的参数(weight)。
3、signoid函数:是一个激活函数,当然还有relu/tash等。sigmoid的输出范围在[0, 1]之间,输出稳定,数据在传递过程中不容易扩散。缺点就是饱和的时候,梯度太小。
4、softmax函数:对于多层来讲,输出层就必须是softmax,他是sigmoid的推广。
5、随机森林算法及原理:
随机森林通过反复二分数据进行分类和回归,使计算量大大降低。在变量(列)的使用和数据(行)的使用上随机化,生成很多分类树,再汇总分类的结果。
随机森林是随机建立一个森林,森林里面有由很多决策树组成,各个决策树之间没有任何影响。
实现过程:
<1>原始训练集N,利用bootstrap法有放回的随机抽取样本k。
<2>设有m个变量,每次在节点处随机选择n个变量,然后在m中选择一个具有分类能力的变量,变量的阈值通过检查每一个分类点确定。
<3>每一棵树最大限度的生长,不做任何修剪。
<4>将生成的多棵分类树组成的随机森林,用随机森林分类器对新的数据进行判别和分类,分类的结果按分类器的投票多少而定。
6、逻辑回归算法及原理
相关文章推荐
- 机器学习实战项目里面 常出现概念知识点总结(持续更新)
- SQL报表(Report Builder)里面的几个常见问题(持续更新)
- 机器学习面试常见题总结(持续更新)
- 我的vim配置文件.vimrc以及用到的几个插件(持续更新)
- socket的分类和概念持续更新
- 自己祝贺一下访问量突破10000,发几个android的资料介绍(持续更新)
- 代码中常见错误(持续更新)
- Ubuntu常见问题(持续更新) - [技术笔记][zt]
- 假设检验中常见的几个基本概念
- Brew中常见错误管理!(持续维护更新) 推荐
- windows azure常见问题处理及技巧[持续更新]
- oracle 10g 常见问题收藏【持续更新】
- ASP.NET AJAX(Atlas)现存的一些常见问题以及解决方案[持续更新]
- 机器学习的几个概念
- 转几个常用的win7快捷键,权当自己收藏了(持续更新中…)
- Moss/SharePoint 常见问题以及解决方法(持续更新中)
- QA常见面试问题答与问(持续更新)
- Unix C 常见编译错误总结(持续更新)
- 最近整理电脑硬盘,分享几个小巧实用的软件下载,持续更新
- C/C++语言常见陷阱(持续更新)