机器学习Tips(待补充)
2015-05-25 18:53
246 查看
Tips
一、样本
1.控制样本数
原因:所有样本一起输入,慢且不准:模型复杂时,样本数不足,导致variance不好
方法:随机打散样本 e.g.10000个样本=>100一组,跑完一次全部样本=1个epoch,每6-8个epoch学习率*0.9
2.令样本期望=0,加快收敛
方法:每个样本 - 样本均值
二、各参数初始化
1.学习率α
α = 0.001~0.01
2.正则化参数λ
λ < 1, 在保持效果的前提下,选用大的λ ,可防止过拟合
3.根据loss修改参数
目标:loss随迭代而变小
注:正则化后,loss一定会变大
A.loss不变
a.α过小
b.λ 过大
B.loss抖动
α过大
C.NaN数据溢出错误
a.初始化选用样本时,方差过大。e.g.选择高斯分布
b.α过大
三、不同机器学习方法Tips
1.神经网络
e.g.1个隐含层(100个隐含节点)
if 多层 then 易过拟合(注:神经网络不可避免过拟合,只需保证在一定限度内控制过拟合即可)
注:消除过拟合方法:a. λ *(参数)^2 b.每次置若干个隐含节点=0
一、样本
1.控制样本数
原因:所有样本一起输入,慢且不准:模型复杂时,样本数不足,导致variance不好
方法:随机打散样本 e.g.10000个样本=>100一组,跑完一次全部样本=1个epoch,每6-8个epoch学习率*0.9
2.令样本期望=0,加快收敛
方法:每个样本 - 样本均值
二、各参数初始化
1.学习率α
α = 0.001~0.01
2.正则化参数λ
λ < 1, 在保持效果的前提下,选用大的λ ,可防止过拟合
3.根据loss修改参数
目标:loss随迭代而变小
注:正则化后,loss一定会变大
A.loss不变
a.α过小
b.λ 过大
B.loss抖动
α过大
C.NaN数据溢出错误
a.初始化选用样本时,方差过大。e.g.选择高斯分布
b.α过大
三、不同机器学习方法Tips
1.神经网络
e.g.1个隐含层(100个隐含节点)
if 多层 then 易过拟合(注:神经网络不可避免过拟合,只需保证在一定限度内控制过拟合即可)
注:消除过拟合方法:a. λ *(参数)^2 b.每次置若干个隐含节点=0
相关文章推荐
- 机器学习Tips(待补充)
- Android 小 tips 合集 (不断补充)
- coursera_机器学习_吴恩达_week3(补充)
- 系统学习机器学习之随机场(四)--CRF++源码L-BFGS算法补充
- 机器学习-coursera-exercise6-SVM-还待补充。。。
- 吴恩达 机器学习 笔记 some tips on applying machine Learning
- 关于机器学习中的一些常用方法的补充
- 机器学习面试知识点总结(不断补充中)
- 机器学习资料整理(欢迎补充)
- 机器学习基石笔记(12-16)——Nonlinear Transformation&Tips
- Ng机器学习系列补充:2、分类和回归树算法CART
- 机器学习面试知识点总结(不断补充中)
- 机器学习实践tips
- 《机器学习》周志华 读书笔记二补充(原创)
- Ng机器学习系列补充:7、神经网络反向传播BP算法(Back Propagation)
- 吴恩达2014机器学习TIPS记录(第一周至第六周)
- 机器学习之决策树(待补充)
- 人工智能和机器学习(深度学习)链接(了解补充)
- 机器学习中的数学(慢慢补充)
- 机器学习 李宏毅 L18-Tips for Training DNN