几种数据规整的方法总结
2010-09-23 16:48
295 查看
1. 归一化
(1)Maximum Normalization 【0,1】 t'_{i} = t_{i} / max(t)
( 2 ) Min-Max Normalization 【0,1】 t'_{i} = ( t_{i} - min(t) ) / ( max(t) - min(t) )
以上两方法适用最大最小值已经确定,且后面不会再出现更大或更小值的情况。
( 3 ) Atan Normalization 【-1,1】 t'_{i} = atan(t_{i})*2/pi
(4)log Normalization 【0,1】 t'_{i} = log_max(t) ( t_{i} ) Note: 要求所有t_{i}>=1
( 5 ) Decimal Scaling 【-1,1】 t'_{i} = t_{i} / 10^{j} 其中,j是让max(|t|)/10^{j}小于1的最小数。
( 6 ) Cosine Normalization 【0,1) t'_{i} = t_{i} / sqrt( t_1^2 + t_2^2 + ... + t_n^2 )
2. 其他规整
(1)Z-socre t'_{i} = t_{i} - E(t) / std(t)
z-score适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
3. TF的规整
(1)上面提到的 Maximum Normalization, Cosine Normalization
( 2 ) Augmented Maximum Normalization t'_{i} = 0.5 + 0.5 * t_{i} / max(t)
( 3 ) Logarithm t'_{i} = 1 + log( t_{i} )
( 4 ) BM25:
|D| 当前文档长度, avgdl平均文档长度, k1一般为1.2, b为0.75
(1)Maximum Normalization 【0,1】 t'_{i} = t_{i} / max(t)
( 2 ) Min-Max Normalization 【0,1】 t'_{i} = ( t_{i} - min(t) ) / ( max(t) - min(t) )
以上两方法适用最大最小值已经确定,且后面不会再出现更大或更小值的情况。
( 3 ) Atan Normalization 【-1,1】 t'_{i} = atan(t_{i})*2/pi
(4)log Normalization 【0,1】 t'_{i} = log_max(t) ( t_{i} ) Note: 要求所有t_{i}>=1
( 5 ) Decimal Scaling 【-1,1】 t'_{i} = t_{i} / 10^{j} 其中,j是让max(|t|)/10^{j}小于1的最小数。
( 6 ) Cosine Normalization 【0,1) t'_{i} = t_{i} / sqrt( t_1^2 + t_2^2 + ... + t_n^2 )
2. 其他规整
(1)Z-socre t'_{i} = t_{i} - E(t) / std(t)
z-score适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
3. TF的规整
(1)上面提到的 Maximum Normalization, Cosine Normalization
( 2 ) Augmented Maximum Normalization t'_{i} = 0.5 + 0.5 * t_{i} / max(t)
( 3 ) Logarithm t'_{i} = 1 + log( t_{i} )
( 4 ) BM25:
|D| 当前文档长度, avgdl平均文档长度, k1一般为1.2, b为0.75
相关文章推荐
- C#中遍历各类数据集合的方法总结+几种Dictionary遍历方法
- 总结C#中窗体间传递数据的几种方法 (由别人的方法整理)
- C#遍历DataSet中数据的几种方法总结
- iPhone开发下载网络数据的几种方法总结
- 总结C#中窗体间传递数据的几种方法
- iPhone开发下载网络数据的几种方法总结
- 总结C#中窗体间传递数据的几种方法 (由别人的方法整理)
- C#遍历DataSet中数据的几种方法总结
- Oracle数据库数据丢失恢复的几种方法总结
- C#遍历DataSet中数据的几种方法总结
- ajax动态获取数据 创建页面的几种方法 今天总结一下 工作中经常会用到
- C#遍历DataSet中数据的几种方法总结
- 总结NHibernate 中删除数据的几种方法
- C#遍历DataSet中数据的几种方法总结
- Android中Activity之间数据传递的几种方法总结
- 总结NHibernate 中删除数据的几种方法
- C# 遍历DataSet中数据的几种方法总结
- C#遍历DataSet中数据的几种方法总结
- 总结一下最近一段时间导出数据到Excel的几种方法
- 总结一下最近一段时间导出数据到Excel的几种方法