Hadoop好友推荐系统-寻找最佳DC

项目总目录：基于Hadoop的好友推荐系统项目综述

一、寻找最佳DC

1、前端展示

jsp页面

<div style="padding-left: 30px;font-size: 20px;padding-top:10px;">
<table>
<tr>
<td><label for="name">输入路径:</label>
</td>
<td><input class="easyui-validatebox" type="text"
id="findbestdc_input_id" data-options="required:true" style="width:300px"
value="/user/root/_filter/caldistance" /></td>

</tr>

<tr>
<td><label for="name">输入记录数:</label>
</td>
<td><input class="easyui-validatebox" type="text"
id="findbestdc_record_id" data-options="required:true" style="width:300px"
value="0" /></td>
<td><label for="name">如果已经运行了距离计算MR，可以不用设置此值</label></td>

</tr>

<tr>
<td><label for="name">阈值百分比:</label>
</td>
<td><input class="easyui-validatebox" type="text"
id="findbestdc_delta_id" data-options="required:true" style="width:300px"
value="2%" /></td>

</tr>
<tr>
<td></td>
<td><a id="findbestdc_submit_id" href="" class="easyui-linkbutton"
data-options="iconCls:'icon-door_in'">定位最佳DC</a></td>
</tr>

</table>
</div>

<div id="dc_return_id" style="padding-left: 30px;font-size: 20px;padding-top:10px;"></div>

jsp页面需要设置文件输入路径（默认就是距离计算任务的输出路径）、输入记录数（可以手工设置，如果运行过距离计算任务，则该值以保存在后台中，不需要手动设置）、阈值百分比（默认2%）。

js逻辑

//findbestdc_submit_id 找到最佳阈值
$('#findbestdc_submit_id').bind('click', function(){
var input_=$('#findbestdc_input_id').val();
var delta_=$('#findbestdc_delta_id').val();
var record_=$('#findbestdc_record_id').val();
// 弹出进度框
popupProgressbar('请等待','寻找最佳阈值DC中...',1000);
// ajax 异步提交任务
callByAJaxLocal_findbestdc('cloud/cloud_findbestdc.action',{input:input_,delta:delta_,record:record_});
});

这里使用callByAJaxLocal_findbestdc方法实现任务提交，其定义如下：如果任务执行成功，它将后台返回数据中的dc写入到前端的相应位置。

function callByAJaxLocal_findbestdc(url,data_){
$.ajax({
url : url,
data: data_,
async:true,
dataType:"json",
context : document.body,
success : function(data) {
//          $.messager.progress('close');
closeProgressbar();
console.info("data.flag:"+data.flag);
var retMsg;
if("true"==data.flag){
retMsg='操作成功！DC阈值为：'+data.dc;
$('#dc_return_id').html("推荐DC阈值为："+data.dc);//将结果写入前端页面
}else{
retMsg='操作失败！失败原因：'+data.msg;
}
$.messager.show({
title : '提示',
msg : retMsg
});

}
});
}

后台逻辑

action层

对应的action从这里获取：callByAJaxLocal_findbestdc(‘cloud/cloud_findbestdc.action’,）

/**
* 遍历向量距离文件，寻找最佳阈值
*/
public void findbestdc(){
double dc=0.0;
Map<String,Object> map = new HashMap<String,Object>();
int recordInt = Integer.parseInt(record);
if(HUtils.INPUT_RECORDS==0&&recordInt!=0){
HUtils.INPUT_RECORDS=recordInt;
}
try{
if(HUtils.INPUT_RECORDS==0){
map.put("flag", "false");
map.put("msg", "请先运行计算距离MR任务，或者设置任务运行后的记录数!");
Utils.write2PrintWriter(JSON.toJSONString(map));
return ;
}
dc=HUtils.findInitDC(Double.parseDouble(delta.substring(0, delta.length()-1))/100, input,
HUtils.INPUT_RECORDS);
//前端传过来的delta是字符串"2%"，substring(0, delta.length()-1))截取的就是"2"，然后转为double除以100即可。
//public String substring(int beginIndex, int endIndex)返回一个新字符串，
//它是此字符串的一个子字符串。该子字符串从指定的 beginIndex 处开始，直到索引 endIndex - 1 处的字符。因此，该子字符串的长度为 endIndex-beginIndex。
}catch(Exception e){
e.printStackTrace();
map.put("flag", "false");
map.put("msg", e.getMessage());
Utils.write2PrintWriter(JSON.toJSONString(map));
return ;
}
map.put("flag", "true");
map.put("dc", dc);
Utils.simpleLog(JSON.toJSONString(map));
Utils.write2PrintWriter(JSON.toJSONString(map));
return;
}

其中的关键语句是

dc=HUtils.findInitDC(Double.parseDouble(delta.substring(0, delta.length()-1))/100, input,
HUtils.INPUT_RECORDS);

寻找最佳DC

HUtils.findInitDC的定义如下：

/**
* 根据给定的阈值百分比返回阈值，输入参数为阀值百分比、输入路径和总记录数
* 因为距离计算的MapReduce任务输出文件自动按照用户间的距离从小到大排序，所以计算阀值只需截取操作即可。
* @param percent
*            一般为1~2%
* @return
*/
public static double findInitDC(double percent, String path,long iNPUT_RECORDS2) {
Path input = null;
if (path == null) {
input = new Path(HUtils.getHDFSPath(HUtils.FILTER_CALDISTANCE
+ "/part-r-00000"));
} else {
input = new Path(HUtils.getHDFSPath(path + "/part-r-00000"));//初始化输入路径
}
Configuration conf = HUtils.getConf();
SequenceFile.Reader reader = null;
long counter = 0;
long percent_ = (long) (percent * iNPUT_RECORDS2);//计算截取的下标值（按前2%计算）
try {
reader = new SequenceFile.Reader(conf, Reader.file(input),
Reader.bufferSize(4096), Reader.start(0));
DoubleWritable dkey = (DoubleWritable) ReflectionUtils.newInstance(
reader.getKeyClass(), conf);
Writable dvalue = (Writable) ReflectionUtils.newInstance(
reader.getValueClass(), conf);
while (reader.next(dkey, dvalue)) {// 从小到大依次遍历距离结果文件
counter++;
if(counter%1000==0){//每1000个数据输出一个log
Utils.simpleLog("读取了"+counter+"条记录。。。");
}
if (counter >= percent_) {//遍历到了阀值下标处
HUtils.DELTA_DC = dkey.get();// 赋予最佳DC阈值
break;
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
IOUtils.closeStream(reader);
}
return HUtils.DELTA_DC;//返回最佳DC的值
}

二、程序运行截图

这里的阀值百分比需要人为设置，这个值将影响DC值得选取，从而影响整个分类算法的准确性，需要经过多次尝试才能得出最佳的阀值百分比。关于该值的如何选取尚未有相关研究，在新型算法的论文中也提到这个值是个经验选取值，推荐在1%-2%，但是有时候得到的分类情况并不理想。