Mahout in Action 读书笔记chapter5 让推荐程序实用化

到了这一章就是真刀实枪的开始了。这是一个约会网站，首先需要下载

http://www.occamslab.com/petricek/data/libimseti-complete.zip ：

这个里面包含了用户对其他人档案的评分，针对评分那个文件，事先经历了数据的预处理：提出了生成评分个数不到20个的用户，还排除了几乎对每个档案都给出相同分值的用户，因为这有可能是垃圾信息和不严肃的评分。
还有个文件是表示用户的性别，其中U是代表为知。书中说了句：把女性推荐给一个仅对男性感兴趣的用户，这必然是一个糟糕的推荐，而且会冒犯用户，反之一样。

​1.找到一个有效的推荐程序

根据前一章的内容，首先我们要找到合适的推荐程序，这里尝试了基于用户的推荐，基于物品的推荐，对几种相似度度量的标准都一一进行了评测，根据评测出来的结果来选择合适的相似度度量方式。

1.1基于用户的推荐程序

n=	1	2	4	8	16	32	64	128
Euclidean	1.17	1.12	1.23	1.25	1.25	1.33	1.33	1.48
Pearson	1.30	1.19	1.27	1.30	1.26	1.35	1.38	1.47
Log-likelihood	1.33	1.38	1.33	1.35	1.33	1.29	1.33	1.49
Tanimoto	1.32	1.33	1.43	1.32	1.30	1.39	1.37	1.41

n=	0.95	0.9	0.85	0.8	0.75	0.7
Euclidean	1.33	1.37	1.39	1.43	1.41	1.47
Pearson	1.47	1.4	1.42	1.4	1.38	1.37
Log-likelihood	1.37	1.46	1.56	1.52	1.51	1.43
Tanimoto	Nan	Nan	Nan	Nan	Nan	Nan

上图是分别是基于n个最近邻和基于阈值的评测结果。

1.2基于物品的推荐程序

	Score
Euclidean	2.36
Pearson	2.32
Log-likelihood	2.38
Tanimoto	2.40

上图是基于物品推荐的结果。

1.3关于precision和recall

上面的谷本系数和对数似然比是无法进行评价的，因为这个无法得到评价值，只能进行precision和recall的计算。而且这里还有个很重要的问题，我们现在是采用的用户对物品打分的机制，但是用户不一定只对打分高的感兴趣。这种约会网站，更重要的不是仅仅推荐打分高的，因此这里我们可以采用布尔型来做推荐，书中接下来也是采用了布尔型，发现准确率和召回率高了很多。

2.引入特定域的信息

接下来会引入一个性别这个信息，基于性别可以定制一个ItemSimilarity这个度量，目的是避免推荐性别不当的用户。

2.1采用一个定制的物品相似性度量

下面代码是一个基于性别的物品相似度度量，书中说这个ItemSimilarity可以和标准的GenericItemBasedRecommender一起使用，进行评估。关于这点我并没有找到一起使用的方法，这里可以大致说下：

常见的是这个语句：

[code]ItemSimilarity similarity = new PearsonCorrelationSimilarity(model);

[/code]

现在我们的GenderItemSimilarity继承ItemSimilarity接口，如果要使用GenderItemSimilarity，需要将

PearsonCorrelationSimilarity替换掉，GenderItemSimilarity里面最主要的方法是：

[code]public double[] itemSimilarities(long itemID1, long[] itemID2s) throws TasteException

[/code]

我去查看了下PearsonCorrelationSimilarity父类，关系如下：

[code]public final class PearsonCorrelationSimilarity extends AbstractSimilarity

abstract class AbstractSimilarity extends AbstractItemSimilarity implements UserSimilarity

public interface UserSimilarity extends Refreshable

[/code]

其中最主要的是AbstractSimilarity，其中Gender里面的很多方法，其中AbstractSimilarity都有所记载，但是我直接用GenderItemSimilarity继承AbstractSimilarity，也出了很多问题。继承AbstractSimilarity的原因很简单就是为了实现GenderItemSimilarity(model)，这里出现这么多问题，以后再看吧。

下面是GenderItemSimilarity的代码：

[code]import java.util.Collection;

import org.apache.mahout.cf.taste.common.Refreshable;

import org.apache.mahout.cf.taste.common.TasteException;

import org.apache.mahout.cf.taste.impl.common.FastIDSet;

import org.apache.mahout.cf.taste.similarity.ItemSimilarity;

public class GenderItemSimilarity  implements ItemSimilarity  {

private final FastIDSet men;

private final FastIDSet women;

//给men和women集合赋初值

public GenderItemSimilarity(FastIDSet men, FastIDSet women) {

this.men = men;

this.women = women;

}

//判断两个ID是否同一性别

public double itemSimilarity(long profileID1, long profileID2) throws TasteException {

Boolean profile1IsMan = isMan(profileID1);

if (profile1IsMan == null) {

return 0.0;

}

Boolean profile2IsMan = isMan(profileID2);

if (profile2IsMan == null) {

return 0.0;

}

return profile1IsMan == profile2IsMan ? 1.0 : -1.0;

}

//判断是否是男性

private Boolean isMan(long profileID) {

if (men.contains(profileID)) {

return Boolean.TRUE;

}

if (women.contains(profileID)) {

return Boolean.FALSE;

}

return null;

}

//计算相似度的，调用方法itemSimilarity(long profileID1, long profileID2)

public double[] itemSimilarities(long itemID1, long[] itemID2s) throws TasteException{

double[] result = new double[itemID2s.length];

for (int i = 0; i < itemID2s.length; i++) {

result[i] = itemSimilarity(itemID1, itemID2s[i]);

}

return result;

}

public long[] allSimilarItemIDs(long l) throws TasteException {

throw new UnsupportedOperationException("Not supported yet.");

}

public void refresh(Collection<Refreshable> clctn) {

throw new UnsupportedOperationException("Not supported yet.");

}

}

[/code]

2.2利用IDRescorer修改推荐结果

在Recommender.recommend()方法中有一个类型为IDRescorer的用final修饰的可选参数，在这里可以调用recommend(long userID,int howMany,IDRescorer rescorer)，IDRescorer这里是一个接口，里面有两个方法，

[code]double rescore(long id, double originalScore);

boolean isFiltered(long id);

[/code]

一个是用来重新打分，一个是用来过滤的。下面给出书中代码:

[code]import java.io.File;

import java.io.IOException;

import org.apache.mahout.cf.taste.common.TasteException;

import org.apache.mahout.cf.taste.impl.common.FastIDSet;

import org.apache.mahout.cf.taste.model.DataModel;

import org.apache.mahout.cf.taste.model.PreferenceArray;

import org.apache.mahout.cf.taste.recommender.IDRescorer;

import org.apache.mahout.common.iterator.FileLineIterable;

public class GenderRescorer implements IDRescorer {

private final FastIDSet men;//存放当前数据模型对应的所有male selectableUser

private final FastIDSet women;//存放当前数据模型对应的所有female selectableUser

private final FastIDSet usersRateMoreMen;//

private final FastIDSet usersRateLessMen;

private final boolean likeMen;//表明针对一个用户（userID定义）一个profileID是否应该过滤

public GenderRescorer(

FastIDSet men,

FastIDSet women,

long userID, DataModel model)

throws TasteException {

this.men = men;

this.women = women;

this.usersRateMoreMen = new FastIDSet();

this.usersRateLessMen = new FastIDSet();

this.likeMen = ratesMoreMen(userID, model);

}

//产生数据对应的men和women集合

public static FastIDSet[] generateMenWomen(File genderFile)

throws IOException {

FastIDSet men = new FastIDSet(50000);

FastIDSet women = new FastIDSet(50000);

for (String line : new FileLineIterable(genderFile)) {

int comma = line.indexOf(',');

char gender = line.charAt(comma + 1);

if (gender == 'U') {

continue;

}

long profileID = Long.parseLong(line.substring(0, comma));

if (gender == 'M') {

men.add(profileID);

}else {

women.add(profileID);

}

}

men.rehash();

women.rehash();

return new FastIDSet[]{men, women};

}

//判断userID对应的用户是不是更喜欢男性，从他/她评过分的那些用户的性别来统计

private boolean ratesMoreMen(long userID, DataModel model)

throws TasteException {

if (usersRateMoreMen.contains(userID)) {

return true;

}

if (usersRateLessMen.contains(userID)) {

return false;

}

PreferenceArray prefs = model.getPreferencesFromUser(userID);

int menCount = 0;

int womenCount = 0;

for (int i = 0; i < prefs.length(); i++) {

long profileID = prefs.get(i).getItemID();

if (men.contains(profileID)) {

menCount++;

}else if (women.contains(profileID)) {

womenCount++;

}

}

boolean ratesMoreMen = menCount > womenCount;

if (ratesMoreMen) {

usersRateMoreMen.add(userID);

}else {

usersRateLessMen.add(userID);

}

return ratesMoreMen;

}

//对于需要过滤的推荐，设置其值为NaN，这是因为他们不是不能推荐的，而是最差的推荐

public double rescore(long profileID, double originalScore) {

if(originalScore<100)

System.out.println(profileID+" "+originalScore);

return isFiltered(profileID) ? Double.NaN : originalScore;

}

//如果一个用户是喜欢男性的，而推荐的又是女性，则这个推荐是应该过滤掉的，反之亦然

public boolean isFiltered(long profileID) {

return likeMen ? women.contains(profileID) : men.contains(profileID);

}

}

[/code]

2.3封装一个定制的推荐系统

下面是封装前面IDRescorer的推荐系统，当然也可以载入自己定义的IDRescorer，代码还是很简单，调用很方便。到时候直接调用即可

[code]public List<RecommendedItem> recommend(long userID, int topN)

[/code]

[code]import java.io.File;

import java.io.IOException;

import java.util.Collection;

import java.util.List;

import org.apache.mahout.cf.taste.common.Refreshable;

import org.apache.mahout.cf.taste.common.TasteException;

import org.apache.mahout.cf.taste.impl.common.FastIDSet;

import org.apache.mahout.cf.taste.impl.model.file.FileDataModel;

import org.apache.mahout.cf.taste.impl.neighborhood.NearestNUserNeighborhood;

import org.apache.mahout.cf.taste.impl.recommender.GenericUserBasedRecommender;

import org.apache.mahout.cf.taste.impl.similarity.EuclideanDistanceSimilarity;

import org.apache.mahout.cf.taste.model.DataModel;

import org.apache.mahout.cf.taste.neighborhood.UserNeighborhood;

import org.apache.mahout.cf.taste.recommender.IDRescorer;

import org.apache.mahout.cf.taste.recommender.RecommendedItem;

import org.apache.mahout.cf.taste.recommender.Recommender;

import org.apache.mahout.cf.taste.similarity.UserSimilarity;

public class LibimsetiRecommender implements Recommender {

private final Recommender libimsetiRecommender;

private final DataModel model;

private final FastIDSet men;

private final FastIDSet women;

//构造函数：一般而言，一个普适的自定义推荐器的输入应该是：DataModel和额外的知识

//应该将独立于数据的东西构建好：基本的pure CF推荐器

public LibimsetiRecommender() throws TasteException, IOException {

this((DataModel) new FileDataModel(new File("/Users/ericxk/Downloads/recommenderdata/libimseti/ratings.dat")));

}

//应该将独立于数据的东西构建好：基本的pure CF推荐器,即将libimsetiRecommender设为pure CF

public LibimsetiRecommender(DataModel model) throws TasteException, IOException {

UserSimilarity similarity = new EuclideanDistanceSimilarity(model);

UserNeighborhood neighborhood =

new NearestNUserNeighborhood(2, similarity, model);

libimsetiRecommender = new GenericUserBasedRecommender(model, neighborhood, similarity);

this.model = model;

FastIDSet[] menWomen = GenderRescorer.generateMenWomen(

new File(("/Users/ericxk/Downloads/recommenderdata/libimseti/gender.dat")));

men = menWomen[0];

women = menWomen[1];

}

//用libimsetiRecommender进行推荐时就加入了由gender信息定义的GenderRescorer

public List<RecommendedItem> recommend(long userID, int topN) throws TasteException {

IDRescorer rescorer = new GenderRescorer(men, women, userID, model);

return libimsetiRecommender.recommend(userID, topN, rescorer);

}

//用libimsetiRecommender也提供了自定义IDRescorer进行推荐的方法

public List<RecommendedItem> recommend(long userID, int topN, IDRescorer idr) throws TasteException {

return libimsetiRecommender.recommend(userID, topN, idr);

}

//这里要注意，由于libimsetiRecommender真正进行preference的估计是要受到GenderRescorer的rescore的影响的

public float estimatePreference(long userID, long itemID) throws TasteException {

 IDRescorer rescorer = new GenderRescorer(men, women, userID, model); 

return (float) rescorer.rescore(

itemID, libimsetiRecommender.estimatePreference(userID, itemID));

}

//这个可以直接借助于libimsetiRecommender的setPreference

public void setPreference(long userID, long itemID, float value) throws TasteException {

libimsetiRecommender.setPreference(userID, itemID, value);

}

//这个可以直接借助于libimsetiRecommender的removePreference

public void removePreference(long userID, long itemID) throws TasteException {

libimsetiRecommender.removePreference(userID, itemID);

}

//这个可以直接借助于libimsetiRecommender的getDataModel

public DataModel getDataModel() {

return libimsetiRecommender.getDataModel();

}

//这个可以直接借助于libimsetiRecommender的refresh

public void refresh(Collection<Refreshable> alreadyRefreshed) {

libimsetiRecommender.refresh(alreadyRefreshed);

}

}

[/code]

3.为匿名用户做推荐

因为在正常使用的情况，会有许多新用户没有历史记录，这个时候有一种方法是生成临时用户，并将所有的匿名用户当做一个用户。有一个类的名字叫PlusAnonymousUserDataModel，这个类是在DataModel上的一个封装。下面是代码：

[code]import java.io.File;

import java.io.IOException;

import java.util.List;

import org.apache.mahout.cf.taste.common.TasteException;

import org.apache.mahout.cf.taste.impl.model.GenericUserPreferenceArray;

import org.apache.mahout.cf.taste.impl.model.PlusAnonymousUserDataModel;

import org.apache.mahout.cf.taste.impl.model.file.FileDataModel;

import org.apache.mahout.cf.taste.model.DataModel;

import org.apache.mahout.cf.taste.model.PreferenceArray;

import org.apache.mahout.cf.taste.recommender.RecommendedItem;

public class LibimsetiWithAnonymousRecommender extends LibimsetiRecommender {

private final PlusAnonymousUserDataModel plusAnonymousModel;

public LibimsetiWithAnonymousRecommender()

throws TasteException, IOException {

this((DataModel) new FileDataModel(new File("data/dating/ratings.dat")));

}

public LibimsetiWithAnonymousRecommender(DataModel model)

throws TasteException, IOException {

//调用父类LibimsetiRecommender的构造函数

super(new PlusAnonymousUserDataModel(model));

//得到PlusAnonymousUserDataModel对象

plusAnonymousModel =

(PlusAnonymousUserDataModel) getDataModel();

}

//设计这个推荐器的recommend方法：输入：匿名用户的评分信息 输出：对此匿名用户的推荐

public synchronized List<RecommendedItem> recommend(

PreferenceArray anonymousUserPrefs, int topN)

throws TasteException {

//利用PlusAnonymousUserDataModel对象的setTempPrefs方法为将匿名用户加入到数据中，

//并且利用PlusAnonymousUserDataModel.TEMP_USER_ID作为其userID

plusAnonymousModel.setTempPrefs(anonymousUserPrefs);

//调用父类LibimsetiRecommender的recommend方法

//userID现在被PlusAnonymousUserDataModel.TEMP_USER_ID所代替了

List<RecommendedItem> recommendations =

recommend(PlusAnonymousUserDataModel.TEMP_USER_ID, topN, null);

//删除PlusAnonymousUserDataModel.TEMP_USER_ID与匿名用户的关联

plusAnonymousModel.clearTempPrefs();

return recommendations;

}

//创建当前匿名用户的伪数据

public PreferenceArray creatAnAnonymousPrefs() {

PreferenceArray anonymousPrefs =

new GenericUserPreferenceArray(3);

anonymousPrefs.setUserID(0, PlusAnonymousUserDataModel.TEMP_USER_ID);

anonymousPrefs.setItemID(0, 123L);

anonymousPrefs.setValue(0, 1.0f);

anonymousPrefs.setItemID(1, 123L);

anonymousPrefs.setValue(1, 3.0f);

anonymousPrefs.setItemID(2, 123L);

anonymousPrefs.setValue(2, 2.0f);

return anonymousPrefs;

}

public static void main(String[] args) throws Exception {

LibimsetiWithAnonymousRecommender recommender =

new LibimsetiWithAnonymousRecommender();

List<RecommendedItem> recommendations =

recommender.recommend(recommender.creatAnAnonymousPrefs(), 10);

System.out.println(recommendations);

}

}

[/code]

4.创建一个支持Web访问的推荐程序

(这个时候可以下载官方的源代码:https://github.com/tdunning/MiA )

利用Mahout很容易将推荐程序捆绑成可部署的WAR文件。这一组件能很好地部署在Java servlet容器中，比如Tomcat，Resin。

首先需要封装WAR文件，在部署之前，需要把编译后的代码和数据文件打包为一个JAR文件。将数据集复制到/src/main/resources目录下，再用下面的命令***出JAR文件:mvn package

然后进入Mahout发布包中的taste-web/模块目录，并从书中实例把target/mia-0.1.jar复制到lib子目录中。再编辑recommender.properties将推荐程序命名为索要采用的名称。如果你是用的是与实例相同的Java包名，正确的值应为mia.recommender.ch05.LibimsetiRecommender。现在再次执行mvn package，这个时候可以生成一个webapp-0.5.war的文件。这个文件可以立刻部署在Tomcat这种容器中。

5.更新和监控推荐程序

处于对性能的考虑，许多组件会生成缓存信息和中间的计算结果，这个时候有以下的处理方法:

调用Recommender.refresh()强制情况所有缓存
调用refresh方法来实现

基于文件偏好数据是通过FileDataModel来访问的，这个时候部署更新信息时，我们可以对这个文件进行更新或者覆盖，而FileDataModel会马上注意到这个更新。

数据文件重新加载很占资源，这个时候可以用更新文件，而不是对整个数据文件进行替换。