菜鸟的Kaggle之路（2） Titanic问题的简单模型

今天，我希望第一次用python建一个回归二分类的模型。在网上寻找资料以后，我决定先使用sklearn库
先进行数据处理，由上节的处理可知Age项需要填充，而同时Sex项的male与female需要转换成可以计算的数字
#数据处理：Sex转换为可操作的0和1
print(data_train["Sex"].unique())
data_train.loc[data_train["Sex"] == "male", "Sex"] = 1
data_train.loc[data_train["Sex"] == "female", "Sex"] = 0
print(data_train["Sex"].unique())</pre>




我们可以直观地看到Sex项切换完毕。
#数据处理：填充Age
data_train["Age"] = data_train["Age"].fillna(data_train["Age"].mean())
data_train.info()



我们先简单地添加均值进入模型，可以标记一下，这是可以优化的一个点。

开始先使用线性回归模型

from sklearn.linear_model import LinearRegression
from sklearn.cross_validation import KFold
predictors = ["Pclass", "Sex", "Age",  "Fare"]
#predictors = ["Pclass", "Sex", "Age", "SibSp", "Parch", "Fare", "Embarked"]
alg = LinearRegression()
kf = KFold(data_train.shape[0], n_folds = 3, random_state = 1)
predictions = []
for train, test in kf:
train_predictors = (data_train[predictors].iloc[train,:])
train_target = data_train["Survived"].iloc[train]
alg.fit(train_predictors, train_target)
test_predictions = alg.predict(data_train[predictors].iloc[test,:])
predictions.append(test_predictions)

predictions = np.concatenate(predictions, axis=0)
predictions[predictions > .5] = 1
predictions[predictions <=.5] = 0
accuracy = sum(predictions == data_train["Survived"]) / len(predictions)
print(accuracy)

0.7845  emmmm,应该还可以更好，或许是因为只是用了较少的特征？
那么接下来我们无脑的将有可能影响的量全部扔进去

#Embarked也进行数据处理扔进去吧
data_train["Embarked"].unique()
data_train["Embarked"] = data_train["Embarked"].fillna('S')
data_train.loc[data_train["Embarked"] == "S", "Embarked"] = -1
data_train.loc[data_train["Embarked"] == "C", "Embarked"] = 0
data_train.loc[data_train["Embarked"] == "Q", "Embarked"] = 1

emm... 0.7856,只增加了一点点，我开始对这三个数据的存留问题开始了思考
但我们现在再建立一个逻辑回归

from sklearn import cross_validation
from sklearn.linear_model import LogisticRegression
alg = LogisticRegression(random_state=1)
scores = cross_validation.cross_val_score(alg, data_train[predictors], data_train["Survived"], cv=3)
print(scores.mean())

第一个是只使用四个特征，第二个是使用七个特征，逻辑回归的表现果然要比线性回归要强。调参的事情，这个阶段先暂时不做了。
于是今天的简单模型就告一段落了，继续熟悉着各个组件，明天开始，我就要正式地实战kaggle了（建立一个复杂的模型）