项目0：泰坦尼克生还者预测

# 检查你的Python版本
from sys import version_info
if version_info.major != 2 and version_info.minor != 7:
raise Exception('请使用Python 2.7来完成此项目')

In [25]:

import numpy as np
import pandas as pdfull

# 数据可视化代码
from titanic_visualizations import survival_stats
from IPython.display import display
%matplotlib inline

in_file = 'titanic_data.csv'
full_data = pd.read_csv(in_file)

display(full_data.head())

Out[25]:

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
0	1	0	3	Braund, Mr. Owen Harris	male	22.0	1	0	A/5 21171	7.2500	NaN	S
1	2	1	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	0	PC 17599	71.2833	C85	C
2	3	1	3	Heikkinen, Miss. Laina	female	26.0	0	0	STON/O2. 3101282	7.9250	NaN	S
3	4	1	1	Futrelle, Mrs. Jacques Heath (Lily May Peel)	female	35.0	1	0	113803	53.1000	C123	S
4	5	0	3	Allen, Mr. William Henry	male	35.0	0	0	373450	8.0500	NaN	S

从泰坦尼克号的数据样本中，我们可以看到船上每位旅客的特征
Survived：是否存活（0代表否，1代表是）
Pclass：社会阶级（1代表上层阶级，2代表中层阶级，3代表底层阶级）
Name：船上乘客的名字
Sex：船上乘客的性别
Age:船上乘客的年龄（可能存在 

NaN

）
SibSp：乘客在船上的兄弟姐妹和配偶的数量
Parch：乘客在船上的父母以及小孩的数量
Ticket：乘客船票的编号
Fare：乘客为船票支付的费用
Cabin：乘客所在船舱的编号（可能存在 

NaN

）
Embarked：乘客上船的港口（C 代表从 Cherbourg 登船，Q 代表从 Queenstown 登船，S 代表从 Southampton 登船）
因为我们感兴趣的是每个乘客或船员是否在事故中活了下来。可以将 Survived 这一特征从这个数据集移除，并且用一个单独的变量 

outcomes

 来存储。它也做为我们要预测的目标。
运行该代码，从数据集中移除 Survived 这个特征，并将它存储在变量 

outcomes

 中。

In [26]:

# 从数据集中移除 'Survived' 这个特征，并将它存储在一个新的变量中。
outcomes = full_data['Survived']
data = full_data.drop('Survived', axis = 1)

# 显示已移除 'Survived' 特征的数据集
display(data.head())
display(outcomes.head())

Out[26]:

	PassengerId	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
0	1	3	Braund, Mr. Owen Harris	male	22.0	1	0	A/5 21171	7.2500	NaN	S
1	2	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	0	PC 17599	71.2833	C85	C
2	3	3	Heikkinen, Miss. Laina	female	26.0	0	0	STON/O2. 3101282	7.9250	NaN	S
3	4	1	Futrelle, Mrs. Jacques Heath (Lily May Peel)	female	35.0	1	0	113803	53.1000	C123	S
4	5	3	Allen, Mr. William Henry	male	35.0	0	0	373450	8.0500	NaN	S

Out[26]:

0    0
1    1
2    1
3    1
4    0
Name: Survived, dtype: int64

这个例子展示了如何将泰坦尼克号的 Survived 数据从 DataFrame 移除。注意到 

data

（乘客数据）和 

outcomes

 （是否存活）现在已经匹配好。这意味着对于任何乘客的 

data.loc[i]

 都有对应的存活的结果 

outcome[i]

。

计算准确率

为了验证我们预测的结果，我们需要一个标准来给我们的预测打分。因为我们最感兴趣的是我们预测的准确率，既正确预测乘客存活的比例。运行下面的代码来创建我们的 

accuracy_score

 函数以对前五名乘客的预测来做测试。
思考题：在前五个乘客中，如果我们预测他们全部都存活，你觉得我们预测的准确率是多少？

In [27]:

def accuracy_score(truth, pred):
""" 返回 pred 相对于 truth 的准确率 """

# 确保预测的数量与结果的数量一致
if len(truth) == len(pred):

# 计算预测准确率（百分比）
return "Predictions have an accuracy of {:.2f}%.".format((truth == pred).mean()*100)

else:
return "Number of predictions does not match number of outcomes!"

# 测试 'accuracy_score' 函数
predictions = pd.Series(np.ones(5, dtype = int)) #五个预测全部为1，既存活
print accuracy_score(outcomes[:5], predictions)

Predictions have an accuracy of 60.00%.

提示：如果你保存 iPython Notebook，代码运行的输出也将被保存。但是，一旦你重新打开项目，你的工作区将会被重置。请确保每次都从上次离开的地方运行代码来重新生成变量和函数。

最简单的预测

如果我们要预测泰坦尼克号上的乘客是否存活，但是我们又对他们一无所知，那么最好的预测就是船上的人无一幸免。这是因为，我们可以假定当船沉没的时候大多数乘客都遇难了。下面的 

predictions_0

 函数就预测船上的乘客全部遇难。

In [28]:

def predictions_0(data):
""" 不考虑任何特征，预测所有人都无法生还 """

predictions = []
for _, passenger in data.iterrows():

# 预测 'passenger' 的生还率
predictions.append(0)

# 返回预测结果
return pd.Series(predictions)

# 进行预测
predictions = predictions_0(data)

问题1：对比真实的泰坦尼克号的数据，如果我们做一个所有乘客都没有存活的预测，这个预测的准确率能达到多少？
回答： 61.62%
提示：运行下面的代码来查看预测的准确率。

In [29]:

print accuracy_score(outcomes, predictions)

Predictions have an accuracy of 61.62%.

考虑一个特征进行预测

我们可以使用 

survival_stats

 函数来看看 Sex 这一特征对乘客的存活率有多大影响。这个函数定义在名为 

titanic_visualizations.py

 的
Python 脚本文件中，我们的项目提供了这个文件。传递给函数的前两个参数分别是泰坦尼克号的乘客数据和乘客的 生还结果。第三个参数表明我们会依据哪个特征来绘制图形。
运行下面的代码绘制出依据乘客性别计算存活率的柱形图。

In [30]:

survival_stats(data, outcomes, 'Sex')

仔细观察泰坦尼克号存活的数据统计，在船沉没的时候，大部分小于10岁的男孩都活着，而大多数10岁以上的男性都随着船的沉没而遇难。让我们继续在先前预测的基础上构建：如果乘客是女性，那么我们就预测她们全部存活；如果乘客是男性并且小于10岁，我们也会预测他们全部存活；所有其它我们就预测他们都没有幸存。
将下面缺失的代码补充完整，让我们的函数可以实现预测。
提示: 您可以用之前 

predictions_1

 的代码作为开始来修改代码，实现新的预测函数。

In [50]:

def predictions_2(data):
""" 考虑两个特征:
- 如果是女性则生还
- 如果是男性并且小于10岁则生还 """

predictions = []
for _, passenger in data.iterrows():

if (passenger['Sex'] == 'male' and passenger['Age'] < 10) or passenger['Sex'] == 'female':
predictions.append(1)
else:
predictions.append(0)

# 返回预测结果
return pd.Series(predictions)

# 进行预测
predictions = predictions_2(data)

In [51]:

print accuracy_score(outcomes, predictions)

Predictions have an accuracy of 79.35%.

你自己的预测模型

添加年龄（Age）特征与性别（Sex）的结合比单独使用性别（Sex）也提高了不少准确度。现在该你来做预测了：找到一系列的特征和条件来对数据进行划分，使得预测结果提高到80%以上。这可能需要多个特性和多个层次的条件语句才会成功。你可以在不同的条件下多次使用相同的特征。Pclass，Sex，Age，SibSp 和 Parch 是建议尝试使用的特征。
使用 

survival_stats

 函数来观测泰坦尼克号上乘客存活的数据统计。
提示: 要使用多个过滤条件，把每一个条件放在一个列表里作为最后一个参数传递进去。例如: 

["Sex == 'male'", "Age < 18"]

问题3：当预测所有女性以及小于10岁的男性都存活的时候，预测的准确率会达到多少？
回答: 79.35%
提示：你需要在下面添加一个代码区域，实现代码并运行来计算准确率。

In [42]:

survival_stats(data, outcomes, 'Age', ["Sex == 'male'", "Age < 18"])

In [127]:

survival_stats(data, outcomes, 'Pclass',["Sex == 'female'", "Age < 80"])
survival_stats(data, outcomes, 'Age',["Sex == 'male'","Pclass == 1"])

In [133]:

def predictions_3(data):
""" 考虑多个特征，准确率至少达到80% """

predictions = []
for _, passenger in data.iterrows():

if passenger['Sex'] == 'female':
if passenger['Age'] > 40 and passenger['Age'] < 60 and passenger['Pclass']==3:
predictions.append(0)
else:
predictions.append(1)

else:
if passenger['Sex'] == 'male' and passenger['Age']< 10 :
predictions.append(1)
else:
predictions.append(0)

# 返回预测结果
return pd.Series(predictions)

# 进行预测
predictions = predictions_3(data)

问题4：请描述你实现80%准确度的预测模型所经历的步骤。您观察过哪些特征？某些特性是否比其他特征更有帮助？你用了什么条件来预测生还结果？你最终的预测的准确率是多少？
回答：分别分析了性别，年龄和船票等级等数据。女性多数获救但也优先获救孩子和老人，年龄介于40-60之间的女性仍有很多遇难。男性中小孩基本都能获救80.25%
提示：你需要在下面添加一个代码区域，实现代码并运行来计算准确率。

In [134]:

print accuracy_score(outcomes, predictions)

Predictions have an accuracy of 80.25%.

结论

经过了数次对数据的探索和分类，你创建了一个预测泰坦尼克号乘客存活率的有用的算法。在这个项目中你手动地实现了一个简单的机器学习模型——决策树（decision tree）。决策树每次按照一个特征把数据分割成越来越小的群组（被称为 nodes）。每次数据的一个子集被分出来，如果分割后新子集之间的相似度比分割前更高（包含近似的标签），我们的预测也就更加准确。电脑来帮助我们做这件事会比手动做更彻底，更精确。这个链接提供了另一个使用决策树做机器学习入门的例子。
决策树是许多监督学习算法中的一种。在监督学习中，我们关心的是使用数据的特征并根据数据的结果标签进行预测或建模。也就是说，每一组数据都有一个真正的结果值，不论是像泰坦尼克号生存数据集一样的标签，或者是连续的房价预测。
问题5：想象一个真实世界中应用监督学习的场景，你期望预测的结果是什么？举出两个在这个场景中能够帮助你进行预测的数据集中的特征。

回答: 商品选购预测： 商品适用人群（男/女），适用年龄，职位，平均月工资等

注意: 当你写完了所有5个问题，3个TODO。你就可以把你的 iPython Notebook 导出成 HTML 文件。你可以在菜单栏，这样导出File -> Download as -> HTML (.html) 把这个 HTML 和这个 iPython notebook 一起做为你的作业提交。

翻译：毛礼建 ｜ 校译：黄强 ｜ 审译：曹晨巍