数据预处理代码分享——机器学习与数据挖掘
数据预处理分为6步:
第1步:导入NumPy和Pandas库。NumPy和Pandas是每次都要导入的库,其中Numpy包含了数学计算函数,Pnadas是一个用于导入和管理数据集(Data Sets)的类库。
第2步:导入数据集。数据集一般都是.csv格式,csv文件以文本形式存储数据。每一行数据是一条记录。我们使用pandas类库的read_csv方法读取本地的csv文件作为一个dataframe。然后从datafram中分别创建自变量和因变量的矩阵和向量。
第3步:处理缺失的数据。我们得到的数据很少是完整的。数据可能因为各种原因丢失,为了不降低机器学习模型的性能,需要处理数据。我们可以用整列的平均值或者中间值替换丢失的数据。我们用sklearn.preprocessing库中的Inputer类完成这项任务。
第4步:对分类数据进行编码。分类数据指的是含有标签值而不是数字值得变量。取值范围通常是固定的。例如“YES”和“NO”不能用于模型的数学计算,所以需要编码成数字。为数显这一功能,我们从sklearn.preprocessing库中导入LabelEncoder类。
第5步:拆分数据集为测试集合和训练集合。把数据集拆分成两个,一个是用来训练模型的训练集合,另一个是用来验证模型的测试集合。两种比例一般是80:20。我们导入sklearn.crossvalidation库中的train_test_split()方法。
第6步:特征缩放。大部分模型算法使用两点间的欧式近距离表示,但此特征在幅度、单位和范围姿态问题上变化很大。在距离计算中,高幅度的特征比低幅度特征权重大。可用特征标准化或Z值归一化解决。导入sklearn.preprocessing库的StandardScalar类。
代码如下: 视频教学QQ群 519970686
-
1 Step 1: 导入类库
-
2
-
3 import numpy as np
-
4 import pandas as pd
-
5
-
6 Step 2: 导入数据集
-
7 dataset = pd.read_csv('Data.csv')
-
8 X = dataset.iloc[ : , :-1].values
-
9 Y = dataset.iloc[ : , 3].values
-
10
-
11 Step 3: 处理缺失的数据
-
12 from sklearn.preprocessing import Imputer
-
13 imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
-
14 imputer = imputer.fit(X[ : , 1:3])
-
15 X[ : , 1:3] = imputer.transform(X[ : , 1:3])
-
16
-
17 Step 4:编码分类数据
-
18 from sklearn.preprocessing import LabelEncoder, OneHotEncoder
-
19 labelencoder_X = LabelEncoder()
-
20 X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])
-
21 Creating a dummy variable
-
22
-
23 onehotencoder = OneHotEncoder(categorical_features = [0])
-
24 X = onehotencoder.fit_transform(X).toarray()
-
25 labelencoder_Y = LabelEncoder()
-
26 Y = labelencoder_Y.fit_transform(Y)
-
27
-
28 Step 5: 切分数据集成训练数据和测试数据
-
29 from sklearn.cross_validation import train_test_split
-
30 X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)
-
31
-
32 Step 6: 特征缩放
-
33 from sklearn.preprocessing import StandardScaler
-
34 sc_X = StandardScaler()
-
35 X_train = sc_X.fit_transform(X_train)
-
36 X_test = sc_X.fit_transform(X_test)
- 数据挖掘之Apriori算法详解和Python实现代码分享
- 关于 Python 数据抓取、分析、挖掘、机器学习和Python 分布式计算内容分享
- 500G python web、爬虫、数据分析、机器学习、大数据、前端实战项目视频代码免费分享
- # 机器学习数据挖掘关联规则挖掘Apriori算法python代码实现
- 数据挖掘之Apriori算法详解和Python实现代码分享
- 关于 Python 数据抓取 & 分析 & 机器学习 & 挖掘 & 神经网络 内容的分享。
- 大话机器学习之数据预处理与数据筛选
- 分享非常有用的Java程序(关键代码)(八)---Java InputStream读取网络响应Response数据的方法!(重要)
- 经典的机器学习方面源代码库(非常全,数据挖掘,计算机视觉,模式识别,信息检索相关领域都适用的了)
- 机器学习与数据挖掘参考文献
- 经典的机器学习方面源代码库(非常全,数据挖掘,计算机视觉,模式识别,信息检索相关领域都适用的了)
- 高并发之Memcached实战第10课-“Memcached Get获取数据”部分代码分享2
- Matlab机器学习和数据挖掘工具箱 Spider
- Python数据挖掘与机器学习_通信信用风险评估实战(1)——读数据
- 资源|28本必读的经典机器学习/数据挖掘书籍(免费下载)
- 【job】2013百度校园招聘-机器学习和数据挖掘工程师-笔试题
- 浅谈数据挖掘与机器学习
- 机器学习数据挖掘等经典书籍小结
- 【分享】电影情感极性(观点挖掘)数据
- [分享]微软BI专题-数据挖掘扩展插件语言:DMX