使用LogisticRegression和SGDClassifier对良/恶性肿瘤进行分类,并计算出准确率召回率和F1的值
2017-10-24 16:55
561 查看
# -*- coding: utf-8 -*-
"""
Created on Tue Oct 24 10:08:40 2017
@author: liuyajun
"""
import pandas as pd
import numpy as np
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
from sklearn.metrics import classification_report
column_names = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell shape','Marginal Adhesion','Single Epithelial cell Size','Bare Nuclei','Bland Chromation','Normal Nucleoli','Mitoses','Class']#给读入的数据取列明
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data',names=column_names)#网站上提供对应的数据
data = data.replace(to_replace='?',value=np.nan)#用numpy中的nan来代替数据中的空值(之前使用?来表示空)
data = data.dropna(how='any')#删除所有带有空值的数据
#print(data.shape)#输出删除空值后数据的形状
#使用函数对数据进行切分,训练数据75%,测试数据25%
X_train,X_test,y_train,y_test = train_test_split(data[column_names[1:10]],data[column_names[10]],test_size=0.25,random_state=33)
#检测样本的数量和类型
y_train.value_counts()
y_test.value_counts()
#首先使用线性模型从事良、恶性肿瘤的预测任务
# 1 标准化数据,保证每个维度的特征数据方差为1,均值为0.使得预测结果不会被某些维度过大的特征值主导
ss = StandardScaler()
X_train=ss.fit_transform(X_train)
X_test=ss.transform(X_test)
# 2 初始化Logis提出Regression和SGDClassifier(随机参数梯度估计)
lr = LogisticRegression()
sgdc = SGDClassifier()
#使用LogisticRegression 中的fit方法训练参数
lr.fit(X_train,y_train)
#对测试数据进行预测
lr_y_predict=lr.predict(X_test)
sgdc.fit(X_train,y_train)
sgdc_y_predict=sgdc.predict(X_test)
#利用LogisticRegression模块自带的score获得模型在测试机上的准确性
print('Accuracy of LR Classifier:',lr.score(X_test,y_test))
#利用Classification_report模块获得LogisticRegression的准确率召回率和F1
print(classification_report(y_test,lr_y_predict,target_names=['Benign','Malignant']))#malignant恶性的benign良性的
print('Accuracy of SGD Classifier:',sgdc.score(X_test,y_test))
print(classifier_report(y_test,y_sgdc_test,target_names=['Bengin','Malignant']))
"""
Created on Tue Oct 24 10:08:40 2017
@author: liuyajun
"""
import pandas as pd
import numpy as np
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
from sklearn.metrics import classification_report
column_names = ['Sample code number','Clump Thickness','Uniformity of Cell Size','Uniformity of Cell shape','Marginal Adhesion','Single Epithelial cell Size','Bare Nuclei','Bland Chromation','Normal Nucleoli','Mitoses','Class']#给读入的数据取列明
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data',names=column_names)#网站上提供对应的数据
data = data.replace(to_replace='?',value=np.nan)#用numpy中的nan来代替数据中的空值(之前使用?来表示空)
data = data.dropna(how='any')#删除所有带有空值的数据
#print(data.shape)#输出删除空值后数据的形状
#使用函数对数据进行切分,训练数据75%,测试数据25%
X_train,X_test,y_train,y_test = train_test_split(data[column_names[1:10]],data[column_names[10]],test_size=0.25,random_state=33)
#检测样本的数量和类型
y_train.value_counts()
y_test.value_counts()
#首先使用线性模型从事良、恶性肿瘤的预测任务
# 1 标准化数据,保证每个维度的特征数据方差为1,均值为0.使得预测结果不会被某些维度过大的特征值主导
ss = StandardScaler()
X_train=ss.fit_transform(X_train)
X_test=ss.transform(X_test)
# 2 初始化Logis提出Regression和SGDClassifier(随机参数梯度估计)
lr = LogisticRegression()
sgdc = SGDClassifier()
#使用LogisticRegression 中的fit方法训练参数
lr.fit(X_train,y_train)
#对测试数据进行预测
lr_y_predict=lr.predict(X_test)
sgdc.fit(X_train,y_train)
sgdc_y_predict=sgdc.predict(X_test)
#利用LogisticRegression模块自带的score获得模型在测试机上的准确性
print('Accuracy of LR Classifier:',lr.score(X_test,y_test))
#利用Classification_report模块获得LogisticRegression的准确率召回率和F1
print(classification_report(y_test,lr_y_predict,target_names=['Benign','Malignant']))#malignant恶性的benign良性的
print('Accuracy of SGD Classifier:',sgdc.score(X_test,y_test))
print(classifier_report(y_test,y_sgdc_test,target_names=['Bengin','Malignant']))
相关文章推荐
- 实习点滴(11)--TensorFlow快速计算“多分类问题”的混淆矩阵以及精确率、召回率、F1值、准确率
- 各种机器学习方法(线性回归、支持向量机、决策树、朴素贝叶斯、KNN算法、逻辑回归)实现手写数字识别并用准确率、召回率、F1进行评估
- 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure(对于二分类问题)
- Spark Mllib里决策树二元分类使用.areaUnderROC方法计算出以AUC来评估模型的准确率和决策树多元分类使用.precision方法以precision来评估模型的准确率(图文详解)
- Spark随机森林算法对数据分类(一)——计算准确率和召回率
- 使用R进行分类时,ROC的绘制和AUC的计算
- 数据分析,信息检索,分类体系中常用指标简明解释——关于准确率、召回率、F1、AP、mAP、ROC和AUC
- 机器学习逻辑回归:使用C++语言手工编写程序对a1a数据集进行Logistic分类
- 使用堆栈结构进行字符串表达式("7*2-5*3-3+6/3")的计算
- 在arcgis使用python脚本进行字段计算时对中文的处理方案
- 信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
- Python使用jieba分词并用weka进行文本分类
- Java中使用BigDecimal进行浮点数精确计算、超大整数、浮点数等计算,没有数位限制
- 【NLP】使用朴素贝叶斯进行文本的分类
- 使用MATLAB加载训练好的caffe模型进行识别分类
- 【object detection】RCNN 实践篇 - 使用 Alexnet 预训练 17-flower 数据集(17分类),使用 2-flower 数据集进行 fine-tuning
- F1-score, 召回率,准确率,MAP
- 使用tf-slim的ResNet V1 152和ResNet V2 152预训练模型进行图像分类
- 分类、推荐系统评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure) /(F-score)
- 信息检索(IR)的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC