spark mllib 分类预测之逻辑回归
2016-10-13 16:31
351 查看
摘要: spark mllib 逻辑回归 胃癌转移判断案例
胃癌转移数据说明
肾细胞癌转移情况(有转移 y=1,无转移 y=2) x1:确诊时患者年龄(岁) x2:肾细胞癌血管内皮生长因子(VEGF),其阳性表述由低到高共3个等级 x3:肾细胞癌组织内微血管数(MVC) x4:肾癌细胞核组织学分级,由低到高共4级 x5:肾细胞癌分期,由低到高共4级 y x1 x2 x3 x4 x5 0 59 2 43.4 2 1
运行代码如下
package spark.logisticRegression import org.apache.spark.mllib.classification.LogisticRegressionWithSGD import org.apache.spark.mllib.evaluation.MulticlassMetrics import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.LabeledPoint import org.apache.spark.mllib.util.MLUtils import org.apache.spark.{SparkConf, SparkContext} /** * MLLib分类,逻辑回归,是分类,不是回归 * 胃癌转移判断 * Created by eric on 16-7-17. */ object LogisticRegression4 { val conf = new SparkConf() //创建环境变量 .setMaster("local") //设置本地化处理 .setAppName("LogisticRegression4")//设定名称 val sc = new SparkContext(conf) def main(args: Array[String]) { val data = MLUtils.loadLibSVMFile(sc, "./src/main/spark/logisticRegression/wa.txt") //读取数据文件,一定注意文本格式 val splits = data.randomSplit(Array(0.7, 0.3), seed = 11L) //对数据集切分 val parsedData = splits(0) //分割训练数据 val parseTtest = splits(1) //分割测试数据 val model = LogisticRegressionWithSGD.train(parsedData,50) //训练模型 val predictionAndLabels = parseTtest.map {//计算测试值 case LabeledPoint(label, features) => //计算测试值 val prediction = model.predict(features)//计算测试值 (prediction, label) //存储测试和预测值 } val metrics = new MulticlassMetrics(predictionAndLabels)//创建验证类 val precision = metrics.precision //计算验证值 println("Precision = " + precision) //打印验证值 val patient = Vectors.dense(Array(70,3,180.0,4,3)) //计算患者可能性 if(patient == 1) println("患者的胃癌有几率转移。")//做出判断 else println("患者的胃癌没有几率转移。") //做出判断 //Precision = 0.3333333333333333 //患者的胃癌没有几率转移。 } }
wa.txt
0 1:59 2:2 3:43.4 4:2 5:1 0 1:36 2:1 3:57.2 4:1 5:1 0 1:61 2:2 3:190 4:2 5:1 1 1:58 2:3 3:128 4:4 5:3 1 1:55 2:3 3:80 4:3 5:4 0 1:61 2:1 3:94 4:4 5:2 0 1:38 2:1 3:76 4:1 5:1 0 1:42 2:1 3:240 4:3 5:2 0 1:50 2:1 3:74 4:1 5:1 0 1:58 2:2 3:68.6 4:2 5:2 0 1:68 2:3 3:132.8 4:4 5:2 1 1:25 2:2 3:94.6 4:4 5:3 0 1:52 2:1 3:56 4:1 5:1 0 1:31 2:1 3:47.8 4:2 5:1 1 1:36 2:3 3:31.6 4:3 5:1 0 1:42 2:1 3:66.2 4:2 5:1 1 1:14 2:3 3:138.6 4:3 5:3 0 1:32 2:1 3:114 4:2 5:3 0 1:35 2:1 3:40.2 4:2 5:1 1 1:70 2:3 3:177.2 4:4 5:3 1 1:65 2:2 3:51.6 4:4 5:4 0 1:45 2:2 3:124 4:2 5:4 1 1:68 2:3 3:127.2 4:3 5:3 0 1:31 2:2 3:124.8 4:2 5:3
结果如图
相关文章推荐
- 使用Spark MLlib的逻辑回归(LogisticRegression)进行用户分类预测识别
- spark mllib源码分析之二分类逻辑回归evaluation
- 分类算法----逻辑回归预测
- spark 逻辑回归进行基于文本的分类预测
- 逻辑回归(Logistic Regression, LR)又称为逻辑回归分析,是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如,我们可以将购买的概率设置为因变量,将用户的
- 逻辑回归和朴素贝叶斯算法实现二值分类(matlab代码)
- 李宏毅机器学习课程5~~~分类:逻辑回归
- 逻辑回归扩展-----适用于多分类
- 分类算法之逻辑回归
- 机器学习算法整理之Logistic Regression (LR) 逻辑斯谛回归 :分类方法(对数线性模型)
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 初学ML笔记N0.1——线性回归,分类与逻辑斯蒂回归,通用线性模型
- 分类算法系列2----逻辑回归特征选择
- [Step By Step]SAP HANA PAL逻辑回归预测分析Logistic Regression编程实例LOGISTICREGRESSION(模型)
- tensorflow 学习专栏(四):使用tensorflow在mnist数据集上使用逻辑回归logistic Regression进行分类
- <转>Spark Mllib逻辑回归算法分析
- <转>Spark Mllib逻辑回归算法分析
- 【大数据部落】R语言逻辑回归logistic regression对用户收入进行预测
- 分类-1-逻辑回归(Logistic regression)、感知学习算法(perceptron learning algorithm)、牛顿迭代法
- [机器学习]逻辑回归,Logistic regression |分类,Classification