Spark primer 之 统计csdn十大常用密码

受 http://blog.csdn.net/luyee2010/article/details/8620112文章启发

Notice:密码来源网络（top-10密码都为弱口令，没什么挖掘价值）

密码格式为 ：账号 # 密码 # 邮箱 例如：Lqwert # 123456 # XXXXX@163.com

看代码

Object countPass {

def main(args :Array[String]){

val conf = new SparkConf().setAppName(“countpass”).setMaster(“local”)

val sc = new SparkContext(conf)

def fun(str:String):Array[String]{

val arr = str.split(“ # ”)

arr2 = Array(arr(2))

return arr2

}

sc.flatMap(fun(line)).map((,1)).reduceByKey(+_).map(e => (e._2,e._1)).sortByKey(false).collect.foreach(println)

}

}

结果