技术积累

1.idea中 创建包

  如shs.yypt.spark，此时想在yypt下创建一个包，则需要在Scala根目录下新建包shs.yypt.hbaseCRUD

  这时的包结构为：shs-yypt-spark

                                              -hbaseCRUD

2.spark RDD本地化后才能在shell中输出

    val readTxt=sc.textFile("data")

     readTxt.collect().foreach(println)

3.spark可以连接hbase和hive，但是sparkSQL和hive并没有连接，如无法通过sqlContext访问hive。