spark-submit提交kafka测试

spark-submit --jars /home/aus/spark/lib/spark-streaming-kafka_2.10-1.0.0.jar,/home/aus/spark/lib/kafka_2.8.0-0.8.1.jar --master spark://10.21.17.202:7074 --class
KafkaWordCount /home/aus/spark/data/SparkTest.jar

10.21.17.202上测试spark程序：



接kafka 需要引入两个jar 一个是spark-streaming-kafka_2.10-1.2.0.jar 还有一个是kafka_2.8.0-0.8.1.jar

方法一：–jars方式引入 （我用的这个方法成功）

方法二：（待验证）

 把如下包放到一个目录下，然后在spark-default.conf下加如：

spark.jars                            /opt/spark-1.3.0/libs/kafka_2.10-0.8.1.1.jar,/opt/spark-1.3.0/libs/spark-streaming-kafka_2.10-1.3.0.jar,/opt/spark-1.3.0/libs/jopt-simple-3.2.jar,/opt/spark-1.3.0/libs/zkclient-0.3.jar,/opt/spark-1.3.0/libs/metrics-annotation-2.2.0.jar,/opt/spark-1.3.0/libs/metrics-core-2.2.0.jar 

注意：

运行时发现java.lang.NoClassDefFoundError: scala/Tuple2$mcLL$sp，原来是scala的版本跟kafka的版本不一致所导致。

kafka官网对应表说明如下：