Spark开发问题集锦

1、使用SparkContex.makeRDD , 生成一个 RDD[BasicBSONObject] 的 RDD

因为 makeRDD 的函数参数是一个数组，所以先生成一个数组

val bson = new BasicBSONObject
bson.put("name",spark)
bson.put("value",123)
val array = Array(bson)
val rdd = sc.makeRDD(array)

2、在 web ui里看不到正在运行的程序

要么是在控制台里提交的是local命令，要么是在写程序生成 SparkContext设置成local了，比如 sc = new SparkContext("local")

3、spark启动时，worker节点日志出现，

ERROR NettyTransport: failed to bind to bt-199-037.bta.net.cn/202.106.199.37:0, shutting down Netty
transport

修改spark-env.sh 从节点的woker ip不要设置成主节点的ip，可以直接删掉不设置

查看hosts文件，hostname与ip是否对应

4、

java.lang.NumberFormatException: multiple points

问题：

多线程方法中使用了共享变量SimpleDateFormat，报如下错误：

java.lang.NumberFormatException: multiple points
at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:1084

原因：

SimpleDateFormat是线程不安全的，切忌切忌！