您的位置：首页 > 其它

spark

2015-08-31 23:05 218 查看
具体安装过程请主要参考http://stark-summer.iteye.com/blog/2173219和http://www.open-open.com/lib/view/open1419490748562.html

安装spark，在配置完成，在spark-1.2.0-bin-hadoop2.4/sbin下运行./start-all.sh启动的时候，发生了这个错误

mkdir: cannot create directory `/usr/local/spark/spark-1.3.1-bin-hadoop2.6/sbin/../logs': Permission denied  

解决方法是在spark的安装目录下边，用语句sudo chown -R -v ckj1：hadoop spark-1.2.0-bin-hadoop2.4,需要注意的是，三个节点均需要执行此操作，具体见这篇文章http://www.uml.org.cn/sjjm/201506232.asp?artid=16536


后来直接用拷贝的方式把在master上边配置好的spark拷贝到另外两台节点上，结果在执行启动命令的时候却出错说slave1和slave2:failed to launch org.apache.spark.deploy.worker.worke以及JAVA_HOME is not set。

进入到这两台的配置文件(spark-env.sh)当中查看,发现配置文件竟然为空，拷贝的时候竟然没有把配置文件拷贝过来，还没想明白这是为什么


因为我的master节点名字叫做hadoop-master，所以可以用hadoop-master:8080进来spark集群的web管理页面，访问几个节点的状态，进入spark的bin目录，启动spark-shell控制台。访问http://hadoop-master:4040/，我们可以看到spark
WEBUI页面
                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航