spark快速入门之最简配置 spark 1.5.2 hadoop 2.7 配置
2015-12-14 17:35
274 查看
配置的伪分布式,ubuntu14.04上
先配置hadoop,参见这个博客,讲的很好
http://www.powerxing.com/install-hadoop/,
但是我在配的过程中还是遇到了问题:
问题1:设置免登录的时候,虽然是按步骤做的,但ssh localhost测试,总是提示要输入密码。这个博客说的比较清楚:http://blog.csdn.net/budapest/article/details/8022926
解决办法:chmod 600 authorized_keys
问题2:在运行hadoop例子的过程中,提示找不到java_home的路径,虽然我在全局已经配置了,但是貌似这个是找hadoop的配置文件
解决办法:找到 /usr/local/hadoop/etc/hadoop 目录下的 hadoop-env.sh,最末尾加上JAVA_HOME的路径
配置完hadoop ,接下来配置spark
参见博客:http://bit1129.iteye.com/blog/2171761
1.这个博客里提到的hadoop.master 对应的ip 是在 /etc/hosts 文件中配置对应关系
2.运行spark前,需要先启动hadoop。如图:
步骤一:
![](http://images2015.cnblogs.com/blog/583694/201512/583694-20151214173055146-761106626.png)
步骤二:
![](http://images2015.cnblogs.com/blog/583694/201512/583694-20151214173458849-616381344.png)
然后运行shell就好了
先配置hadoop,参见这个博客,讲的很好
http://www.powerxing.com/install-hadoop/,
但是我在配的过程中还是遇到了问题:
问题1:设置免登录的时候,虽然是按步骤做的,但ssh localhost测试,总是提示要输入密码。这个博客说的比较清楚:http://blog.csdn.net/budapest/article/details/8022926
解决办法:chmod 600 authorized_keys
问题2:在运行hadoop例子的过程中,提示找不到java_home的路径,虽然我在全局已经配置了,但是貌似这个是找hadoop的配置文件
解决办法:找到 /usr/local/hadoop/etc/hadoop 目录下的 hadoop-env.sh,最末尾加上JAVA_HOME的路径
配置完hadoop ,接下来配置spark
参见博客:http://bit1129.iteye.com/blog/2171761
1.这个博客里提到的hadoop.master 对应的ip 是在 /etc/hosts 文件中配置对应关系
2.运行spark前,需要先启动hadoop。如图:
步骤一:
![](http://images2015.cnblogs.com/blog/583694/201512/583694-20151214173055146-761106626.png)
步骤二:
![](http://images2015.cnblogs.com/blog/583694/201512/583694-20151214173458849-616381344.png)
然后运行shell就好了
相关文章推荐
- linux 定时执行shell脚本 定时任务
- PopupWindow的简单使用
- 弹出窗口popupwindow
- Linux中printk和strace命令调试的一些技巧
- Linux下区分物理CPU、逻辑CPU和CPU核数
- openvswitch总述
- hadoop2.7.1 伪分布式搭建
- Apache 反向代理原理介绍
- pop到任何控制器的方法
- linux 64位编译32位protobuf
- linux下查找一个文件夹,find / where / locate使用
- OPENCV中画图像直方图(带刻度并可以通过滚动条调节直方图中直方条的个数)
- CentOS 6.5 下 QT4 连接 mysql 数据库的步骤
- Linux中线程与CPU核的绑定
- cairo库网站
- linux 实现VLAN
- BeanUtils.copyProperties扩展--String转Date
- CAS (3) —— Mac下配置CAS客户端经代理访问Tomcat CAS
- tomcat配置文件server.xml详解
- 虚拟环境下搭建hadoop之一——搭建前的准备