Spark - 伪分布式,配置文件
2017-03-09 20:05
141 查看
1. hadoop
1.1 hadoop-env.sh
配置JAVA_HOME1.2 core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:{}</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
1.3 hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:{}tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:{}tmp/dfs/data</value> </property> </configuration>
2. spark
2.1 spark-env.sh
JAVA_HOME2.2 spark-defaults.conf
spark.local.dir3. .profile
JAVA_HOME=/home/peerslee/opt/jdkSCALA_HOME=/home/peerslee/opt/scala
HADOOP_HOME=/home/peerslee/opt/hadoop
SPARK_HOME=/home/peerslee/opt/spark-hadoop
PATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
export HADOOP_HOME SCALA_HOME JAVA_HOME PATH
相关文章推荐
- 生产环境实战spark (5)分布式集群 5台设备之间hosts文件配置 ssh免密码登录
- 分布式日志收集系统:Facebook Scribe之配置文件
- spark-defaults.conf配置文件
- 分布式搜索elasticsearch配置文件详解
- 加载Hadoop+spark镜像文件需要修改的配置文件
- spark2.2.0全分布式配置
- freebsd下安装sphinx及其配置文件和分布式检索
- 分布式搜索elasticsearch配置文件详解
- Tachyon:Spark生态系统中的分布式内存文件系统
- Tachyon(现名:Alluxio):Spark生态系统中的分布式内存文件系统
- 阿里云服务器安装配置Hadoop2.7.5+Spark2.2.1伪分布式环境
- 操作分布式文件之一:如何搭建配置FttpAdapter环境
- Spark加载外部配置文件
- .htaccess 分布式配置文件
- spark配置文件加载的先后顺序
- Tachyon:Spark生态系统中的分布式内存文件系统
- Hadoop伪分布式-----Spark的安装和配置
- 对于maven创建spark项目的pom.xml配置文件(图文详解)
- 分布式搜索elasticsearch配置文件详解
- 分布式搜索elasticsearch 配置文件详解