您的位置：首页 > 大数据

CDH中服务的配置及启动

2016-07-25 23:45 288 查看

提前说明

这里“服务”沿用CDH中的概念，指的是“HDFS”、“YARN”、“Spark”、“Hive”等大数据软件。

各服务的启动

方式一–在Cloudera Manager界面启动

方式二–手动启动

以Hive为例，

hive --service metastore &
Starting Hive Metastore Server
hive --service hiveserver &
Starting Hive Thrift Server

各服务配置文件的查找

采用如下方式获取Spark的配置，Hadoop的配置获取方式也类似。注意到下面的后续文件都是link，故可以直接将

/etc/spark/conf

配置为Spark的环境变量。

[root@datanode5 spark-1.3.0-bin-hadoop2.4]# ll /etc/spark/conf
lrwxrwxrwx. 1 root root 28 3月  18 11:31 /etc/spark/conf -> /etc/alternatives/spark-conf
[root@datanode5 spark-1.3.0-bin-hadoop2.4]# ll /etc/alternatives/spark-conf
lrwxrwxrwx. 1 root root 38 3月  18 11:31 /etc/alternatives/spark-conf -> /etc/spark/conf.cloudera.spark_on_yarn
[root@datanode5 spark-1.3.0-bin-hadoop2.4]# ll /etc/spark/conf.cloudera.spark_on_yarn

total 24
-rw-r--r--. 1 root root   21 3月  18 11:31 __cloudera_generation__
drwxr-xr-x. 3 root root 4096 6月   1 16:24 conf.cloudera.spark_on_yarn
-rw-r--r--. 1 root root  550 3月  18 11:31 log4j.properties
-rw-r--r--. 1 root root  654 3月  18 11:31 spark-defaults.conf
-rw-r--r--. 1 root root 2345 3月  18 11:31 spark-env.sh
drwxr-xr-x. 2 root root 4096 3月  18 11:31 yarn-conf

各服务的端口号

以连接HDFS文件系统为例，单独安装的Hadoop的

fs.defaultFS

默认端口号为9000，而CDH中默认为8020。比如可以使用

"hdfs://namenode:8020/user/asin/test.txt"

在程序中访问你的文件。

参考博文1则给出了hadoop2.x各常用端口的含义及与hadoop1.X端口对比。

各服务的版本查看

Hadoop:

hadoop version

Spark：输入命令

spark-shell

后控制台显示Spark和Scala版本信息

Hive: 因为Hive没有自带的查看版本的命令或参数，只能通过以下间接方式获取，比如得出该Hive的版本为1.1.0

root@myhost:~#  locate hive-beeline
/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/jars/hive-beeline-1.1.0-cdh5.8.0.jar
/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/hive-beeline-1.1.0-cdh5.8.0.jar

附录

获取cdh命令的根路径，以

hadoop

命令为例

$ ll /usr/bin/hadoop
lrwxrwxrwx. 1 root root 24 Feb 14 09:27 /usr/bin/hadoop -> /etc/alternatives/hadoop

$ ll /etc/alternatives/hadoop
lrwxrwxrwx. 1 root root 58 Feb 14 09:27 /etc/alternatives/hadoop -> /opt/cloudera/parcels/CDH-5.4.8-1.cdh5.4.8.p0.4/bin/hadoop

$ cd /opt/cloudera/parcels/CDH-5.4.8-1.cdh5.4.8.p0.4/bin

参考

hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： 大数据 cloudera cdh 配置端口

相关文章推荐

新的分享

章节导航