Hadoop常用操作指令和Hadoop集群配置

4月11日

Hadoop常用操作指令

hadoop dfsadmin –report 查看hdfs基本统计信息

start balancer –threshold 负载均衡

hadoop dfsadmin –safemode leave 退出安全模式

hadoop fs -cat 打开某个已存在文件

hadoop fs -ls 查看指定目录下内容

hadoop fs -put 将本地文件夹存储至hadoop上

hadoop fs –mkdir 在hadoop指定目录内参加新目录

hadoop fs -thochz 在hadoop指定目录下新建一个空文件夹

hadoop fs –mv 重命名

hadoop fs –chmod 改变文件的权限

hadoop fs –get[文件目录][本地目录]将hadoop上某个文件down至本地已有目录下

hadopp fs –rmr 递归删除hadoop上指定文件夹

hadoop dfs –getmerge 将hadoop指定目录下所有内容保存为一个文件

hadoop job –kill[job-id] 将正在运行的hadoop作业kill掉

4月12日

Hadoop集群中节点的增加和删除

1、CentOS修改主机名



2、修改hosts(各个节点)



3、SSH互通

(1)生成公钥(各个节点)



(2)将主节点生成的公钥复制到从节点



(3)将各个节点生成的公钥添加到各自的authorized_keys中



增加权限

chmod 600 /authorized_keys

4、主从配置(在hadoop下,在主节点下)



5、复制(注意复制到的路径的用户名和主机名的)



6、复制后必须在每个节点执行格式化 ???

配置文件

core-site.xml

fs.defaultFS

io.file.buffer.size

hdfs-site.xml

指定HDFS Datanode同时处理文件的上限(这里不是完整的配置文件)

<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>