您的位置:首页 > 运维架构

hadoop个人笔记,仅供自己参考

2013-12-13 19:35 344 查看
hadoop可以看做成一个软件,就是运行在linux系统上。

对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls

将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put *.txt (集群下指定的摸个目录)/user/hadoop/hkcm。说明,hadoop集群默认的根目录是/user/hadoop(我们这里按照的目录),所以,可以直接写成hkcm也行。

查看hadoop所有的命令:hadoop fs

运行hadoop:hadoop jar jar包 类名 输入文件目录 输出文件目录

例如,运行hadoop demo中wordcount例子,首先要转到hadoop安装目录下,然后,命令如下:hadoop jar hadoop-examples-1.0.4.jar wordcount hkcm/input hkcm/output,其中,我把搜有的输入文件放在hadoop的/user/hadoop/hkcm/input目录下,指定的输出结果存放在/user/hadoop/hkcm/output,特别说明,输出目录必须让程序自动生成,如果自己先手动建立,那么会报错。

查看jar中类:jar tvf XXX.jar
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: