hadoop个人笔记,仅供自己参考
2013-12-13 19:35
344 查看
hadoop可以看做成一个软件,就是运行在linux系统上。
对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls
将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put *.txt (集群下指定的摸个目录)/user/hadoop/hkcm。说明,hadoop集群默认的根目录是/user/hadoop(我们这里按照的目录),所以,可以直接写成hkcm也行。
查看hadoop所有的命令:hadoop fs
运行hadoop:hadoop jar jar包 类名 输入文件目录 输出文件目录
例如,运行hadoop demo中wordcount例子,首先要转到hadoop安装目录下,然后,命令如下:hadoop jar hadoop-examples-1.0.4.jar wordcount hkcm/input hkcm/output,其中,我把搜有的输入文件放在hadoop的/user/hadoop/hkcm/input目录下,指定的输出结果存放在/user/hadoop/hkcm/output,特别说明,输出目录必须让程序自动生成,如果自己先手动建立,那么会报错。
查看jar中类:jar tvf XXX.jar
对集群上的文件进行操作是,前面得加上hadoop fs,例如查看集群上的更目录下的文件 hadoop fs -ls
将本地(linux系统)上的文件放到集群中时,例如目录input,下面有a.txt b.txt这两个文件,首先转到文件所在的目录input,使用hadoop fs -put *.txt (集群下指定的摸个目录)/user/hadoop/hkcm。说明,hadoop集群默认的根目录是/user/hadoop(我们这里按照的目录),所以,可以直接写成hkcm也行。
查看hadoop所有的命令:hadoop fs
运行hadoop:hadoop jar jar包 类名 输入文件目录 输出文件目录
例如,运行hadoop demo中wordcount例子,首先要转到hadoop安装目录下,然后,命令如下:hadoop jar hadoop-examples-1.0.4.jar wordcount hkcm/input hkcm/output,其中,我把搜有的输入文件放在hadoop的/user/hadoop/hkcm/input目录下,指定的输出结果存放在/user/hadoop/hkcm/output,特别说明,输出目录必须让程序自动生成,如果自己先手动建立,那么会报错。
查看jar中类:jar tvf XXX.jar
相关文章推荐
- 学习linux系统操作之CentOS系统基本操作以及系统知识学习。
- linux内核打印的各种设置-----printk
- CentOS6.4配置163的yum源
- nginx配置信息的解析流程
- nginx的超时处理
- erlang shell 命令中文使用说明
- erlang shell 命令中文使用说明
- Centos编译安装Apache 2.4.6笔记 配置
- Linux下yum安装android测试环境
- Linux系统安装Appach 2.4.6
- 永远不要在Linux执行的10个最危险的命令
- 基于storm和hadoop的广告系统研究【4】
- Linux入门:常用命令学习(一)
- Linux下ppp拨号+3G模块(evdo 中兴MC8630模块)
- 在linux系统中I/O 调度的选择
- 【linux草鞋应用编程系列】_3_ 进程间通信
- Linux netstat命令详解
- linux挂载目录(整理)
- 五花八门的招数提高网站推广流量
- 让企业网站内容高质量发展的策略分析