Hive应用实例:WordCount
2016-10-23 11:26
357 查看
出自《大数据原理与应用》一书。
然后,编写HiveQL语句实现WordCount算法
执行完成后,用select语句查看运行结果如下:
词频统计任务要求:
首先,需要创建一个需要分析的输入数据文件然后,编写HiveQL语句实现WordCount算法
具体步骤如下:
(1)创建input目录,其中input为输入目录。命令如下:
$ cd /home/hadoop $ mkdir input
(2)在input文件夹中创建两个测试文件file1.txt和file2.txt,命令如下:
$ cd /home/hadoop/input $ echo "hello world" > file1.txt $ echo "hello hadoop" > file2.txt
(3)进入hive命令行界面,编写HiveQL语句实现WordCount算法,命令如下:
$ hive hive> create table docs(line string); hive> load data inpath 'input' overwrite into table docs; hive>create table word_count as select word, count(1) as count from (select explode(split(line,' '))as word from docs) w group by word order by word;
执行完成后,用select语句查看运行结果如下:
hive> select * from word_count; OK hadoop 1 hello 2 world 1 Time taken: 0.111 seconds, Fetched: 3 row(s) hive>
相关文章推荐
- MapReduce的WordCount应用实例
- hadoop wordcount运行实例
- 命令行运行hadoop实例wordcount程序
- Wordcount实例
- 关于运行hadoop的wordcount实例
- Hadoop之道--MapReduce之Hello World实例wordcount
- Hadoop示例程序WordCount详解及实例
- Hadoop2.0 YARN cloudra4.4.0 WordCount实例
- hadoop实例WordCount程序一步一步运行
- Hadoop在Linux下伪分布式的安装 wordcount实例的运行
- 用Python编写MapReduce的WordCount实例程序
- Hadoop第一个测试实例WordCount的运行
- 【hadoop学习笔记】4.eclipse运行wordcount实例
- word海报应用实例
- Hadoop在Linux下伪分布式的安装 wordcount实例的运行
- Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示
- hadoop伪分布式运行wordcount 实例Fedora14
- WordCount 实例分析
- 运行mapreduce实例wordcount时, 出现ClassNotFoundException: org.myorg.WordCount错误解决方法
- Hadoop2.2.0 实例测试 WordCount程序