您的位置:首页 > 其它

使用PIG统计来访IP(多图版)

2013-06-10 09:55 239 查看
启动hadoop,启动pig:



将本地文件拷贝到hdfs中:



载入txt文件,通过空格作为分隔符,取得第一个字段ip写入内存中A表:



通过dump查看A表内容:



根据ip分组A表得到Grouped_A表,并使用DESCRIBE查看Grouped_A表结构,我们发现Grouped_A 表第一个Field名叫group,并不叫ip:



通过dump查看Grouped_A内容:



使用FOREACH语句生成result表,并通过DESCRIBE查看result表结构。注意:GENERATE 后指定的Field名必须要和 FOREACH 后的表中的 Field名对应,如此处第一个Filed是group,即Grouped_A中第一个Field的名称:



通过dump查看result表的内容,正确:



将内存中的result存储到hdfs中:



提示存储成功:



在hdfs中查看文件内容:

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: