大数据之pig安装

pig download

1：设置HADOOP_HOME，如果pig所在节点不是集群中的节点，那就需要把集群中使用的hadoop的安装包拷贝过来一份。 export HADOOP_HOME=/usr/local/hadoop-2.6.0 2：创建一个文件夹，cluster-conf，里面保存的是hadoop的配置文件，core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml，具体配置属性参考提供的配置文件 export PIG_CLASSPATH=../cluster-conf export HADOOP_CONF_DIR=../cluster-conf download 4 files about hadoop for pig 注意：如果在执行的过程中报错(右图)，则需要在主节点启动job history server(因为pig在hadoop集群上执行任务之后需要解析执行日志才能知道任务是否执行成功。) sbin/mr-jobhistory-daemon.sh start historyserver (一定要在resourceManager主节点上运行)

pig

进入：

然后在指定hadoop 上的文件

hello.text

hello   you
hello   me

.csharpcode, .csharpcode pre
{
font-size: small;
color: black;
font-family: consolas, "Courier New", courier, monospace;
background-color: #ffffff;
/*white-space: pre;*/
}
.csharpcode pre { margin: 0em; }
.csharpcode .rem { color: #008000; }
.csharpcode .kwrd { color: #0000ff; }
.csharpcode .str { color: #006080; }
.csharpcode .op { color: #0000c0; }
.csharpcode .preproc { color: #cc6633; }
.csharpcode .asp { background-color: #ffff00; }
.csharpcode .html { color: #800000; }
.csharpcode .attr { color: #ff0000; }
.csharpcode .alt
{
background-color: #f4f4f4;
width: 100%;
margin: 0em;
}
.csharpcode .lnum { color: #606060; }

运行:

A= load ‘hdfs://hadoop11:9000/hello.txt’as (name:chararray,myname:chararray);

dump A;