大数据工程师：大数据的java基础 第一周

1. java 版本：Java SE 标准版

Java EE 企业版

2. 查看Linux系统位数（32/64）：file /sbin/init



3. 删除OpenJDK命令：sudo apt-get purge openjdk-\*

4. jar 与 zip 压缩原理一致

5. 打包命令：jar -cfv test.jar Test.class

6. 运行jar包内某个可执行类：java -cp test.jar Test

7. 常见问题分析：java.lang.NoClassDefFoundError ==》 一般是ClASSPATH问题，少jar包

8. Hadoop 安装步骤：

1. 创建Hadoop用户

$ sudo addgroup hadoop

$ sudo adduser --ingroup hadoop hduser

2. 设置SSH

$ su - hduser

$ ssh-keygen -t rsa -P ""

$ ssh-copy-id localhost

3. 安装SSH

$ sudo apt-get install ssh openssh-server

4. 安装Hadoop

$ cd /usr/local

$ sudo tar xzf hadoop-1.0.3.tar.gz

$ sudo mv hadoop-1.0.3 hadoop

$ sudo chown -R hduser:hadoop hadoop

5. 编辑环境变量

修改$HOME/.bashrc或者/etc/profile：

export HADOOP_HOME=/usr/local/hadoop

unalias fs &> /dev/null

alias fs="hadoop fs"

unalias hls &> /dev/null

alias hls="fs -ls“

lzohead () { hadoop fs -cat $1 | lzop -dc | head -1000 | less }

将$HADOOP_HOME/bin添加至$PATH

6. 配置HDFS

$ sudo mkdir -p /app/hadoop/tmp

$ sudo chown hduser:hadoop /app/hadoop/tmp

$ sudo chmod 750 /app/hadoop/tmp

不设置组别权限，会遇到java.io.IOException，表示文件读写遇到异常情况

7. 编辑hadoop配置文件

8. 用hduser运行/usr/local/hadoop/bin/hadoop namenode –format来格式化文件系统

9. /usr/local/hadoop/sbin/start-dfs.sh启动hadoop

9. 运行Hadoop MR例子：hadoop jar XXX.jar XXX