Kali2.0环境下安装Hadoop-2.7.1-单机版

1、一、新建hadoop用户组和hadoop用户名

1.打开终端窗口，然后输入如下命令创建新用户组。

$ sudo usergroup hadoop

2 .使用下面命令创建用户名，密码为hadoop

$ sudo adduser -ingroup hadoop hadoop

3. 为hadoop增加管理员的权限，以免之后出现权限问题。

$ sudo gedit /etc/sudoers

然后编辑增添如下那句hadoop   ALL(ALL:ALL)  ALL，建议在添加时候直接复制root用户那一行，然后将root用户名改为hadoop即可。

4. 切换到刚刚创建的hadoop用户。

$ su - hadoop

2、二、安装配置ssh服务

Kali2.0的好处之一是自带了ssh服务。

1. 安装ssh $sudo apt-get installl openssh-server

2. 打开ssh服务 $sudo /etc/init.d/ssh start

3. 确认服务是否正确启动： $ ps -e | grep ssh

4. 设置免密码登录，生成私钥和公钥

$ ssh-keygen -t rsa -P ""

在输入路径那儿笔者直接回车，这样在／home／hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥。

5. 接着将公钥追加到authorized_keys里面，它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6. 登陆ssh $ssh hadoop@localhost 输入yes回车！

7. 退出 $exit

3、三、安装Java环境

因Kali2.0自带java jdk，这里只需确认java环境可用，并查找jdk的安装路径。

1.确认java版本号

~$ java -version

2.查找jdk路径并记录（后面配置要用到）

~$ update-alternatives --config java

爆出完整的路径为：/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java，只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64。

4、四、hadoop安装配置

　　　　~$ sudo tar xzf hadoop-2.7.1.tar.gz

　将hadoop移动到 /usr/local/hadoop目录下：

　　　　~$ sudo mv hadoop-2.7.1 /usr/local/hadoop

　 要确保所有的操作都是在用户hadoop下完成的：

　　　　~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

2.配置.bashrc：

       配置该文件，需要知道Java的安装路径，上面已经找到路径为：/usr/lib/jvm/java-7-openjdk-amd64。

    　修改.bashrc文件:

    　　　~$ sudo gedit ~/.bashrc   

在文件末尾追加下面内容，然后保存，关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS='-Djava.library.path=$HADOOP_INSTALL/lib'

#HADOOP VARIABLES END

修改完成后使添加的环境变量生效：

        　　~$ source ~/.bashrc

3.配置hadoop-env.sh

　　打开hadoop-env.sh文件：

        　　~$ sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

　　找到JAVA_HOME变量，按如下进行修改:

        　　~$ export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改后的hadoop-env.sh文件如下所示：

　　使配置生效：

　　　　~$ source /usr/local/hadoop/conf/hadoop-env.sh

　　到这里，单机模式的hadoop就全部安装完毕了。

5、五、Hadoop测试

为了测试Hadoop安装的正确性，我们可以用在带的例子WordCount进行测试。

　　1.在/usr/local/hadoop路径下创建test文件夹    

　　　　~$ mkdir test

　　2.拷贝 README.txt 到 test 文件夹

　　　　~$ cp README.txt test

　　3.执行WordCount程序实例

    　　　~$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount test output