6安装Hadoop(单机模式)
6.1下载Hadoop
进入网址http://mirror.bit.edu.cn/apache/hadoop/common/,可以查看当前各个版本的hadoop,这里下载的是hadoop-2.7.2。
将下载的文件解压到需要的位置,如图6.1-1所示,这里将其解压到了/home/hadoop/HadoopRoot/hadoop-2.7.2/这个文件夹中。
使用命令sudo chmod 774 /home/hadoop/HadoopRoot/hadoop-2.7.2/为用户赋予文件夹的读写权限,如图6.1-2所示。
6.2配置~/.bashrc
配置该文件需要知道JDK的安装位置,也就是设置环境变量JAVA_HOME,如图6.2-1所示,使用命令update-alternatives –config java 可以查看到当前JDK的安装位置,但是需要注意的是JAVA_HOME的位置应该是/usr/lib/jvm/java-8-openjdk-i386,而不包含后面的jre/bin/java。
使用命令sudo gedit ~/.bashrc,打开.bashrc文件,如图6.2-2所示。
在打开的.bashrc文件的最后增加,如下内容,需要注意的是JAVA_HOME的值和HADOOP_INSTALL的值需要按照实际的安装位置配置,增加后如图6.2-3所示。
#HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-i386 export HADOOP_INSTALL=/home/hadoop/HadoopRoot/hadoop-2.7.2 export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #HADOOP VARIABLES END
执行命令source ~/.bashrc 使得上面的环境变量信息生效,如图6.2-4所示。
6.3 修改hadoop-env.sh文件
进入到hadoop的安装目录,然后依次进入文件夹并找到/etc/hadoop/hadoop-env.sh,使用gedit打开并将${JAVA_HOME}的位置修改为6.2中所设置的JAVA_HOME路径,如图6.3-1和图6.3-2为相关的操作。
6.4简单WordCount测试
在Hadoop安装目录下,创建文件夹input,然后将LICENSE.txt文件拷贝一份到input文件夹内,作为测试用的数据源,如图6.4-1所示。
打开终端,cd命令进入到hadoop目录,然后使用命令 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output 测试WordCount操作,如图6.4-2和6.4-3所示的操作。(注意上面的hadoop-mapreduce-examples-2.7.2-sources.jar需要根据当前安装hadoop版本进行书写,这个文件可以在hadoop安装目录下的./share/hadoop/mapreduce/sources/文件夹中找到)。
命令执行成功后将会在output目录中生成相关的结果信息,如图6.4-4所示,为wordcount的执行结果。
至此,hadoop的单击模式已经安装完成.