最近一段时间比较忙,博客基本没有打理,如有问题可以直接留言,:-D

Ubuntu 下Hadoop+Eclipse环境搭建笔记<二>安装Hadoop(单机模式)

其他 浅灬笑 3167℃ 0评论

6安装Hadoop(单机模式)

6.1下载Hadoop

进入网址http://mirror.bit.edu.cn/apache/hadoop/common/,可以查看当前各个版本的hadoop,这里下载的是hadoop-2.7.2。

将下载的文件解压到需要的位置,如图6.1-1所示,这里将其解压到了/home/hadoop/HadoopRoot/hadoop-2.7.2/这个文件夹中。

图6.1-1 hadoop的安装位置

图6.1-1 hadoop的安装位置

使用命令sudo chmod 774 /home/hadoop/HadoopRoot/hadoop-2.7.2/为用户赋予文件夹的读写权限,如图6.1-2所示。

图6.1-2设置文件夹读写权限

图6.1-2设置文件夹读写权限

6.2配置~/.bashrc

配置该文件需要知道JDK的安装位置,也就是设置环境变量JAVA_HOME,如图6.2-1所示,使用命令update-alternatives –config java 可以查看到当前JDK的安装位置,但是需要注意的是JAVA_HOME的位置应该是/usr/lib/jvm/java-8-openjdk-i386,而不包含后面的jre/bin/java。

图6.2-1 查看JDK的路径信息

图6.2-1 查看JDK的路径信息

使用命令sudo gedit ~/.bashrc,打开.bashrc文件,如图6.2-2所示。

图6.2-2 编辑.bashrc文件

图6.2-2 编辑.bashrc文件

在打开的.bashrc文件的最后增加,如下内容,需要注意的是JAVA_HOME的值和HADOOP_INSTALL的值需要按照实际的安装位置配置,增加后如图6.2-3所示。

#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-i386
export HADOOP_INSTALL=/home/hadoop/HadoopRoot/hadoop-2.7.2
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
图6.2-3 配置.bashrc

图6.2-3 配置.bashrc

执行命令source ~/.bashrc 使得上面的环境变量信息生效,如图6.2-4所示。

图6.2-4 刷新环境变量

图6.2-4 刷新环境变量

6.3 修改hadoop-env.sh文件

进入到hadoop的安装目录,然后依次进入文件夹并找到/etc/hadoop/hadoop-env.sh,使用gedit打开并将${JAVA_HOME}的位置修改为6.2中所设置的JAVA_HOME路径,如图6.3-1和图6.3-2为相关的操作。

图6.3-1打开hadoop-env.sh

图6.3-1打开hadoop-env.sh

图6.3-2 修改并保存

图6.3-2 修改并保存

6.4简单WordCount测试

在Hadoop安装目录下,创建文件夹input,然后将LICENSE.txt文件拷贝一份到input文件夹内,作为测试用的数据源,如图6.4-1所示。

图6.4-1 创建测试使用的目录

图6.4-1 创建测试使用的目录

打开终端,cd命令进入到hadoop目录,然后使用命令 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output   测试WordCount操作,如图6.4-2和6.4-3所示的操作。(注意上面的hadoop-mapreduce-examples-2.7.2-sources.jar需要根据当前安装hadoop版本进行书写,这个文件可以在hadoop安装目录下的./share/hadoop/mapreduce/sources/文件夹中找到)。

图6.4-2执行命令

图6.4-2执行命令

图6.4-3 执行命令

图6.4-3 执行命令

命令执行成功后将会在output目录中生成相关的结果信息,如图6.4-4所示,为wordcount的执行结果。

图6.4-4 执行结果

图6.4-4 执行结果

至此,hadoop的单击模式已经安装完成.

转载请注明:悠然品鉴 » Ubuntu 下Hadoop+Eclipse环境搭建笔记<二>安装Hadoop(单机模式)

喜欢 (0)or分享 (0)