课上老师要求搭建Hadoop环境,各种查找资料后终于还是搭建好了,这里整理一下内容。参考:http://www.cnblogs.com/kinglau/p/3794433.html和http://www.cnblogs.com/kinglau/p/3796164.html,写的很赞。
1下载安装Ubuntu操作系统
进入到Ubuntu中文网的下载页面,http://cn.ubuntu.com/download/这里选择下载的Ubuntu 16.04 LTS(长期支持)版本(系统位数根据系统配置自行选择),如图1-1所示。
图1-1 下载Ubuntu操作系统
打开VMVare,新建虚拟机,选择典型,如图1-2所示。
选中已经下载的系统ISO文件,如图1-3所示。
填写虚拟机的信息,其中用户名和密码是进入系统后所使用的账户信息,如图1-4所示。
填写虚拟机文件存放的位置,如图1-5所示。
填写虚拟机磁盘信息,如图1-6所示。
根据当前计算机的配置选择合适的虚拟机硬件信息,如图1-7所示。
点击完成后,开始进入到虚拟机的安装,等待安装完成后即可进入到系统。
2 创建hadoop组和hadoop用户
登录Ubuntu系统,如图2-1所示。
在终端输入sudo addgroup Hadoop,创建一个hadoop的用户组,如图2-3所示。
使用命令 sudo adduser -ingroup hadoop hadoop,然后按照系统提示创建一个hadoop的用户,如图2-4所示。
输入命令 sudo gedit /etc/sudoers,然后输入当前用户的密码,将会使用gedit打开文件sudoers,如图2-5所示。
在打开的sudoers文件中如图2-6所示的位置添加hadoop用户信息,为hadoop用户设置root权限。
3 修改软件源头(非必须)
重启一下,使用前面所创建的hadoop用户登录系统。 由于进入到系统后需要安装一些软件环境,而Ubuntu默认的软件源是国外的服务器,速度较慢,此处将其修改为阿里云。
在系统右上角,点击设置图标àSystem Setting,如图3-1所示。
在列表的最下方找到Software&Updates,如图3-2。
选择Download From ,并选中Other,如图3-3所示。
在弹出的服务器选择窗口中找到China并选中mirrors.aliyun.com,点击Choose Server,如图3-4所示(当然你也可以使用Select Best Server按钮查询速度最好的服务器)。
输入密码完成授权,注意提示需要的密码所属的账户!
完成授权后,关闭对话框后如果询问是否更新软件信息,点击Reload。如图3-6所示。
如图3-7所示,更新软件信息。
4安装SSH
打开终端输入 sudo apt-get install openssh-server,如图4-1所示。
完成安装后,使用命令sudo /etc/init.d/ssh start启动服务,如图4-2所示。
启动服务后,可以使用命令ps -e | grep ssh查看当前SSH服务的进程,如图4-3所示。
使用命令ssh-keygen -t rsa -P “” 设置免密码登录,如图4-4所示(在第3行的设置密钥存放文件的时候这里直接回车,使用默认的)。
此时会在/home/Hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。将公钥追加到authorized_keys中,它用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。使用命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 如图4-5所示。
使用命令ssh localhost测试登录可以发现,已经不需要输入用户密码了,如图4-6所示。
5安装JAVA环境
首先安装JDK,这里安装的是openjdk-8-jdk,如图5-1所示,使用命令sudo apt-get install openjdk-8-jdk执行安装。
安装完成之后使用命令java -version可以查看当前的JDK版本,如图5-2所示。