最近一段时间比较忙,博客基本没有打理,如有问题可以微博私信我 ,或者直接评论留言:-D

Ubuntu 下Hadoop+Eclipse环境搭建笔记<一>基础环境安装

其他 浅灬笑 2465℃ 0评论

课上老师要求搭建Hadoop环境,各种查找资料后终于还是搭建好了,这里整理一下内容。参考:http://www.cnblogs.com/kinglau/p/3794433.html和http://www.cnblogs.com/kinglau/p/3796164.html,写的很赞。

1下载安装Ubuntu操作系统

进入到Ubuntu中文网的下载页面,http://cn.ubuntu.com/download/这里选择下载的Ubuntu 16.04 LTS(长期支持)版本(系统位数根据系统配置自行选择),如图1-1所示。

图1-1 下载Ubuntu操作系统

打开VMVare,新建虚拟机,选择典型,如图1-2所示。

图1-2 选择典型安装

选中已经下载的系统ISO文件,如图1-3所示。

图1-3 选中需要执行安装的操作系统

填写虚拟机的信息,其中用户名和密码是进入系统后所使用的账户信息,如图1-4所示。

图1-4 填写虚拟机信息

填写虚拟机文件存放的位置,如图1-5所示。

图1-5 虚拟机存放的位置

填写虚拟机磁盘信息,如图1-6所示。

图1-6 填写磁盘信息

根据当前计算机的配置选择合适的虚拟机硬件信息,如图1-7所示。

图1-7 配置虚拟机硬件信息

点击完成后,开始进入到虚拟机的安装,等待安装完成后即可进入到系统。

创建hadoop组和hadoop用户

登录Ubuntu系统,如图2-1所示。

图2-1 登录系统

在终端输入sudo addgroup Hadoop,创建一个hadoop的用户组,如图2-3所示。

图2-3 创建hadoop用户组

使用命令 sudo adduser -ingroup hadoop hadoop,然后按照系统提示创建一个hadoop的用户,如图2-4所示。

图2-4 创建hadoop用户

输入命令 sudo gedit /etc/sudoers,然后输入当前用户的密码,将会使用gedit打开文件sudoers,如图2-5所示。

图2-5 打开sudoers文件

在打开的sudoers文件中如图2-6所示的位置添加hadoop用户信息,为hadoop用户设置root权限。

图2-6 为hadoop用户设置root权限

3 修改软件源头(非必须)

重启一下,使用前面所创建的hadoop用户登录系统。 由于进入到系统后需要安装一些软件环境,而Ubuntu默认的软件源是国外的服务器,速度较慢,此处将其修改为阿里云。

在系统右上角,点击设置图标àSystem Setting,如图3-1所示。

图3-1 进入系统设置

在列表的最下方找到Software&Updates,如图3-2。

图3-2 进入Software&Updates

选择Download From ,并选中Other,如图3-3所示。

图3-3 选择Other

在弹出的服务器选择窗口中找到China并选中mirrors.aliyun.com,点击Choose Server,如图3-4所示(当然你也可以使用Select Best Server按钮查询速度最好的服务器)。

图3-4 选择服务器

输入密码完成授权,注意提示需要的密码所属的账户!

图3-5 授权

完成授权后,关闭对话框后如果询问是否更新软件信息,点击Reload。如图3-6所示。

图3-6 reload软件信息

如图3-7所示,更新软件信息。

图3-7 更新软件信息

4安装SSH

打开终端输入 sudo apt-get install openssh-server,如图4-1所示。

图4-1 下载安装SSH

完成安装后,使用命令sudo /etc/init.d/ssh start启动服务,如图4-2所示。

图4-2 启动SSH服务

图4-2 启动SSH服务

启动服务后,可以使用命令ps -e | grep ssh查看当前SSH服务的进程,如图4-3所示。

图4-3 查看SSH进程信息

图4-3 查看SSH进程信息

使用命令ssh-keygen -t rsa -P “” 设置免密码登录,如图4-4所示(在第3行的设置密钥存放文件的时候这里直接回车,使用默认的)。

图4-4 免密码登录

图4-4 免密码登录

此时会在/home/Hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。将公钥追加到authorized_keys中,它用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。使用命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 如图4-5所示。

图4-5 追加公钥到authorized_keys

图4-5 追加公钥到authorized_keys

使用命令ssh localhost测试登录可以发现,已经不需要输入用户密码了,如图4-6所示。

图4-6 ssh登录测试

图4-6 ssh登录测试

5安装JAVA环境

首先安装JDK,这里安装的是openjdk-8-jdk,如图5-1所示,使用命令sudo apt-get install openjdk-8-jdk执行安装。

图5-1 安装JDK8

图5-1 安装JDK8

安装完成之后使用命令java -version可以查看当前的JDK版本,如图5-2所示。

图5-2 查看JDK版本信息

图5-2 查看JDK版本信息

 

转载请注明:悠然品鉴 » Ubuntu 下Hadoop+Eclipse环境搭建笔记<一>基础环境安装

喜欢 (1)or分享 (0)