詳解VMware12使用三臺虛擬機(jī)Ubuntu16.04系統(tǒng)搭建hadoop-2.7.1+hbase-1.2.4（完全分布式）

更新時間：2017年02月03日 09:22:25 作者：武睿傲雪

這篇文章主要介紹了詳解VMware12使用三臺虛擬機(jī)Ubuntu16.04系統(tǒng)搭建hadoop-2.7.1+hbase-1.2.4（完全分布式），具有一定的參考價值，有興趣的可以了解一下。

初衷

首先說明一下既然網(wǎng)上有那么多教程為什么要還要寫這樣一個安裝教程呢？網(wǎng)上教程雖然多，但是有些教程比較老，許多教程忽略許多安裝過程中的細(xì)節(jié)，比如添加用戶的權(quán)限，文件權(quán)限，小編在安裝過程遇到許多這樣的問題所以想寫一篇完整的教程，希望對初學(xué)Hadoop的人有一個直觀的了解，我們接觸真集群的機(jī)會比較少，虛擬機(jī)是個不錯的選擇，可以基本完全模擬真實的情況，前提是你的電腦要配置相對較好不然跑起來都想死，廢話不多說。

環(huán)境說明

本文使用VMware® Workstation 12 Pro虛擬機(jī)創(chuàng)建并安裝三臺Ubuntu16.04系統(tǒng)分別命名為master、slave1、slave2對應(yīng)對應(yīng)NameNode、DataNode、DataNode。

安裝過程中要求三個系統(tǒng)中配置基本相同除個別配置（比如：節(jié)點的命名）

192.168.190.128 master

192.168.190.129 slave1

192.168.190.131 slave2

在虛擬機(jī)Linux上安裝與配置Hadoop

需要說明的是下面的所有配置三臺Ubuntu系統(tǒng)都要配置而且是基本一樣，為了使配置一致，先在一臺機(jī)器上配置然后將對應(yīng)配置scp到其他機(jī)器上

虛擬機(jī)的安裝不是本文重點，這里就不贅述了。安裝之后是這樣的：

在Linux上安裝Hadoop之前，需要安裝兩個程序：

1）JDK1.6(或更高版本),本文采用JDK 1.7。Hadoop是Java編寫的程序，Hadoop的編譯及MapReduce都需要使用JDK。因此，在安裝Hadoop前，必須安裝JDK1.6或更高版本。

2)SSH(安裝外殼協(xié)議)，推薦安裝OpenSSH.Hadoop需要通過SSH來啟動Slave列表中各臺機(jī)器的守護(hù)進(jìn)程，因此SSH也是必須安裝的，即使是安裝偽分布版本（因為Hadoop并沒有區(qū)分集群式和偽分布式）。對于偽分布式，Hadoop會采用與集群相同處理方式，即按次序啟動文件conf/slaves中記載的主機(jī)上的進(jìn)程，只不過在偽分布式中Slave為localhost（即本身），所以對于偽分布式Hadoop，SSH也是一樣必須的。

部署步驟

添加一個hadoop用戶，并賦予相應(yīng)權(quán)利，我們接下來hadoop Hbase的安裝都要在hadoop用戶下操作，所以hadoop用戶要將hadoop的文件權(quán)限以及文件所有者賦予給hadoop用戶。

1.每個虛擬機(jī)系統(tǒng)上都添加 hadoop 用戶，并添加到 sudoers

sudo adduser hadoop

sudo gedit /etc/sudoers

找到對應(yīng)添加如下：

# User privilege specification
root  ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL

2.切換到 hadoop 用戶：

su hadoop

3.修改 /etc/hostname 主機(jī)名為 master

當(dāng)然master虛擬機(jī)設(shè)置為master

其他兩個虛擬機(jī)分別設(shè)置為slave1、slave2

4.、修改 /etc/hosts

127.0.0.1 localhost
127.0.1.1  localhost.localdomain  localhost
192.168.190.128 master
192.168.190.129 slave1
192.168.190.131 slave2
# The following lines are desirable for IPv6 capable hosts
::1   ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

5.安裝JDK 1.7

(1)下載和安裝JDK 1.7

jdk-7u76-linux-x64.tar.gz

使用tar命令

tar -zxvf jdk-7u76-linux-x64.tar.gz

將安裝文件移動到JDK安裝目錄，本文JDK的安裝目錄為/usr/lib/jvm/jdk1.7.0_76

（2）配置環(huán)境變量

輸入命令：

sudo gedit /etc/profile

輸入密碼，打開profile文件。在最下面輸入如下內(nèi)容：

#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_76
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:/home/hadoop/hadoop-2.7.1/bin:/home/hadoop/hadoop-2.7.1/sbin:/home/hadoop/hbase-1.2.4/bin:$PATH

需要說明的是可能profile文件當(dāng)前權(quán)限是只讀的，需要使用

sudo chmod 777 /etc/profile

命令修改文件讀寫權(quán)限。文件中已經(jīng)包含了Hadoop以及Hbase的環(huán)境配置。

這一步的意義是配置環(huán)境變量，使系統(tǒng)可以找到JDK。

（4）驗證JDK是否安裝成功

輸入命令：

java -version

會出現(xiàn)如下JDK版本信息：

java version "1.7.0_76"
Java(TM) SE Runtime Environment (build 1.7.0_76-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.76-b04, mixed mode)

如果出現(xiàn)上述JDK版本信息說明當(dāng)前安裝JDK并未設(shè)置成Ubuntu系統(tǒng)默認(rèn)的JDK，接下來還需要手動將安裝的JDK設(shè)置成系統(tǒng)默認(rèn)的JDK。

(5)手動設(shè)置系統(tǒng)默認(rèn)JDK

在終端依次輸入命令：

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_76/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_76/bin/javac 300

sudo update-alternatives --config java

接下來輸入java -version就可以看到所安裝的JDK的版本信息了。

三臺虛擬機(jī)都要安裝Vmware Tools工具方便復(fù)制粘貼

6.配置SSH免密碼登錄

(1)確認(rèn)已經(jīng)連上互聯(lián)網(wǎng)，然后輸入命令：

sudo apt-get install ssh

(2)配置 master、slave1 和 slave2 節(jié)點可以通過 SSH 無密碼互相訪問

注意這里的所有操作都是在hadoop用戶下操作的。

首先，查看下hadoop用戶下是否存在.ssh文件夾（注意ssh文件前面有”.”這是一個隱藏文件夾），輸入命令：

ls -a -l

可以得到

drwxr-xr-x 9 root  root 4096 Feb 1 02:41 .
drwxr-xr-x 4 root  root 4096 Jan 27 01:50 ..
drwx------ 3 root  root 4096 Jan 31 03:35 .cache
drwxr-xr-x 5 root  root 4096 Jan 31 03:35 .config
drwxrwxrwx 11 hadoop root 4096 Feb 1 00:18 hadoop-2.7.1
drwxrwxrwx 8 hadoop root 4096 Feb 1 02:47 hbase-1.2.4
drwxr-xr-x 3 root  root 4096 Jan 31 03:35 .local
drwxr-xr-x 2 root  root 4096 Jan 31 14:47 software
drwxr-xr-x 2 hadoop root 4096 Feb 1 00:01 .ssh

一般來說，安裝SSH時會自動在當(dāng)前用戶下創(chuàng)建這個隱藏文件夾，如果沒有，可以手動創(chuàng)建一個。

sudo mkdir .ssh

注意這里的.ssh要是hadoop權(quán)限擁有，如果是root的話，使用下面命令：

sudo chown -R hadoop .ssh

接下來，輸入命令：

ssh-keygen -t rsa

如果沒有權(quán)限前面加一個sudo.

執(zhí)行完可以看到一個圖標(biāo)并在.ssh文件下創(chuàng)建兩個文件：id_rsa和id_rsa.pub

 cat ~/ssh/id_rsa.pub >> ~/ssh/authorized_keys

在Ubuntu中，~代表單前用戶文件夾，此處即/home/hadoop。

這表命令的功能是把公鑰加到用于認(rèn)證的公鑰文件中，這里的authorized_keys是用于認(rèn)證的公鑰文件。

然后使用命令：

sudo gedit authorized_keys

打開對應(yīng)虛擬機(jī)生成的密碼，如master主機(jī)的hadoop用戶生成了hadoop@master，將其他主機(jī)生成的秘鑰添加到master主機(jī)的authorized_keys文件的末尾，這樣master主機(jī)就擁有slave1的hadoop用戶以及slave2的hadoop用戶的秘鑰了。
如下：

不要復(fù)制我的，復(fù)制我的沒用，我這里只是實例一下，復(fù)制你自己的三臺虛擬機(jī)各自生成的秘鑰

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC743oCP2Voa3deHBkA+N7cYJC4Jv2Tj8Z6tGVWCxg0NJl3yKwYIfgC9RiyFyRWcl5byI34Oe7dYtf+9UtvH85hca1/IDP1m02NLPXsIJmcPS4uNgMLfsWg/F/C3Bqut7i4t6eHwO/FRhjeIBu5O/9GHoXk/ykhgJIbyh8hhAlcke6Jtt80I63r2+3DnlHlNzw1sQRJp2qFRgyV61j5DfuYrhfd+/eTkFtXc7izLVCkC7x6hMo4qIMQ0GbSx9iqTO0tO1skGYLhCX3Cbo3hf4i19RUKt168eg/X2l1qIvf+vgxQudM3lZa9/pxDieK5p8c8xupcaoR67jMFLWLl3EUb hadoop@master
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDQ1Jf6ds9Y+KlQNIHq+pDGxM1OsF+RSXcgLDdlzw+qGK7NT28bRK6QUCm3kJqa/ekEkqDHdWegtiQVriOsY4A2fABkRsjiOrnc4QYQ/rqB06JuvshwToB91qwmV/J/o3mgsentJLfmBUpSyW8rRxQV+tYtqQ+gipL7x0WGUBRQYRhJJZKAxqgLGE3Md/siYjn8Ge4G31rrTcx9QDVcfTCtHkvqca0b0f98Y+U9Fu6w4Ari28oLxFTlzuCsebIPMzE4uWQuXT+2kMz0HunpejSDrLkrFqO1OKUs0peZrUVRmYBY5flt4tnV0XOQBYClzxieev/ppgH8AeB4Qs/zXB25 hadoop@slave1
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDI8PpgXt94SAEtUhvt2JmlO4Ed11r1WLoN1Eha5vI3qqm7cgT4yS7lvxL53Dc5G7R0n4Jwsf2hTvD9JF77vEIxp5g3xQGa7HafbIMzQupuCyAHqY+v0RTepaBUNGkFz0uKv+Nq8bzjfSUv4HgRorW7Yzqaa0LjEvHiI8uVZA7dcZ6Ba1on/TlKVVzz3MdZulcn7+AzjTPTG8hPQaELQqws1UuIYIUanOSqFPCADart/pJpAzGkqek0LBRSvI+U+P0oSrz9aX3wVOUQknheinM4tmuo3TGYionjeV1jqroCxBbZaeqLLwnpA0YZBl/ZMnJHkeSITypmgZWszh3ylC8p hadoop@slave2

至此免密碼登錄主機(jī)已配置完畢。

（3）驗證SSH是否已安裝成功，以及是否可以免密碼登錄主機(jī)。

輸入命令：

ssh -V

顯示結(jié)果：

OpenSSH_7.2p2 Ubuntu-4ubuntu2.1, OpenSSL 1.0.2g 1 Mar 2016

輸入命令：

ssh localhost

會有如下顯示：

Welcome to Ubuntu 16.04 LTS (GNU/Linux 4.4.0-21-generic x86_64)

 * Documentation: https://help.ubuntu.com/

458 packages can be updated.
171 updates are security updates.


The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.


The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

Last login: Wed Feb 1 00:02:53 2017 from 127.0.0.1
To run a command as administrator (user "root"), use "sudo <command>".
See "man sudo_root" for details.

這說明已經(jīng)安裝成功，第一次登錄會詢問是否繼續(xù)鏈接，輸入yes即可以進(jìn)入。

實際上，在Hadoop的安裝過程中，是否免密碼登錄是無關(guān)緊要的，但是如果不配置免密碼登錄，每次啟動Hadoop都需要輸入密碼以登錄到每臺機(jī)器的DataNode上，考慮到一般的Hadoop集群動輒數(shù)百或者上千臺機(jī)器，因此一般來說都會配置SSH免密碼登錄。

master 節(jié)點無密碼訪問 slave1 和 slave2 節(jié)點：

ssh slave1

運(yùn)行結(jié)果：

Welcome to Ubuntu 16.04 LTS (GNU/Linux 4.4.0-59-generic x86_64)

 * Documentation: https://help.ubuntu.com/

312 packages can be updated.
10 updates are security updates.


The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.


The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

Last login: Wed Feb 1 00:03:30 2017 from 192.168.190.131

不需要密碼，需要密碼說明沒有配置成功，看看是不是哪步出現(xiàn)了問題。

安裝并運(yùn)行Hadoop

介紹Hadoop的安裝之前，先介紹一下Hadoop對各個節(jié)點的角色定義。

Hadoop分別從三個角度將主機(jī)劃分為兩種角色。第一，最基本的劃分為Master和Slave,即主人和奴隸；第二，從HDFS的角度，將主機(jī)劃分為NameNode和DataNode(在分布式文件系統(tǒng)中，目錄的管理很重要，管理目錄相當(dāng)于主任，而NameNode就是目錄管理者）；第三，從MapReduce角度，將主機(jī)劃分為JobTracker和TaskTracker(一個Job經(jīng)常被劃分為多個Task,從這個角度不難理解它們之間的關(guān)系)。

Hadoop有三種運(yùn)行方式：單機(jī)模式、偽分布與完全分布式。乍看之下，前兩種并不能體現(xiàn)云計算的優(yōu)勢，但是它們便于程序的測試與調(diào)試，所以還是有意義的。

我的博客中有介紹單機(jī)模式和偽分布式方式這里就不贅述，本文主要著重介紹分布式方式配置。

（1）hadoop 用戶目錄下解壓下載的hadoop-2.7.1.tar.gz

使用解壓命令：

tar -zxvf hadoop-2.7.1.tar.gz

注意一下操作都是在hadoop用戶下操作的也就是hadoop-2.7.1的所有者是hadoop.如下所示：

total 120
drwxr-xr-x 19 hadoop hadoop 4096 Feb 1 02:28 .
drwxr-xr-x 4 root  root  4096 Jan 31 14:24 ..
-rw------- 1 hadoop hadoop 1297 Feb 1 03:37 .bash_history
-rw-r--r-- 1 hadoop hadoop 220 Jan 31 14:24 .bash_logout
-rw-r--r-- 1 hadoop hadoop 3771 Jan 31 14:24 .bashrc
drwx------ 3 root  root  4096 Jan 31 22:49 .cache
drwx------ 5 root  root  4096 Jan 31 23:59 .config
drwx------ 3 root  root  4096 Jan 31 23:59 .dbus
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Desktop
-rw-r--r-- 1 hadoop hadoop  25 Feb 1 00:55 .dmrc
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Documents
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Downloads
-rw-r--r-- 1 hadoop hadoop 8980 Jan 31 14:24 examples.desktop
drwx------ 2 hadoop hadoop 4096 Feb 1 00:56 .gconf
drwx------ 3 hadoop hadoop 4096 Feb 1 00:55 .gnupg
drwxrwxrwx 11 hadoop hadoop 4096 Feb 1 00:30 hadoop-2.7.1
drwxrwxrwx 8 hadoop hadoop 4096 Feb 1 02:44 hbase-1.2.4
-rw------- 1 hadoop hadoop 318 Feb 1 00:56 .ICEauthority
drwxr-xr-x 3 root  root  4096 Jan 31 22:49 .local
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Music
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Pictures
-rw-r--r-- 1 hadoop hadoop 675 Jan 31 14:24 .profile
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Public
drwx------ 2 hadoop hadoop 4096 Feb 1 00:02 .ssh
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Templates
drwxr-xr-x 2 hadoop hadoop 4096 Feb 1 00:55 Videos
-rw------- 1 hadoop hadoop  51 Feb 1 00:55 .Xauthority
-rw------- 1 hadoop hadoop 1492 Feb 1 00:58 .xsession-errors

（2）配置 hadoop 的環(huán)境變量

sudo gedit /etc/profile

配置如下：

#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_76
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:/home/hadoop/hadoop-2.7.1/bin:/home/hadoop/hadoop-2.7.1/sbin:/home/hadoop/hbase-1.2.4/bin:$PATH

(3)配置三臺主機(jī)的Hadoop文件，內(nèi)容如下。

conf/Hadoop-env.sh: