Hadoop的安裝與環(huán)境搭建教程圖解
一、Hadoop的安裝
1. 下載地址:https://archive.apache.org/dist/hadoop/common/我下載的是hadoop-2.7.3.tar.gz版本。
2. 在/usr/local/ 創(chuàng)建文件夾zookeeper
mkdir hadoop

3.上傳文件到Linux上的/usr/local/source目錄下

3.解壓縮
運行如下命令:
tar -zxvf hadoop-2.7.3.tar.gz-C /usr/local/hadoop

4. 修改配置文件
進入到cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/ , 修改hadoop-env.sh

運行 vimhadoop-env.sh,修改JAVA_HOME

5.將Hadoop的執(zhí)行命令加入到我們的環(huán)境變量里
在/etc/profile文件中加入:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin
執(zhí)行/etc/profile文件:
source /etc/profile
6. 將npfdev1機器上的hadoop復(fù)制到npfdev2和npfdev3和npfdev4機器上。使用下面的命令:
首先分別在npfdev2和npfdev3和npfdev4機器上,建立/usr/local/hadoop目錄,然后在npfdev1上分別執(zhí)行下面命令:
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev2:/usr/local/hadoop/
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev3:/usr/local/hadoop/
scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev4:/usr/local/hadoop/
記?。盒枰髯孕薷膎pfdev2和npfdev3和npfdev4的/etc/profile文件:
在/etc/profile文件中加入:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin
執(zhí)行/etc/profile文件:
source /etc/profile
然后分別在npfdev1和npfdev2和npfdev3和npfdev4機器上,執(zhí)行hadoop命令,看是否安裝成功。并且關(guān)閉防火墻。

7. 確定所有機器之間可以相互ping通,使用下面的命令:
(1). ping npfdev1

(2). ping npfdev2

(3). ping npfdev3

(4). ping npfdev4

8. 啟動hadoop:
我們這里將npfdev1作為master,npfdev2和npfdev3和npfdev4分別作為三臺slave。
(1).修改配置文件core-site.xml
進入 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop

具體配置如下:

(2).在master機器npfdev1上啟動namenode
首先需要格式化namenode,第一次使用需要格式化,后來就不需要了。
hdfs namenode -format

然后啟動namenode:
hadoop-daemon.sh start namenode

通過jps命令查看,如果有namenode的java進程,就說明我們啟動namenode成功。

(3).在slave機器npfdev2,npfdev3,npfdev4上啟動datanode

總結(jié)
以上所述是小編給大家介紹的Hadoop的安裝與環(huán)境搭建教程圖解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!
相關(guān)文章
MyBatis?Generator生成的$?sql是否存在注入風(fēng)險詳解
這篇文章主要介紹了MyBatis?Generator生成的$?sql是否存在注入風(fēng)險詳解,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-12-12
Java中Executor和Executors的區(qū)別小結(jié)
在Java并發(fā)編程中,Executor是一個核心接口,提供了任務(wù)執(zhí)行的抽象方法,而Executors是一個工具類,提供了創(chuàng)建各種線程池的工廠方法,Executor關(guān)注任務(wù)的執(zhí)行,而Executors關(guān)注如何創(chuàng)建適合的執(zhí)行器,感興趣的可以了解一下2024-10-10
SpringBoot如何優(yōu)雅的實現(xiàn)重試功能
這篇文章主要詳細介紹了SpringBoot如何優(yōu)雅的實現(xiàn)重試功能的步驟詳解,文中有詳細的代碼示例,具有一定的參考價值,感興趣的同學(xué)可以借鑒閱讀2023-06-06
Spring Security單項目權(quán)限設(shè)計過程解析
這篇文章主要介紹了Spring Security單項目權(quán)限設(shè)計過程解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-11-11
IDEA 中創(chuàng)建Spring Data Jpa 項目的示例代碼
這篇文章主要介紹了IDEA 中創(chuàng)建Spring Data Jpa 項目的示例代碼,本文通過實例代碼給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04

