Linux中Centos7搭建Hadoop服務(wù)步驟
下載Hadoop 官網(wǎng)：http://hadoop.apache.org/releases.html
先配置jdk環(huán)境（教程：http://www.dhdzp.com/article/108936.htm）
下載以后 解壓到到/usr/local
tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local
為了方便操作 把hadoop-2.8.0 改為hadoop
mv /usr/local/hadoop-2.8.0 /usr/local/hadoop
查看主機(jī)名
hostname //第一個參數(shù)為主機(jī)名
檢查是否可以免密碼
ssh localhost //這里的localhost為主機(jī)名
注意：一般初次安裝都需要密碼
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
再次驗證
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
注意：如沒有Enter password 就說明免密碼了
配置環(huán)境變量
vim /etc/profile
末尾添加
export HADOOP_HOME=/usr/local/hadoop export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin
使環(huán)境變量立即生效
source /etc/profile
創(chuàng)建Hadoop的臨時文件存放地
mkdir /usr/local/hadoop/tmp
編輯Hadoop的配置文件
cd /usr/local/hadoop/etc/hadoop/ vim hadoop-env.sh
末尾添加
export JAVA_HOME=/usr/local/java/jdk1.8.0_131/ export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
注意：路徑要對
使環(huán)境變量立即生效
source hadoop-env.sh
配置另一個文件
vim core-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
配置下一個文件 hdfs-site.xml
vim hdfs-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
配置下一個文件mapred-site.xml 因為這個文件默認(rèn)不存在 我們把mapred-site.xml.template作為模板來配置
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置下下個文件yarn-site.xml
vim yarn-site.xml
在<configuration></configuration>中添加以下內(nèi)容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
配置最后一個文件yarn-env.sh
vim yarn-env.sh
注意：在第23行左右 export JAVA_HOME （刪除# 去掉注釋），并更改正確jdk的路徑
格式化namenode
cd /usr/local/hadoop bin/hdfs namenode-format
注意：成功的話，會看到 “successfully formatted” 和 “Exitting withstatus 0” 的提示，若為 “Exitting with status 1” 則是出錯了
通過腳本啟動hdfs
sbin/start-dfs.sh
打開瀏覽器訪問http://localhost:50070，驗證是否hdfs配置成功
再來啟動yarn
sbin/start-yarn.sh
打開瀏覽器訪問http://localhost:8088，驗證yarn是否配置成功
注意：由于瀏覽器存在緩存問題 打開地址可能會失敗關(guān)閉瀏覽器 重新打開一兩次就好，如果還是失敗 檢查配置文件是否有誤
查看已啟動的hadoop進(jìn)程
jps
注意：如果沒有 NameNode 或 DataNode ，那就是配置不成功
相關(guān)文章
詳解Centos7.2編譯安裝zabbix3.2（詳細(xì)步驟）
這篇文章主要介紹了詳解Centos7.2編譯安裝zabbix3.2（詳細(xì)步驟），小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
這篇文章主要介紹了linux如何停止jar包進(jìn)程問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-05-05
今天小編就為大家分享一篇linux直接運(yùn)行py文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
本文給大家匯總介紹了Apache的虛擬目錄的簡單使用方法的知識，非常的簡單實用，有需要的小伙伴可以參考下2018-08-08
這篇文章主要介紹了Linux sar命令使用方法及代碼實例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08
這篇文章主要為大家詳細(xì)介紹了Linux開機(jī)啟動過程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-04-04
這篇文章主要介紹了Linux的庫文件的相關(guān)內(nèi)容，小編覺得很不錯，在這里分享給大家。希望給大家一個參考。2017-10-10
shell腳本批量執(zhí)行ping和telnet測試網(wǎng)絡(luò)方式
文章介紹了如何通過創(chuàng)建shell腳本來簡化本地網(wǎng)絡(luò)測試任務(wù),包括ping和telnet測試,文章詳細(xì)描述了腳本的創(chuàng)建、編輯、賦予執(zhí)行權(quán)限以及執(zhí)行的步驟,并提供了具體的腳本示例2024-12-12
如何使用win10內(nèi)置的linux系統(tǒng)啟動spring-boot項目
這篇文章主要介紹了如何使用​win10內(nèi)置的linux系統(tǒng)啟動spring-boot項目,需要的朋友可以參考下2020-07-07
淺談Linux 網(wǎng)絡(luò) I/O 模型簡介（圖文）
這篇文章主要介紹了淺談Linux 網(wǎng)絡(luò) I/O 模型簡介（圖文），小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-12-12