vmware配置hadoop實(shí)現(xiàn)偽分布式的圖文教程
一、實(shí)驗(yàn)環(huán)境
| 編號 | 項(xiàng)目 | 軟件及版本 |
|---|---|---|
| 1 | 操作系統(tǒng) | CentOS6 |
| 2 | 環(huán)境軟件 | VMware 12 |
| 3 | jdk環(huán)境 | jdk1.8.0_181 |
| 4 | Hadoop | Hadoop2.8.5 |
| 5 | 本機(jī)操作系統(tǒng) | win10專業(yè)版 |
二、準(zhǔn)備Linux網(wǎng)絡(luò)環(huán)境
1.0點(diǎn)擊VMware快捷方式,右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設(shè)置網(wǎng)段:192.168.150.0 子網(wǎng)掩碼:255.255.255.0 -> apply -> ok




回到windows --> 打開網(wǎng)絡(luò)和共享中心 -> 更改適配器設(shè)置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設(shè)置windows的IP:192.168.150.110 子網(wǎng)掩碼:255.255.255.0 -> 點(diǎn)擊確定




在虛擬軟件上 --My Computer -> 選中虛擬機(jī) -> 右鍵 -> settings -> network adapter -> host only -> ok


三、配置hostname
修改主機(jī)名(永久修改)
修改hosts文件




四、修改centos中的IP
通過Linux圖形界面進(jìn)行修改(強(qiáng)烈推薦)
進(jìn)入Linux圖形界面 -> 右鍵點(diǎn)擊右上方的兩個小電腦 -> 點(diǎn)擊Edit connections -> 選中當(dāng)前網(wǎng)絡(luò)System eth0 -> 點(diǎn)擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點(diǎn)擊add按鈕 -> 添加IP:192.168.150.110 子網(wǎng)掩碼:255.255.255.0 網(wǎng)關(guān):192.168.150.1 -> apply


五、永久關(guān)閉防火墻
查看防火墻狀態(tài)

停止防火墻

永久關(guān)閉防火墻

六、解壓jdk

修改環(huán)境變量并且source一下



七、解壓hadoop

八、修改配置文件(5個)
第一個:hadoop-env.sh ,在/cloud/hadoop-2.8.5/etc/hadoop下面
在大約27行修改,要看行號,可以vi該文件之后,按esc,輸入冒號,再輸入set nu回車,就有行號了
export JAVA_HOME=/usr/java/jdk1.8.0_181


第二個:core-site.xml
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://itcast01:9000</value> </property> <!-- 指定hadoop運(yùn)行時產(chǎn)生文件的存儲路徑 --> <property> <name>hadoop.tmp.dir</name> <value>/cloud/hadoop-2.8.5/tmp</value> </property> </configuration>

第三個:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml
<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>


這里結(jié)束之后在輸入,修改xml文件名字
mv mapred-site.xml.template mapred-site.xml
第四個:hdfs-site.xml
<configuration> <!-- 設(shè)置hdfs副本數(shù)量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

第五個:yarn-site.xml
<configuration> <!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>


九、將hadoop添加到環(huán)境變量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181 export HADOOP_HOME=/cloud/hadoop-2.8.5 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin source /etc/profile

十、格式化HDFS(namenode)第一次使用時要格式化(忘記截圖了)
hadoop namenode -format
十一、啟動hadoop
啟動start-all
在/cloud/hadoop/sbin/下
輸入./start-all.sh

然后不停的輸入密碼和yes

十二、輸入jps查看是否配置成功
紅框中的東西,一共6個,缺一不可,不然就是有東西沒配置好,根據(jù)周邊同學(xué)經(jīng)驗(yàn),要么網(wǎng)絡(luò)沒配置好,要么上面5個配置文件沒寫好,實(shí)在找不到,最簡單粗暴麻煩但是有效的方法,從頭裝機(jī)再來吧,我是一口氣成功。

進(jìn)入centos中的瀏覽器
從瀏覽器中輸入centos 的ip端口號50070看到下圖

從瀏覽器輸入centos的ip端口號8088出現(xiàn)下圖,成功

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
優(yōu)化提高VMware虛擬機(jī)運(yùn)行速度的技巧(詳細(xì)圖文教程)
本篇文章主要是介紹了優(yōu)化提高VMware虛擬機(jī)運(yùn)行速度的技巧,有效的解決了虛擬機(jī)卡、慢的問題,感興趣的小伙伴們可以參考一下。2016-11-11
VMware下Ubuntu 14.04靜態(tài)IP地址的設(shè)置方法
VMware虛擬機(jī)下運(yùn)行Linux系統(tǒng)已經(jīng)是非常常見了,在WMware中安裝了Ubuntu,每次啟動Ubuntu系統(tǒng),VMWare都會為Ubuntu分配一個動態(tài)IP,下面通過本文給大家分享VMware下Ubuntu 14.04靜態(tài)IP地址的設(shè)置方法,感興趣的朋友一起看看吧2017-11-11
Vmware部署Nginx+KeepAlived集群雙主架構(gòu)的問題及解決方法
這篇文章主要介紹了Vmware部署Nginx+KeepAlived集群雙主架構(gòu)的問題,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-08-08
從零開始安裝VMwareTools的詳細(xì)步驟(圖文教程)
這篇文章主要介紹了從零開始安裝VMwareTools的詳細(xì)步驟,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2020-02-02
VMware EXSI為虛擬機(jī)centos安裝VMware Tools
這篇文章主要為大家詳細(xì)介紹了VMware EXSI為虛擬機(jī)centos安裝VMware Tools的相關(guān)資料,具有一定的參考價值,感興趣的小伙伴們可以參考一下2016-11-11
解決win10家庭版VMware不能安裝64位操作系統(tǒng)問題
這篇文章主要介紹了如何解決win10家庭版VMware不能安裝64位操作系統(tǒng)問題,本文圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下2019-11-11
VMware?Linux?Centos配置網(wǎng)絡(luò)并設(shè)置為靜態(tài)ip的圖文教程
這篇文章主要為大家學(xué)習(xí)介紹了VMware?Linux?Centos配置網(wǎng)絡(luò)并設(shè)置為靜態(tài)ip的教程,文中通過圖片為大家進(jìn)行了詳細(xì)講解,需要的可以收藏一下2023-08-08
VMware虛擬機(jī)安裝Ubuntu20.04詳細(xì)教程(最新推薦)
本文詳細(xì)介紹了如何在VMware虛擬機(jī)中安裝Ubuntu 20.04的操作步驟,包括下載和安裝VMware Workstation、配置虛擬機(jī)、安裝Ubuntu系統(tǒng)、設(shè)置中文環(huán)境、調(diào)整顯示器大小、完成安裝以及更改軟件源配置,感興趣的朋友一起看看吧2024-11-11

