ubuntu15.10下hadoop2.7.2的安裝與配置詳解
網(wǎng)上和很多書上都有不少的hadoop在linux系統(tǒng)下的安裝教程,但是嘗試過(guò)的讀者會(huì)發(fā)現(xiàn),就算是按照這些教程一步步的操作,還是會(huì)在某個(gè)地方出錯(cuò),主要原因是版本問(wèn)題。尤其是書上的版本一般都較老,所以并不建議對(duì)著書上的教程來(lái)操作,但是可以作為參考。下面給出我自己親身實(shí)踐的安裝過(guò)程,盡量把我知道的原理也寫出來(lái),這樣就算有些步驟出現(xiàn)問(wèn)題,知道了原因也是很容易解決的,就怕出現(xiàn)問(wèn)題了,還不知道問(wèn)題出在哪?
下面的代碼都是在ubuntu的命令窗口(terminal)中輸入:
1.工具準(zhǔn)備:
1.1 更新apt-get:在命令行窗口中使用apt-get安裝軟件很方便;
sudo apt-get update
1.2 安裝vim:配置文件。
sudo apt-get install vim
根據(jù)輸出結(jié)果,需要輸入“Y”來(lái)繼續(xù)。
2.創(chuàng)建hadoop用戶:
2.1增加hadoop用戶:創(chuàng)建 hadoop 用戶,并使用 /bin/bash 作為 shell
sudo useradd -m hadoop -s /bin/bash
2.2設(shè)置密碼,按提示輸入兩次密碼:
sudo passwd hadoop
2.3為 hadoop 用戶增加管理員權(quán)限:
sudo adduser hadoop sudo
3.安裝SSH、配置SSH無(wú)密碼登陸
集群、單節(jié)點(diǎn)模式都需要用到 SSH 登陸(類似于遠(yuǎn)程登陸,你可以登錄某臺(tái) Linux 主機(jī),并且在上面運(yùn)行命令),Ubuntu 默認(rèn)已安裝了 SSH client,此外還需要安裝 SSH server:
sudo apt-get install openssh-server
安裝后,可以使用如下命令登陸本機(jī):
ssh localhost
4.安裝java環(huán)境
4.1安裝jdk:
sudo apt-get install openjdk-8-jre openjdk-8-jdk
4.2配置JAVA_HOME
dpkg -L openjdk-8-jdk | grep '/bin/javac'
該命令會(huì)輸出一個(gè)路徑,除去路徑末尾的 “/bin/javac”,剩下的就是正確的路徑了。如輸出路徑為 /usr/lib/jvm/java-8-openjdk/bin/javac,則我們需要的路徑為 /usr/lib/jvm/java-8-openjdk。
如果這里輸出錯(cuò)誤,那我們?cè)趺粗繨AVA_HOME的地址呢?很簡(jiǎn)單,輸入:
java -verbose
輸出:usr/lib/jvm/java-8-openjdk/jre/lib/rt.jar
則前面的usr/lib/jvm/java-8-openjdk就是JAVA_HOME的地址。
然后,使用命令 sudo gedit /etc/profile 打開 /etc/profile 文件:
sudo gedit /etc/profile
然后在文件末尾添加如下三行:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
然后ctrl+s保存。然后執(zhí)行如下代碼,使更改生效:
$source ~/.bashrc
如果JAVA_HOME還是沒(méi)有更改過(guò)來(lái),可能是文件沒(méi)有生效,運(yùn)行
$source /etc/profile
再查看JAVA_HOME,可以發(fā)現(xiàn)是我們?cè)谖募性O(shè)置的路徑。
如果上面設(shè)置正確的話,$JAVA_HOME/bin/java -version 會(huì)輸出 java 的版本信息,且和 java -version 的輸出結(jié)果一樣,如下圖所示,則配置成功:
5.安裝Hadoop
5.1hadoop程序下載:http://mirror.bit.edu.cn/apache/hadoop/common/
建議選擇下載 “stable” 下的 hadoop-2.x.y.tar.gz 。
5.2 hadoop安裝
輸入命令:
sudo tar -zxf ~/Downloads/hadoop-2.7.2.tar.gz -C /usr/local cd /usr/local/ sudo mv ./hadoop-2.7.2/ ./hadoop sudo chown -R hadoop ./hadoop
Hadoop 解壓后即可使用。輸入如下命令來(lái)檢查 Hadoop 是否可用,成功則會(huì)顯示 Hadoop 版本信息:
cd /usr/local/hadoop ./bin/hadoop version
5.3 hadoop單擊配置
Hadoop 默認(rèn)模式為非分布式模式,無(wú)需進(jìn)行其他配置即可運(yùn)行。非分布式即單 Java 進(jìn)程,方便進(jìn)行調(diào)試。
配置尚未完成,由于近期較忙,過(guò)兩天閑下來(lái)了再配置。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- ubuntu16.04搭建nfs服務(wù)的方法
- ubuntu系統(tǒng)修改時(shí)區(qū)和時(shí)間的方法
- 使用命令行檢測(cè)Ubuntu版本方法
- Ubuntu上mysql的安裝及使用(通用版)
- 詳解Ubuntu16.04安裝Python3.7及其pip3并切換為默認(rèn)版本
- Ubuntu環(huán)境下SSH的安裝及使用詳解
- Ubuntu虛擬機(jī)下使用cutecom進(jìn)行串口通信的方法
- Ubuntu基礎(chǔ)設(shè)定:openssh-server的安裝和使用介紹
- Ubuntu下Docker CE的安裝
- Ubuntu16.04搭建php5.6Web服務(wù)器環(huán)境
相關(guān)文章
Linux將文件或目錄打成rpm包的實(shí)現(xiàn)方法
最近因?yàn)橛龅揭粋€(gè)服務(wù)器受系統(tǒng)限制,只能上傳rpm包才能使用,而我們的服務(wù)都是文件,那么怎么將文件都打成rpm包呢???我也是找了好幾個(gè),終于找到了一個(gè)簡(jiǎn)單好用的打包方式,下面來(lái)給大家講解一下部署及打包、安裝,需要的朋友可以參考下2024-11-11
使用FileZilla從Linux系統(tǒng)下載文件的方法
最近做項(xiàng)目,遇到這樣的需求,要求將Linux系統(tǒng)的的某個(gè)文件夾下載到我Windows系統(tǒng)某個(gè)文件夾里,怎么實(shí)現(xiàn)這個(gè)功能呢?下面腳本之家小編給大家?guī)?lái)了使用FileZilla從Linux系統(tǒng)下載文件的方法,感興趣的朋友一起看看吧2018-07-07
Linux?AMH?服務(wù)器管理面板遠(yuǎn)程訪問(wèn)的操作方法
AMH?是一款基于?Linux?系統(tǒng)的服務(wù)器管理面板,它提供了一系列的功能,包括網(wǎng)站管理、FTP?管理、數(shù)據(jù)庫(kù)管理、DNS?管理、SSL?證書管理等,本文介紹在Linux?中安裝AMH面板并結(jié)合Cpolar?內(nèi)網(wǎng)穿透工具實(shí)現(xiàn)遠(yuǎn)程訪問(wèn),感興趣的朋友一起看看吧2023-11-11
Ubuntu安裝Matlab2020b詳細(xì)教程和資源
大家好,本篇文章主要講的是Ubuntu安裝Matlab2020詳細(xì)教程和資源,感興趣的同學(xué)趕快來(lái)看一看吧,希望對(duì)你有幫助2021-11-11
一文詳解Linux系統(tǒng)中的文件描述符與進(jìn)程數(shù)限制
Linux 系統(tǒng)中,文件描述符和進(jìn)程數(shù)是兩個(gè)非常重要的系統(tǒng)資源,它們直接影響系統(tǒng)的性能和穩(wěn)定性,尤其是在高負(fù)載的服務(wù)器環(huán)境中,本文將深入探討如何查看和調(diào)整 Linux 系統(tǒng)中的文件描述符和進(jìn)程數(shù)限制,幫助系統(tǒng)管理員和開發(fā)者更好地優(yōu)化系統(tǒng)配置2025-02-02
linux中tar打包指定路徑文件的實(shí)現(xiàn)方法
下面小編就為大家?guī)?lái)一篇linux中tar打包指定路徑文件的實(shí)現(xiàn)方法。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-12-12
比較詳細(xì)的基于CentOS的WWW服務(wù)器架設(shè)指南
本文參考了網(wǎng)上高手的教程和結(jié)合自己的實(shí)踐經(jīng)驗(yàn)而來(lái)。網(wǎng)上關(guān)于LAMP安裝配置的教程雖然很多,但長(zhǎng)篇大論的讓你抓不到重點(diǎn),短小精悍的對(duì)新手來(lái)說(shuō)又難了點(diǎn),所以初次配置時(shí)最容易在某個(gè)環(huán)節(jié)卡住,從而打擊了學(xué)習(xí)的激情或者耽誤了寶貴的時(shí)間。于是就整理出這個(gè)學(xué)習(xí)筆記。如果文中有錯(cuò)誤的地方,懇請(qǐng)大家指正,不要誤導(dǎo)了初學(xué)者。2008-06-06

