VMware虛擬機(jī)下hadoop1.x的安裝方法
這是Hadoop學(xué)習(xí)全程記錄第1篇，在這篇里我將介紹一下如何在Linux下安裝Hadoop1.x。
先說(shuō)明一下我的開(kāi)發(fā)環(huán)境：
虛擬機(jī)：VMware8.0；
操作系統(tǒng)：CentOS6.4；
版本：jdk1.8；hadoop1.2.1
①下載hadoop1.2.1，網(wǎng)盤(pán)：鏈接: https://pan.baidu.com/s/1sl5DMIp 密碼: 5p67
下載jdk1.8，網(wǎng)盤(pán)：鏈接: https://pan.baidu.com/s/1boN1gh5 密碼: t36h
將 jdk-8u144-linux-x64.tar.gz 解壓至 /home/wyt/jdk8 文件夾下，將 hadoop-1.2.1.tar.gz 解壓至 /home/wyt/hadoop 文件夾下。
②配置jdk及hadoop環(huán)境變量：修改/etc/profile文件
vim /etc/profile //輸入I，進(jìn)入編輯模式
export JAVA_HOME=/home/wyt/jdk8 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib export HADOOP_HOME=/home/wyt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
//按Esc，按Shift，輸入：wq source /etc/profile //保存并退出
③測(cè)試
java，javac，java -version hadoop
④修改hadoop配置文件
<!-- hadoop-env.sh --> export JAVA_HOME=/usr/java/jdk8 <!-- core-site.xml --> <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <!-- hdfs-site.xml --> <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property> <!-- mapred-site.xml --> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
并在hadoop安裝目錄下新建data、name、tmp文件夾。
⑤名稱(chēng)節(jié)點(diǎn)格式化，并查看運(yùn)行狀態(tài)
hadoop namenode -format //cd 命令切換至 hadoop/bin/文件夾下，輸入 ls 命令查看 start-all.sh jps //查看運(yùn)行狀態(tài)，運(yùn)行正常的話需要多次輸入密碼 //最后結(jié)果為： // Jps // JobTracker // NameNode // DataNode // SecondaryNameNode // NodeManager
⑥測(cè)試hdfs
//常用hdfs命令： hadoop fs -ls /查看目錄 hadoop fs -put a.txt /user/hadoop/放入 hadoop fs -cat /user/hadoop/a.txt 查看內(nèi)容 hadoop fs -rmr /output：刪除文件/文件夾
附：linux常用命令：
cd .. //返回上級(jí)目錄 cd ~ //返回Home目錄 cd / //返回根目錄 cd var/ //進(jìn)入var/文件夾下（使用tab） su - //超級(jí)管理員模式 ifconfig //查看ip
附：其他常用linux操作軟件：
//windows與虛擬機(jī)centos文件傳輸： filezilla；Xftp 5；或者安裝VMware Tools（可便捷使用剪切板及文件復(fù)制功能） //脫離虛擬機(jī)centos輸入命令行： Xshell 5
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Java中SpringBoot自定義Starter詳解,Starter是Spring Boot中的一個(gè)非常重要的概念，Starter相當(dāng)于模塊，它能將模塊所需的依賴(lài)整合起來(lái)并對(duì)模塊內(nèi)的Bean根據(jù)環(huán)境進(jìn)行自動(dòng)配置,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了mybatis-plus 版本不兼容問(wèn)題的解決，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
MyBatis幾種不同類(lèi)型傳參的方式總結(jié)
這篇文章主要介紹了MyBatis幾種不同類(lèi)型傳參的方式總結(jié)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
解決RedisTemplate的key默認(rèn)序列化器的問(wèn)題
這篇文章主要介紹了解決RedisTemplate的key默認(rèn)序列化器的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
這篇文章主要介紹了Java線程之死鎖，死鎖是這樣一種情形-多個(gè)線程同時(shí)被阻塞，它們中的一個(gè)或者全部都在等待某個(gè)資源被釋放。由于線程被無(wú)限期地阻塞，因此程序不可能正常終止2022-05-05
Java使用設(shè)計(jì)模式中迭代器模式構(gòu)建項(xiàng)目的代碼結(jié)構(gòu)示例
這篇文章主要介紹了Java使用設(shè)計(jì)模式中迭代器模式構(gòu)建項(xiàng)目的代碼結(jié)構(gòu)示例,迭代器模式能夠?qū)υL問(wèn)者隱藏對(duì)象的內(nèi)部細(xì)節(jié),需要的朋友可以參考下2016-05-05
Maven分步詳解多環(huán)境配置與應(yīng)用流程
這篇文章主要介紹了Maven進(jìn)階多環(huán)境配置與應(yīng)用,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
MyBatis是一個(gè)支持普通SQL查詢(xún)，存儲(chǔ)過(guò)程和高級(jí)映射的優(yōu)秀持久層框架。這篇文章主要介紹了mybatis中批量插入的兩種方式(高效插入)的相關(guān)資料，非常不錯(cuò)，具有參考借鑒價(jià)值，感興趣的朋友一起看看吧2016-09-09
如何使用spring?boot的程序主線程中異步訪問(wèn)外部接口
CompletableFuture.supplyAsync提供了一種強(qiáng)大的工具，使您能夠以異步方式執(zhí)行操作，充分利用多核處理器和提高程序性能，同時(shí)保持代碼的清晰性和可維護(hù)性，本文給大家介紹使用spring?boot的程序主線程中異步訪問(wèn)外部接口，感興趣的朋友一起看看吧2023-10-10
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)二分查找的變種，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-12-12