hadoop 單機安裝配置教程

更新時間：2012年11月26日 14:59:20 作者：

單機安裝主要用于程序邏輯調試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等,需要的朋友可以參考下

單機安裝主要用于程序邏輯調試。安裝步驟基本通分布式安裝，包括環(huán)境變量，主要Hadoop配置文件，SSH配置等。主要的區(qū)別在于配置文件：slaves配置需要修改，另外如果分布式安裝中dfs.replication大于1，需要修改為1，因為只有1個datanode.
分布式安裝請參考：
http://acooly.iteye.com/blog/1179828
單機安裝中，使用一臺機器，即做namenode和JobTracker也是datanode和TaskTracker，當然也是SecondaryNameNode。
主要配置文件core-site.xml,hdfs-site.xml,mapred-site.xml,masters完全同分布樹安裝配置，如果分布式安裝配置方案中hdfs-site.xml的副本數量定義大于1，則修改為1.

復制代碼代碼如下:

 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 

主要不同在于slaves的配置，分布式安裝中是多個其他機器作為datanode，單機模式本機是datanode,所以修改slaves配置文件為本機的域名。如：本機機器名為hadoop11,則：
[hadoop@hadoop11 ~]$ cat hadoop/conf/slaves
hadoop11
完成配置后，啟動：

復制代碼代碼如下:

 
$ start-all.sh 
$ jps 
Jps 
JobTracker 
TaskTracker 
SecondaryNameNode 
DataNode 
NameNode 

運行DEMO
$ echo word1 word2 word2 word3 word3 word3 > words
$ cat words
word1 word2 word2 word3 word3 word3
$ hadoop dfsadmin -safemode leave
$ hadoop fs -copyFromLocal words /single/input/words
$ hadoop fs -cat /single/input/words
12/02/17 19:47:44 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
word1 word2 word2 word3 word3 word3
$ hadoop jar hadoop-0.21.0/hadoop-mapred-examples-0.21.0.jar wordcount /single/input /single/output
......
$ hadoop fs -ls /single/output
......
-rw-r--r-- 1 hadoop supergroup 0 2012-02-17 19:50 /single/output/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 24 2012-02-17 19:50 /single/output/part-r-00000
$ hadoop fs -cat /single/output/part-r-00000
......
word1 1
word2 2
word3 3

您可能感興趣的文章:

Java使用TCP實現在線聊天的示例代碼
這篇文章主要介紹了Java使用TCP實現在線聊天的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-01-01
Java Swing實現簡單的體重指數(BMI)計算器功能示例
這篇文章主要介紹了Java Swing實現簡單的體重指數(BMI)計算器功能,涉及Java Swing窗口組件布局、響應及數值運算相關操作技巧,需要的朋友可以參考下
2017-12-12
Java實現簡易Web服務器
這篇文章主要為大家詳細介紹了Java實現簡易Web服務器的相關方法，想要制作Web服務器的朋友可以參考本文
2016-02-02
JsonProperty及JSONField注解的使用說明
文章介紹了兩個常用的Java庫注解：Jackson的@JsonProperty和Fastjson的@JSONField,它們用于控制Java對象與JSON數據之間的序列化和反序列化,文章詳細說明了這兩個注解的常見屬性及其使用場景,包括指定屬性名、控制字段可見性、設置默認值和標記字段的必需性
2024-12-12
Java中的繼承關系與方法覆蓋
這篇文章主要介紹了Java中的繼承關系與方法覆蓋,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-03-03
Java 獲取本機的IP與MAC地址實現詳解
這篇文章主要介紹了Java 獲取本機的IP與MAC地址實現詳解的相關資料,需要的朋友可以參考下
2016-09-09
詳細總結Java組合模式
今天帶大家了解Java設計模式中的組合模式,下文中對組合模式介紹的非常詳細,還有相關代碼,對正在學習Java的小伙伴們很有幫助,需要的朋友可以參考下
2021-05-05
MyBatisPlus代碼生成器的原理及實現詳解
這篇文章主要為大家詳細介紹了MyBatisPlus中代碼生成器的原理及實現，文中的示例代碼講解詳細，對我們學習MyBatisPlus有一定幫助，需要的可以參考一下
2022-08-08
Spring中的@ExceptionHandler注解統(tǒng)一異常處理詳解
這篇文章主要介紹了Spring中的@ExceptionHandler注解統(tǒng)一異常處理詳解,當我們使用這個@ExceptionHandler注解時,定義一個異常的處理方法,加上@ExceptionHandler注解,這個方法就會處理類中其他方法拋出的異常,需要的朋友可以參考下
2024-01-01
java UDP實現一個聊天工具的示例代碼
這篇文章主要介紹了java UDP實現一個聊天工具的示例代碼,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2021-01-01