Hadoop1.2中配置偽分布式的實(shí)例

更新時(shí)間：2014年04月28日 08:44:20 投稿：junjie

這篇文章主要介紹了Hadoop1.2中配置偽分布式的實(shí)例,使用的系統(tǒng)是linux mint 15 64bit，hadoop使用的是1.2.1版本,需要的朋友可以參考下

1、設(shè)置ssh

安裝ssh相關(guān)軟件包：

sudo apt-get install openssh-client openssh-server

然后使用下面兩個(gè)命令之一啟動(dòng)/關(guān)閉sshd：

sudo /etc/init.d/ssh start|stop
sudo service ssh start|stop

若成功啟動(dòng)sshd，我們能看到如下類似結(jié)果：

復(fù)制代碼代碼如下:

$ ps -e | grep ssh
 2766 ?        00:00:00 ssh-agent
10558 ?        00:00:00 sshd

這時(shí)候，如果運(yùn)行如下ssh登錄本機(jī)的命令，會(huì)提示輸入密碼：

復(fù)制代碼代碼如下:

ssh localhost

現(xiàn)在我們要做的就是讓它不需要輸入密碼：

復(fù)制代碼代碼如下:

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  #一個(gè)空密碼的SSH密鑰
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

這樣的話就行了。如果仍不湊效，可能是密鑰文件的權(quán)限設(shè)置不當(dāng)。

2、配置hadoop

將hadoop-1.2.1解壓到~/下，同時(shí)在~/下建立目錄hadoop-env，繼續(xù)在hadoop-env下建立如下的目錄結(jié)構(gòu)：

├── dfs
│   ├── checkpoint1
│   ├── data1
│   ├── data2
│   └── name1
└── test
    └── input
配置文件hadoop-1.2.1/conf/core-site.xml：

復(fù)制代碼代碼如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <final>true</final>
  </property>
</configuration>

fs.default.name來指定HDFS的uri，如果value中沒有提供端口，默認(rèn)為8020。

配置文件hadoop-1.2.1/conf/hdfs-site.xml：

復(fù)制代碼代碼如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>dfs.name.dir</name>
    <value>~/hadoop-env/dfs/name1</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>~/hadoop-env/dfs/data1,~/hadoop-env/dfs/data2</value>
    <final>true</final>
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>~/hadoop-env/dfs/checkpoint1</value>
    <final>true</final>
  </property>
</configuration>

dfs.name.dir指定namenode存儲(chǔ)元數(shù)據(jù)的目錄，可以指定多個(gè)目錄，這些目錄要用逗號(hào)分開；dfs.data.dir指定datanode存放數(shù)據(jù)的目錄，可以指定多個(gè)目錄；fs.checkpoint.dir指定輔助namenode存放檢查點(diǎn)的目錄。

配置文件hadoop-1.2.1/conf/mapred-site.xml：

復(fù)制代碼代碼如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
    <final>true</final>
  </property>
</configuration>

3、測(cè)試

先格式化HDFS：

復(fù)制代碼代碼如下:

./hadoop-1.2.1/bin/hadoop namenode -format

啟動(dòng)HDFS和MapReduce進(jìn)程：

復(fù)制代碼代碼如下:

$ ./hadoop-1.2.1/bin/start-dfs.sh
$ ./hadoop-1.2.1/bin/start-mapred.sh

啟動(dòng)時(shí)候如果報(bào)錯(cuò)，例如localhost: Error: JAVA_HOME is not set.，需要在./hadoop-1.2.1/conf/hadoop-env.sh文件中export JAVA_HOME，例如：

export JAVA_HOME=~/jdk1.7.0_25
如何檢查是否成功啟動(dòng)了：第一種方法是使用jps命令（Java Virtual Machine Process Status Tool），應(yīng)該有如下類似輸出：

復(fù)制代碼代碼如下:

$ jps
DataNode
SecondaryNameNode
JobTracker
NameNode
TaskTracker
Jps

第二種方法是瀏覽器登錄http://localhost:50030查看jobtracker，http://localhost:50070查看namenode。

現(xiàn)在我們?cè)趡/hadoop-env/test/input目錄下建立兩個(gè)文件：

復(fù)制代碼代碼如下:

$ echo "hello world" > test1.txt
$ echo "hi,world" > test2.txt

把這兩個(gè)文件導(dǎo)入HDFS：

復(fù)制代碼代碼如下:

./hadoop-1.2.1/bin/hadoop dfs -put hadoop-env/test/input/ output/

查看：

復(fù)制代碼代碼如下:

$ ./hadoop-1.2.1/bin/hadoop dfs -ls /
Found 2 items
drwxr-xr-x - user supergroup 0 2013-10-22 22:07 /test
drwxr-xr-x - user supergroup 0 2013-10-22 21:58 /tmp

$ ./hadoop-1.2.1/bin/hadoop dfs -ls /test
Found 2 items
-rw-r--r-- 3 user supergroup 12 2013-10-22 22:07 /test/test1.txt
-rw-r--r-- 3 user supergroup 9 2013-10-22 22:07 /test/test2.txt

OK，配置完成。

注：本文使用的系統(tǒng)是linux mint 15 64bit，hadoop使用的是1.2.1版本。

您可能感興趣的文章: