www.zjcoo.com

 　　部署環境：

　　OS：Redhat 5.5 Enterprise

　　JDK：jdk1.6.0_32

　　Hadoop：Hadoop-0.20.2

　　VMWare：7.0

　　節點安排及網絡拓撲：

　　節點類型節點IP節點hostname

　　master節點 192.168.40.5master

　　slave節點　 192.168.40.5master(此時(shí)，master既是master節點，也是slave節點)

　　192.168.40.6salve1

　　192.168.40.7slave2

　　secondaryName節點192.168.40.5master(此時(shí)，master既是master節點，也是slave節點，也是secondaryNameNode)

　　配置步驟：

　　一、網絡配置

　　首先關閉三台虛拟機的防火(huǒ)牆，步驟可(kě)參考：關閉防火(huǒ)牆

　　先用VMWare安裝三台虛拟機(可(kě)以先安裝一台，然後clone兩台)，按照節點安排及網絡拓撲配置網絡，先配置master節點的網絡：

　　① 靜态網絡IP配置見VMware Redhat網絡配置，分别将三台虛拟機的IP進行(xíng)設置

　　② 修改主機名：vi /etc/hosts(解析IP要用)，添加

　　192.168.40.5 master

　　192.168.40.6 slave1

　　192.168.40.7 slave2

　　③ 按照此過程及相同數(shù)據(除了IP地址不同)對三台虛拟機進行(xíng)配置

　　二、 安裝jdk

　　Hadoop 是用java開(kāi)發的，Hadoop的編譯及mapreduce的運行(xíng)都需要使用JDK，所以JDK是必須安裝的

　　① 下載jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

　　② 在用戶根目錄下，建立bin文件夾：mkdir ~/bin(也可(kě)放在其他處，個(gè)人(rén)習慣而已)

　　③ 改變執行(xíng)權限：chmod u+x jdk-6u26-linux-i586.bin

　　④ 執行(xíng)文件：sudo -s ./jdk-6u26-linux-i586.bin，一路确定

　　⑤ 配置環境變量：vi ~/.bash_profile,添加：

　　export JAVA_HOME=/root/bin/jdk1.6.0_32 export PATH=$PATH:$JAVA_HOME/bin

　　⑥ 使profile文件生(shēng)效：source ~/.bash_profile

　　⑦ 驗證是否配置成功：which java

　　[root@master ~]# which java

　　/root/bin/jdk1.6.0_32/bin/java 配置生(shēng)效。也可(kě)輸入java -version, java, javac進一步确定

　　⑧ 分别相同配置另外兩台主機

　　

　　三、建立ssh互信

　　hadoop 需要通(tōng)過ssh互信來(lái)啓動slave裏表中各個(gè)主機的守護進程，所以SSH是必須安裝的(redhat 5.5 Enterprise 以默認安裝)。但(dàn)是是否建立ssh互信(即無密碼登陸)并不是必須的，但(dàn)是如果不配置，每次啓動hadoop，都需要輸入密碼以便登錄到每台機器(qì)的Datanode上(shàng)，而一般的hadoop集群動辄數(shù)百或數(shù)千台機器(qì)，因此一般來(lái)說都會(huì)配置ssh互信。

　　① 生(shēng)成密鑰并配置ssh無密碼登陸主機(在master主機)

　　ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　② 将authorized_keys文件拷貝到兩台slave主機

　　scp authorized_keys slave1:~/.ssh/

　　scp authorized_keys slave2:~/.ssh/

　　③ 檢查是否可(kě)以從master無密碼登陸slave機

　　ssh slave1(在master主機輸入) 登陸成功則配置成功，exit退出slave1返回master

　　四、配置Hadoop

　　① 下載：點擊到下載頁面，選擇hadoop-0.20.2.tar.gz

　　② 放到~/bin下解壓： tar -xzvf hadoop-0.20.2.tar.gz

　　③ 解壓後進入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

　　修改hadoop-env.sh:

　　export JAVA_HOME=/root/bin/jdk1.6.0_32轉載注明(míng)出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/

　　hadoop-env.sh裏面有(yǒu)這一行(xíng)，默認是被注釋的，隻需要把注釋去掉，并且把JAVA_HOME 改成你(nǐ)的java安裝目錄即可(kě)

　　修改core-site.xml

　　

　　

　　

　　

　　fs.default.name

　　hdfs://master:9000

　　

　　Hadoop.tmp.dir

　　/tmp/hadoop-root

　　

　　

　　注釋一：hadoop分布式文件系統文件存放位置都是基于hadoop.tmp.dir目錄的，namenode的名字空(kōng)間(jiān)存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode數(shù)據塊的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以設置好hadoop.tmp.dir目錄後，其他的重要目錄都是在這個(gè)目錄下面，這是一個(gè)根目錄。

　　注釋二：fs.default.name,設置namenode所在主機，端口号是9000

　　注釋三：core-site.xml 對應有(yǒu)一個(gè)core-default.xml, hdfs-site.xml對應有(yǒu)一個(gè)hdfs-default.xml,mapred-site.xml對應有(yǒu)一個(gè)mapred-default.xml。這三個(gè)defalult文件裏面都有(yǒu)一些(xiē)默認配置，現在我們修改這三個(gè)site文件，目的就覆蓋default裏面的一些(xiē)配置

　　修改hdfs-site.xml

　　

　　

　　

　　

　　dfs.replication

　　3

　　

　　

　　dfs.replication，設置數(shù)據塊的複制(zhì)次數(shù)，默認是3，如果slave節點數(shù)少(shǎo)于3，則寫成相應的1或者2

　　修改mapred-site.xml

　　

　　

　　

　　

　　mapred.job.tracker

　　http://master:9001

　　

　　

　　mapred.job.tracker，設置jobtracker所在機器(qì)，端口号9001

　　修改masters

　　master

　　雖然masters內(nèi)寫的是master，但(dàn)是個(gè)人(rén)感覺，這個(gè)并不是指定master節點，而是配置secondaryNameNode

　　修改slaves

　　master

　　slave1

　　slave2

　　配置了集群中所有(yǒu)slave節點

　　④ 添加hadoop環境變量，并 source ~/.bash_profile使之生(shēng)效

　　export JAVA_HOME=/root/bin/jdk1.6.0_32 export HADOOP_HOME=/root/bin/hadoop-0.20.2 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

　　⑤ 将已經配置好的hadoop-0.20.2，分别拷貝到另外兩台主機，并做(zuò)相同配置

　　⑥ 此時(shí)，hadoop的集群配置已經完成，輸入hadoop，則可(kě)看到hadoop相關的操作(zuò)

　　[root@master ~]# hadoop

　　Usage: hadoop [--config confdir] COMMAND

　　where COMMAND is one of:

　　namenode -format format the DFS filesystem

　　secondarynamenode run the DFS secondary namenode

　　namenode run the DFS namenode

　　datanode run a DFS datanode

　　dfsadmin run a DFS admin client

　　mradmin run a Map-Reduce admin client

　　fsck run a DFS filesystem checking utility

　　fs run a generic filesystem user client

　　balancer run a cluster balancing utility

　　jobtracker run the MapReduce job Tracker node

　　pipes run a Pipes job

　　tasktracker run a MapReduce task Tracker node

　　job manipulate MapReduce jobs

　　queue get information regarding JobQueues

　　version print the version

　　jar run a jar file

　　distcp copy file or directories recursively

　　archive -archiveName NAME * create a hadoop archive

　　daemonlog get/set the log level for each daemon

　　or

　　CLASSNAME run the class named CLASSNAME

　　Most commands print help when invoked w/o parameters.

　　⑦ 此時(shí)，首先格式化hadoop

　　在命令行(xíng)裏執行(xíng)，hadoop namenode -format

　　⑧ 啓動hadoop

　　在命令行(xíng)裏執行(xíng)，start-all.sh，或者執行(xíng)start-dfs.sh,再執行(xíng)start-mapred.sh

　　⑨ 輸入jps，查看啓動的服務進程

　　master節點：[root@master ~]# jps

　　25429 SecondaryNameNode

　　25500 JobTracker

　　25201 NameNode

　　25328 DataNode

　　18474 Jps

　　25601 TaskTracker

　　slave節點：[root@slave1 ~]# jps

　　4469 TaskTracker

　　4388 DataNode

　　29622 Jps

　　如上(shàng)顯示，則說明(míng)相應的服務進程都啓動成功了。

　　圈10(額，像①一樣的圈出不來(lái)了(⊙o⊙)) 查看hdfs分布式文件系統的 文件目錄結構

　　hadoop fs -ls /

　　此時(shí)發現為(wèi)空(kōng)，因為(wèi)确實什麽也沒有(yǒu)，運行(xíng)一下命令，則可(kě)創建一個(gè)文件夾：

　　hadoop fs -mkdir /newDir

　　再次執行(xíng)hadoop fs -ls /，則會(huì)看到newDir文件夾，關于hadoop fs 命令，參見：HDFS 命令

　　圈11 運行(xíng)hadoop 類似hello world的程序

　　本來(lái)，都是以word count來(lái)運行(xíng)的，但(dàn)是還(hái)得(de)建文件夾之類的，有(yǒu)一個(gè)更簡單的，就是example中的計(jì)算(suàn)π值的程序，我們來(lái)計(jì)算(suàn)一下，進入hadoop目錄，運行(xíng)如下：

　　[root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2

　　Number of Maps = 4

　　Samples per Map = 2

　　Wrote input for Map #0

　　Wrote input for Map #1

　　Wrote input for Map #2

　　Wrote input for Map #3

　　Starting Job

　　12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4

　　12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005

　　12/05/20 09:45:20 INFO mapred.JobClient: map 0% reduce 0%

　　12/05/20 09:45:30 INFO mapred.JobClient: map 50% reduce 0%

　　12/05/20 09:45:31 INFO mapred.JobClient: map 100% reduce 0%

　　12/05/20 09:45:45 INFO mapred.JobClient: map 100% reduce 100%

　　12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005

　　12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18

　　12/05/20 09:45:47 INFO mapred.JobClient: Job Counters

　　12/05/20 09:45:47 INFO mapred.JobClient: Launched reduce tasks=1

　　12/05/20 09:45:47 INFO mapred.JobClient: Launched map tasks=4

　　12/05/20 09:45:47 INFO mapred.JobClient: Data-local map tasks=4

　　12/05/20 09:45:47 INFO mapred.JobClient: FileSystemCounters

　　12/05/20 09:45:47 INFO mapred.JobClient: FILE_BYTES_READ=94

　　12/05/20 09:45:47 INFO mapred.JobClient: HDFS_BYTES_READ=472

　　12/05/20 09:45:47 INFO mapred.JobClient: FILE_BYTES_WRITTEN=334

　　12/05/20 09:45:47 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=215

　　12/05/20 09:45:47 INFO mapred.JobClient: Map-Reduce Framework

　　12/05/20 09:45:47 INFO mapred.JobClient: Reduce input groups=8

　　12/05/20 09:45:47 INFO mapred.JobClient: Combine output records=0

　　12/05/20 09:45:47 INFO mapred.JobClient: Map input records=4

　　12/05/20 09:45:47 INFO mapred.JobClient: Reduce shuffle bytes=112

　　12/05/20 09:45:47 INFO mapred.JobClient: Reduce output records=0

　　12/05/20 09:45:47 INFO mapred.JobClient: Spilled Records=16

　　12/05/20 09:45:47 INFO mapred.JobClient: Map output bytes=72

　　12/05/20 09:45:47 INFO mapred.JobClient: Map input bytes=96

　　12/05/20 09:45:47 INFO mapred.JobClient: Combine input records=0

　　12/05/20 09:45:47 INFO mapred.JobClient: Map output records=8

　　12/05/20 09:45:47 INFO mapred.JobClient: Reduce input records=8

　　Job Finished in 28.952 seconds

　　Estimated value of Pi is 3.50000000000000000000

　　計(jì)算(suàn)PI值為(wèi)3.5，還(hái)算(suàn)靠近，至于輸出log日志(zhì)，就不介紹了，以後學的稍微深入，可(kě)多(duō)做(zuò)了解。

　　Hadoop 三節點集群的配置就介紹到這裏，接下來(lái)，會(huì)介紹一下如何在windows中遠程連接hadoop，并配置eclipse來(lái)進行(xíng)MapReduce的開(kāi)發和(hé)調試。

重慶中技互聯網信息咨詢有限公司 www.zjcoo.com