一、目的

本文描述了如何安裝、配置和管理有實際意義的Hadoop集群，其規(guī)?？蓮膸讉€節(jié)點的小集群到幾千個節(jié)點的超大集群。如果你希望在單機(jī)上安裝Hadoop玩玩，從這里能找到相關(guān)細(xì)節(jié)。

二、先決條件

1.確保在你集群中的每個節(jié)點上都安裝了所有必需軟件。

2.獲取Hadoop軟件包。

三、安裝

安裝Hadoop集群通常要將安裝軟件解壓到集群內(nèi)的所有機(jī)器上。

通常，集群里的一臺機(jī)器被指定為 NameNode，另一臺不同的機(jī)器被指定為JobTracker。這些機(jī)器是masters。余下的機(jī)器即作為DataNode也作為TaskTracker。這些機(jī)器是slaves。

...

 本節(jié)是使用centos 6.5的配置過程：
設(shè)備：兩臺 centos6 OS 安裝的時候選擇的是"Basic Server"軟件配置包。

系統(tǒng)是CentOS6.5，假設(shè)NFS Server IP為192.168.1.2，NFS Clinet IP為192.168.0.100。

1.服務(wù)端安裝NFS：

yum install nfs-utils protmap rpcbind

nfs-utils包提供了NFS服務(wù)器程序和相應(yīng)的管理工具。
...

 邏輯卷管理器（LVM）讓磁盤空間管理更為便捷。如果一個文件系統(tǒng)需要更多的空間，可以在它的卷組中將空閑空間添加到其邏輯卷中，而文件系統(tǒng)可以根據(jù)你的意愿調(diào)整大小。如果某個磁盤啟動失敗，用于替換的磁盤可以使用卷組注冊成一個物理卷，而邏輯卷擴(kuò)展可以將數(shù)據(jù)遷移到新磁盤而不會丟失數(shù)據(jù)。

在Linux中創(chuàng)建LVM存儲
在如今，每臺服務(wù)器空間都會因為我們的需求增長而不斷擴(kuò)展。邏輯卷可以用于RAID，SAN。單個物理卷將會被加入組以創(chuàng)建卷組，在卷組中，我們需要切割空間以創(chuàng)建邏輯卷。在使用邏輯卷時，我們可以使用某些命令來跨磁盤、跨邏輯卷擴(kuò)展，或者減少邏輯卷大小，而不用重新格式化和重新對當(dāng)前磁盤分區(qū)。卷可以跨磁盤抽取數(shù)據(jù)，這會增加I/O數(shù)據(jù)量。

 本文以RedHat9.0和i386平臺為例，剖析了從用戶打開電源直到屏幕出現(xiàn)命令行提示符的整個Linux啟動過程。并且介紹了啟動中涉及到的各種文件。

　　閱讀Linux源代碼，無疑是深入學(xué)習(xí)Linux的最好方法。在本文對Linux啟動過程的介紹中，我們也嘗試從源代碼的視角來更深入的剖析Linux的啟動過程，所以其中也簡單涉及到部分相關(guān)的Linux源代碼，Linux啟動這部分的源碼主要使用的是C語言，也涉及到了少量的匯編。而啟動過程中也執(zhí)行了大量的shell(主要是bash shell)所寫腳本。為了方便讀者閱讀，筆者將整個Linux啟動過程分成以下幾個部分逐一介紹，大家可以參考下圖：

 系統(tǒng)環(huán)境：CentOS-6.5
安裝方式：rpm安裝
軟件：jdk-7-linux-i586.rpm
下載地址：http://www.Oracle.com/technetwork/java/javase/downloads/index.html

檢驗系統(tǒng)原版本
[root@localhost ~]# java -version
java version "1.7.0_24"
...

 命令：curl
在Linux中curl是一個利用URL規(guī)則在命令行下工作的文件傳輸工具，可以說是一款很強(qiáng)大的http命令行工具。它支持文件的上傳和下載，是綜合傳輸工具，但按傳統(tǒng)，習(xí)慣稱url為下載工具。

語法：# curl [option] [url]

常見參數(shù)：
-A/--user-agent <string> 設(shè)置用戶代理發(fā)送給服務(wù)器
-b/--cookie <name=string/file> cookie字符串或文件讀取位置
...