本文描述了如何安裝、配置和管理有實際意義的Hadoop集群,其規(guī)??蓮膸讉€節(jié)點的小集群到幾千個節(jié)點的超大集群。如果你希望在單機上安裝Hadoop玩玩,從這里能找到相關(guān)細節(jié)。
二、先決條件
1.確保在你集群中的每個節(jié)點上都安裝了所有必需軟件。
2.獲取Hadoop軟件包。
三、安裝
安裝Hadoop集群通常要將安裝軟件解壓到集群內(nèi)的所有機器上。
通常,集群里的一臺機器被指定為 NameNode,另一臺不同的機器被指定為JobTracker。這些機器是masters。余下的機器即作為DataNode也作為TaskTracker。這些機器是slaves。
...
]]>系統(tǒng)是CentOS6.5,假設(shè)NFS Server IP為192.168.1.2,NFS Clinet IP為192.168.0.100。
1.服務(wù)端安裝NFS:
yum install nfs-utils protmap rpcbind
nfs-utils包提供了NFS服務(wù)器程序和相應(yīng)的管理工具。
...
在Linux中創(chuàng)建LVM存儲
在如今,每臺服務(wù)器空間都會因為我們的需求增長而不斷擴展。邏輯卷可以用于RAID,SAN。單個物理卷將會被加入組以創(chuàng)建卷組,在卷組中,我們需要切割空間以創(chuàng)建邏輯卷。在使用邏輯卷時,我們可以使用某些命令來跨磁盤、跨邏輯卷擴展,或者減少邏輯卷大小,而不用重新格式化和重新對當前磁盤分區(qū)。卷可以跨磁盤抽取數(shù)據(jù),這會增加I/O數(shù)據(jù)量。
閱讀Linux源代碼,無疑是深入學(xué)習(xí)Linux的最好方法。在本文對Linux啟動過程的介紹中,我們也嘗試從源代碼的視角來更深入的剖析Linux的啟動過程,所以其中也簡單涉及到部分相關(guān)的Linux源代碼,Linux啟動這部分的源碼主要使用的是C語言,也涉及到了少量的匯編。而啟動過程中也執(zhí)行了大量的shell(主要是bash shell)所寫腳本。為了方便讀者閱讀,筆者將整個Linux啟動過程分成以下幾個部分逐一介紹,大家可以參考下圖:
...]]>檢驗系統(tǒng)原版本
[root@localhost ~]# java -version
java version "1.7.0_24"
...
語法:# curl [option] [url]
常見參數(shù):
-A/--user-agent <string> 設(shè)置用戶代理發(fā)送給服務(wù)器
-b/--cookie <name=string/file> cookie字符串或文件讀取位置
...
引言:
人們已經(jīng)把云計算定位為繼大型機、個人計算機、互聯(lián)網(wǎng)之后的第四次IT產(chǎn)業(yè)革命,如今的IT行業(yè)內(nèi)所有廠商,不管是硬件、軟件、還是服務(wù),幾乎無人不談云,無人不做云,IT從業(yè)者、運營商、企業(yè)CEO, CIO們每天聽到最多的,也是云計算。在云計算這個大格局下,移動互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、電子商務(wù)、大數(shù)據(jù)也獲得了高速發(fā)展,它們也無一例外的與云計算實現(xiàn)了融合:移動互聯(lián)網(wǎng)延伸了云計算服務(wù)的獲取方式,甚至成為了主流方式;社交網(wǎng)絡(luò)與電子商務(wù)的后臺技術(shù)是云計算的重要實踐,也極大地豐富了云計算的內(nèi)涵;大數(shù)據(jù)產(chǎn)生于社交網(wǎng)絡(luò)與電子商務(wù),與云計算有著天然的關(guān)系。
...]]>經(jīng)??吹胶芏嗳?,在爭論linux/bsd下面有那么多的防火墻,我們選擇誰呢,其實咱們經(jīng)常碰到的開源防火墻(那些由BSD基礎(chǔ)定制開發(fā)的商業(yè)防火墻ciso,jump,華為等)不在此列)有:iptables,ipfilter,pf,ipfw(panabit7層),看起來很多其實我們完全沒有必要恐慌,如果您有錢完全可以去買ciso,華為等品牌防火墻出了事可以找個背黑鍋的,反正不是花咱們自己的錢,還能拿到他們的回扣。。。,這樣的話你就不用往下面看了,因為你不用為選擇什么防火墻煩惱了呵呵。
...]]>