Apache Hadoop 是一個(gè)開(kāi)源軟件框架，可(kě)安裝在一個(gè)商用機器(qì)集群中，使機器(qì)可(kě)彼此通(tōng)信并協同工作(zuò)，以高(gāo)度分布式的方式共同存儲和(hé)處理(lǐ)大(dà)量數(shù)據。最初，Hadoop 包含以下兩個(gè)主要組件：Hadoop Distributed File System (HDFS) 和(hé)一個(gè)分布式計(jì)算(suàn)引擎，該引擎支持以 MapReduce 作(zuò)業的形式實現和(hé)運行(xíng)程序。

　　MapReduce 是 Google 推廣的一個(gè)簡單的編程模型，它對以高(gāo)度并行(xíng)和(hé)可(kě)擴展的方式處理(lǐ)大(dà)數(shù)據集很(hěn)有(yǒu)用。MapReduce 的靈感來(lái)源于函數(shù)式編程，用戶可(kě)将他們的計(jì)算(suàn)表達為(wèi) map 和(hé) reduce 函數(shù)，将數(shù)據作(zuò)為(wèi)鍵值對來(lái)處理(lǐ)。Hadoop 提供了一個(gè)高(gāo)級 API 來(lái)在各種語言中實現自定義的 map 和(hé) reduce 函數(shù)。

　　Hadoop 還(hái)提供了軟件基礎架構，以一系列 map 和(hé) reduce 任務的形式運行(xíng) MapReduce 作(zuò)業。Map 任務 在輸入數(shù)據的子集上(shàng)調用 map 函數(shù)。在完成這些(xiē)調用後，reduce 任務 開(kāi)始在 map 函數(shù)所生(shēng)成的中間(jiān)數(shù)據上(shàng)調用 reduce 任務，生(shēng)成最終的輸出。 map 和(hé) reduce 任務彼此單獨運行(xíng)，這支持并行(xíng)和(hé)容錯的計(jì)算(suàn)。

　　最重要的是，Hadoop 基礎架構負責處理(lǐ)分布式處理(lǐ)的所有(yǒu)複雜方面：并行(xíng)化、調度、資源管理(lǐ)、機器(qì)間(jiān)通(tōng)信、軟件和(hé)硬件故障處理(lǐ)，等等。得(de)益于這種幹淨的抽象，實現處理(lǐ)數(shù)百(或者甚至數(shù)千)個(gè)機器(qì)上(shàng)的數(shù) TB 數(shù)據的分布式應用程序從未像現在這麽容易過，甚至對于之前沒有(yǒu)使用分布式系統的經驗的開(kāi)發人(rén)員也是如此。

　　本文由重慶建網站(zhàn)-重慶網站(zhàn)建設公司-中技(jì)互聯：www.zjcoo.com