主要介紹在CentOS 7單機環(huán)境下的Hadoop搭建過程。

1.準備Hadoop需要的軟件

(1)安裝Java軟件包。

CentOS 7發(fā)行版本默認會安裝Java運行環(huán)境，可以使用which命令來確認Java是否安裝，命令如下：

也可以自行下載和安裝自己需要的Java版本，建議Java版本高于7.0。

這里使用從官方網(wǎng)站下載的最新版本的Java開發(fā)包，下載地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html。

將下載好的安裝包安裝到指定位置，這里以保存到/opt目錄下為例，操作命令如下：

設置環(huán)境變量“JAVA_HOME”，這個變量用來指定Java程序的工作目錄。在/etc/bashrc目錄下添加Java安裝目錄，命令如下：

(2)設置SSH通過秘鑰方式訪問。Hadoop多個節(jié)點之間通信會采用SSH秘鑰認證方式，為避免每次通信都需要用戶輸入密碼，這里需要生成一對SSH秘鑰，生成秘鑰使用如下命令：

(3)下載Hadoop軟件包。訪問http://hadoop.apache.org/releases.html#Download，這里提供了多個版本的Hadoop軟件包下載，建議讀者測試和開發(fā)時使用最新的穩(wěn)定版本(Stable)，這里以2.6.4版本為例，下載位置如圖1所示。

圖1 下載位置

下載完成后將Hadoop解壓縮到/opt目錄，并設置環(huán)境變量指向Hadoop的安裝目錄。命令如下：

2.修改配置文件并啟動服務

(1)修改Hadoop HDFS配置文件。接下來需要設置Hadoop的配置文件，這種單機運行的模式也稱作偽分布模式，和集群模式略有區(qū)別。這里使用偽分布模式進行部署。修改如下配置文件。

①$HADOOP_HOME/etc/hadoop/core-site.xml。

②$HADOOP_HOME/etc/hadoop/hdfs-site.xml。

(2)啟動Hadoop HDFS服務。

①首次啟動格式化存儲空間。

②啟動NameNode和DataNode進程。

③驗證端口是否啟動。

(3)修改Hadoop YARN配置文件。

①$HADOOP_HOME/etc/hadoop/mapred-site.xml。

②$HADOOP_HOME/etc/hadoop/yarn-site.xml。

(4)啟動Hadoop YARN服務。

①啟動命令如下：

②驗證端口是否啟動。

偽分布方式配置起來非常簡單，多用于開發(fā)環(huán)境部署，接下來就對偽分布環(huán)境進行測試。