主頁 > 知識庫 > Mac OS X Yosemite上安裝Hadoop教程

Mac OS X Yosemite上安裝Hadoop教程

熱門標簽:銷售外呼系統(tǒng)是什么 黑龍江外呼系統(tǒng)軟件 甘肅外呼系統(tǒng)軟件 地圖標注需要什么學(xué)歷 江蘇阜寧400電話怎么申請開通 無錫手機外呼系統(tǒng)軟件 人工智能電銷機器人騙局 河南自動外呼系統(tǒng)怎么收費 電話機器人百科

1. 安裝Homebrew和Cask

打開Mac終端, 安裝OS X 不可或缺的套件管理器homebrew和homebrew cask

復(fù)制代碼
代碼如下:

$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" $ brew install caskroom/cask/brew-cask


2. 安裝Java

Hadoop是由Java編寫, 所以需要預(yù)先安裝Java 6或者更高的版本

復(fù)制代碼
代碼如下:

$ brew update brew upgrade brew-cask brew cleanup brew cask cleanup $ brew cask install java

測試是否安裝成功

復(fù)制代碼
代碼如下:

$ java -version

3. 配置SSH

為了確保在遠程管理Hadoop以及Hadoop節(jié)點用戶共享時的安全性, Hadoop需要配置使用SSH協(xié)議

首先在系統(tǒng)偏好設(shè)置->共享->打開遠程登錄服務(wù)->右側(cè)選擇允許所有用戶訪問

生成密鑰對,執(zhí)行如下命令

復(fù)制代碼
代碼如下:

$ ssh-keygen -t rsa

執(zhí)行這個命令后, 會在當(dāng)前用戶目錄中的.ssh文件夾中生成id_rsa文件, 執(zhí)行如下命令:

復(fù)制代碼
代碼如下:

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

使用下面命令測試是否能夠不使用密碼登錄

復(fù)制代碼
代碼如下:

$ ssh localhost # Last login: Thu Mar 5 17:30:07 2015

4. 安裝Hadoop


復(fù)制代碼
代碼如下:

$ brew install hadoop

Hadoop會被安裝在/usr/local/Cellar/hadoop目錄下

4.1. 配置Hadoop

配置hadoop-env.sh

在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hadoop-env.sh文件

找到其中一行:

復(fù)制代碼
代碼如下:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

修改為:

復(fù)制代碼
代碼如下:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到core-site.xml

復(fù)制代碼
代碼如下:

configuration> property> name>hadoop.tmp.dir/name> value>/usr/local/Cellar/hadoop/hdfs/tmp/value> description>A base for other temporary directories./description> /property> property> name>fs.default.name/name> value>hdfs://localhost:9000/value> /property> /configuration>

在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到mapred-site.xml, 在其中添加:

復(fù)制代碼
代碼如下:

configuration> property> name>mapred.job.tracker/name> value>localhost:9010/value> /property> /configuration>

在目錄/usr/local/Cellar/hadoop/2.6.0/libexec/etc/hadoop下找到hdfs-site.xml

復(fù)制代碼
代碼如下:

configuration> property> name>dfs.replication/name> value>1/value> /property> /configuration>

在運行后臺程序前, 必須格式化新安裝的HDFS, 并通過創(chuàng)建存儲目錄和初始化元數(shù)據(jù)創(chuàng)新空的文件系統(tǒng), 執(zhí)行下面命令:

復(fù)制代碼
代碼如下:

$ hadoop namenode -format #生成類似下面的字符串: DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. 15/03/05 20:04:27 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = Andrew-liudeMacBook-Pro.local/192.168.1.100 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.0 ... #此書省略大部分 STARTUP_MSG: java = 1.6.0_65 ************************************************************ /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at Andrew-liudeMacBook-Pro.local/192.168.1.100 ************************************************************/

4.2. 啟動后臺程序

在/usr/local/Cellar/hadoop/2.6.0/sbin目錄下, 執(zhí)行如下命令

復(fù)制代碼
代碼如下:

$ ./start-dfs.sh #啟動HDFS $ ./stop-dfs.sh #停止HDFS

成功啟動服務(wù)后, 可以直接在瀏覽器中輸入http://localhost:50070/訪問Hadoop頁面

標簽:煙臺 合肥 七臺河 南寧 湘潭 揚州 六盤水 安順

巨人網(wǎng)絡(luò)通訊聲明:本文標題《Mac OS X Yosemite上安裝Hadoop教程》,本文關(guān)鍵詞  Mac,Yosemite,上,安裝,Hadoop,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Mac OS X Yosemite上安裝Hadoop教程》相關(guān)的同類信息!
  • 本頁收集關(guān)于Mac OS X Yosemite上安裝Hadoop教程的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章