192.168.30.141
s141
nn1（namenode），zkfc（DFSZKFailoverController），zk（QuorumPeerMain）

192.168.30.142
s142
dn（datanode）, jn（journalnode），zk（QuorumPeerMain）

192.168.30.143
s143
dn（datanode）, jn（journalnode），zk（QuorumPeerMain）

192.168.30.144
s144
dn（datanode）, jn（journalnode）

192.168.30.145
s145
dn（datanode）

192.168.30.146
s146
nn2（namenode），zkfc（DFSZKFailoverController）

各個(gè)機(jī)器 jps進(jìn)程：

由于本人使用的是vmware虛擬機(jī)，所以在配置好一臺機(jī)器后，使用克隆，克隆出剩余機(jī)器，并修改hostname和IP，這樣每臺機(jī)器配置就都統(tǒng)一了每臺機(jī)器配置添加hdfs用戶及用戶組，配置jdk環(huán)境，安裝hadoop，本次搭建高可用集群在hdfs用戶下，可以參照：centos7搭建hadoop2.10偽分布模式

下面是安裝高可用集群的一些步驟和細(xì)節(jié)：

1.設(shè)置每臺機(jī)器的hostname 和 hosts

修改hosts文件，hosts設(shè)置有后可以使用hostname訪問機(jī)器，這樣比較方便，修改如下：

127.0.0.1 locahost
192.168.30.141 s141
192.168.30.142 s142
192.168.30.143 s143
192.168.30.144 s144
192.168.30.145 s145
192.168.30.146 s146

2.設(shè)置ssh無密登錄，由于s141和s146都為namenode，所以要將這兩臺機(jī)器無密登錄到所有機(jī)器，最好hdfs用戶和root用戶都設(shè)置無密登錄

我們將s141設(shè)置為nn1，s146設(shè)置為nn2，就需要s141、s146能夠通過ssh無密登錄到其他機(jī)器，這樣就需要在s141和s146機(jī)器hdfs用戶下生成密鑰對，并將s141和s146公鑰發(fā)送到其他機(jī)器放到~/.ssh/authorized_keys文件中，更確切的說要將公鑰添加的所有機(jī)器上（包括自己）

在s141和s146機(jī)器上生成密鑰對：

ssh-keygen -t rsa -P \\\'\\\' -f ~/.ssh/id_rsa

將id_rsa.pub文件內(nèi)容追加到s141-s146機(jī)器的/home/hdfs/.ssh/authorized_keys中，現(xiàn)在其他機(jī)器暫時(shí)沒有authorized_keys文件，我們就將id_rsa.pub更名為authorized_keys即可，如果其他機(jī)器已存在authorized_keys文件可以將id_rsa.pub內(nèi)容追加到該文件后，遠(yuǎn)程復(fù)制可以使用scp命令：

s141機(jī)器公鑰復(fù)制到其他機(jī)器

scp id_rsa.pub hdfs@s141:/home/hdfs/.ssh/id_rsa_141.pub
scp id_rsa.pub hdfs@s142:/home/hdfs/.ssh/id_rsa_141.pub
scp id_rsa.pub hdfs@s143:/home/hdfs/.ssh/id_rsa_141.pub
scp id_rsa.pub hdfs@s144:/home/hdfs/.ssh/id_rsa_141.pub
scp id_rsa.pub hdfs@s145:/home/hdfs/.ssh/id_rsa_141.pub
scp id_rsa.pub hdfs@s146:/home/hdfs/.ssh/id_rsa_141.pub

s146機(jī)器公鑰復(fù)制到其他機(jī)器

scp id_rsa.pub hdfs@s141:/home/hdfs/.ssh/id_rsa_146.pub
scp id_rsa.pub hdfs@s142:/home/hdfs/.ssh/id_rsa_146.pub
scp id_rsa.pub hdfs@s143:/home/hdfs/.ssh/id_rsa_146.pub
scp id_rsa.pub hdfs@s144:/home/hdfs/.ssh/id_rsa_146.pub
scp id_rsa.pub hdfs@s145:/home/hdfs/.ssh/id_rsa_146.pub
scp id_rsa.pub hdfs@s146:/home/hdfs/.ssh/id_rsa_146.pub

在每臺機(jī)器上可以使用cat將秘鑰追加到authorized_keys文件

cat id_rsa_141.pub >> authorized_keys
cat id_rsa_146.pub >> authorized_keys

此時(shí)authorized_keys文件權(quán)限需要改為644(注意，經(jīng)常會因?yàn)檫@個(gè)權(quán)限問題導(dǎo)致ssh無密登錄失敗)

chmod 644 authorized_keys

3.配置hadoop配置文件（${hadoop_home}/etc/hadoop/）

配置細(xì)節(jié)：

注意：s141和s146具有完全一致的配置，尤其是ssh.

1) 配置nameservice

[hdfs-site.xml]
<property>
 <name>dfs.nameservices</name>
 <value>mycluster</value>
</property>

2) dfs.ha.namenodes.[nameservice ID]

[hdfs-site.xml]
<!-- myucluster下的名稱節(jié)點(diǎn)兩個(gè)id -->
<property>
　　<name>dfs.ha.namenodes.mycluster</name>
　　<value>nn1,nn2</value>
</property>

3) dfs.namenode.rpc-address.[nameservice ID].[name node ID]

[hdfs-site.xml]
配置每個(gè)nn的rpc地址。
<property>
 <name>dfs.namenode.rpc-address.mycluster.nn1</name>
 <value>s141:8020</value>
</property>
<property>
 <name>dfs.namenode.rpc-address.mycluster.nn2</name>
 <value>s146:8020</value>
</property>

4) dfs.namenode.http-address.[nameservice ID].[name node ID]
配置webui端口

[hdfs-site.xml]
<property>
 <name>dfs.namenode.http-address.mycluster.nn1</name>
 <value>s141:50070</value>
</property>
<property>
 <name>dfs.namenode.http-address.mycluster.nn2</name>
 <value>s146:50070</value>
</property>

5) dfs.namenode.shared.edits.dir
名稱節(jié)點(diǎn)共享編輯目錄.選擇三臺journalnode節(jié)點(diǎn)，這里選擇s142、s143、s144三臺機(jī)器

[hdfs-site.xml]
<property>
 <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://s142:8485;s143:8485;s144:8485/mycluster</value>
</property>

6) dfs.client.failover.proxy.provider.[nameservice ID]
配置一個(gè)HA失敗轉(zhuǎn)移的java類(改配置是固定的)，client使用它判斷哪個(gè)節(jié)點(diǎn)是激活態(tài)。

[hdfs-site.xml]
<property>
 <name>dfs.client.failover.proxy.provider.mycluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

7) dfs.ha.fencing.methods
腳本列表或者java類，在容災(zāi)保護(hù)激活態(tài)的nn.

[hdfs-site.xml]
<property>
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence</value>
</property>

<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hdfs/.ssh/id_rsa</value>
</property>

8) fs.defaultFS
配置hdfs文件系統(tǒng)名稱服務(wù)。這里的mycluster為上面配置的dfs.nameservices　　

[core-site.xml]
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://mycluster</value>
</property>

9) dfs.journalnode.edits.dir
配置JN存放edit的本地路徑。

[hdfs-site.xml]
<property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hdfs/hadoop/journal</value>
</property>

完整配置文件：

core-site.xml

<?xml version=1.0 encoding=UTF-8?>
<?xml-stylesheet type=text/xsl href=configuration.xsl?>

<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://mycluster/</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hdfs/hadoop</value>
 </property>
</configuration>

hdfs-site.xml

<?xml version=1.0 encoding=UTF-8?>
<?xml-stylesheet type=text/xsl href=configuration.xsl?>

<configuration>
 <property>
 　　<name>dfs.replication</name>
 　　<value>3</value>
 </property>
 <property>
 　　<name>dfs.hosts</name>
 　　<value>/opt/soft/hadoop/etc/dfs.include.txt</value>
 </property>
 <property>
 　　<name>dfs.hosts.exclude</name>
 　　<value>/opt/soft/hadoop/etc/dfs.hosts.exclude.txt</value>
 </property>
 <property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
 </property>
 <property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
 </property>
 <property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>s141:8020</value>
 </property>
 <property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>s146:8020</value>
 </property>
 <property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>s141:50070</value>
 </property>
 <property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>s146:50070</value>
 </property>
 <property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://s142:8485;s143:8485;s144:8485/mycluster</value>
 </property>
 <property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
 </property>

 <property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/hdfs/.ssh/id_rsa</value>
 </property>
 <property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/hdfs/hadoop/journal</value>
 </property>
</configuration>

mapred-site.xml

<?xml version=1.0?>
<?xml-stylesheet type=text/xsl href=configuration.xsl?>

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

yarn-site.xml

<?xml version=1.0?>

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
 　　<name>yarn.resourcemanager.hostname</name>
 　　<value>s141</value>
 </property>
 <property>
  　　<name>yarn.nodemanager.aux-services</name>
 　　<value>mapreduce_shuffle</value>
 </property>
</configuration>

4. 部署細(xì)節(jié)

1）在jn節(jié)點(diǎn)分別啟動jn進(jìn)程（s142，s143，s144）

hadoop-daemon.sh start journalnode

2）啟動jn之后，在兩個(gè)NN之間進(jìn)行disk元數(shù)據(jù)同步

　　a)如果是全新集群，先format文件系統(tǒng),只需要在一個(gè)nn上執(zhí)行。
　　[s141|s146]

hadoop namenode -format

　　b)如果將非HA集群轉(zhuǎn)換成HA集群，復(fù)制原NN的metadata到另一個(gè)NN上.

　　　　1.步驟一
　　　　在s141機(jī)器上，將hadoop數(shù)據(jù)復(fù)制到s146對應(yīng)的目錄下

scp -r /home/hdfs/hadoop/dfs hdfs@s146:/home/hdfs/hadoop/

　　　　2.步驟二
　　　　在新的nn(未格式化的nn，我這里是s146)上運(yùn)行以下命令，實(shí)現(xiàn)待命狀態(tài)引導(dǎo)。注意：需要s141namenode為啟動狀態(tài)（可以執(zhí)行：hadoop-daemon.sh start namenode ）。

hdfs namenode -bootstrapStandby

　　　　如果沒有啟動s141名稱節(jié)點(diǎn)，就會失敗，如圖：

　　　　啟動s141名稱節(jié)點(diǎn)后，在s141上執(zhí)行命令

hadoop-daemon.sh start namenode

　　　　然后在執(zhí)行待命引導(dǎo)命令，注意：提示是否格式化，選擇N，如圖：

　　　　3. 步驟三

　　　　在其中一個(gè)NN上執(zhí)行以下命令，完成edit日志到j(luò)n節(jié)點(diǎn)的傳輸。

hdfs namenode -initializeSharedEdits

　　　　如果執(zhí)行過程中報(bào)：java.nio.channels.OverlappingFileLockException 錯(cuò)誤：

　　　　　　說明namenode在啟動中，需要停掉namenode節(jié)點(diǎn)(hadoop-daemon.sh stop namenode)

　　　　　　執(zhí)行完后查看s142,s143,s144是否有edit數(shù)據(jù)，這里查看生產(chǎn)了mycluster目錄，里面有編輯日志數(shù)據(jù)，如下：

　　　　　　4.步驟四

　　　　　　啟動所有節(jié)點(diǎn).

　　　　　　在s141上啟動名稱節(jié)點(diǎn)和所有數(shù)據(jù)節(jié)點(diǎn)：

hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode

　　　　　　在s146上啟動名稱節(jié)點(diǎn)

hadoop-daemon.sh start namenode

此時(shí)在瀏覽器中訪問http://192.168.30.141:50070/和http://192.168.30.146:50070/你會發(fā)現(xiàn)兩個(gè)namenode都為standby

這時(shí)需要手動使用命令將其中一個(gè)切換為激活態(tài)，這里將s141（nn1）設(shè)置為active

hdfs haadmin -transitionToActive nn1

此時(shí)s141就為active

hdfs haadmin常用命令：

至此手動容災(zāi)高可用配置完成，但是這種方式不智能，不能夠自動感知容災(zāi)，所以下面介紹自動容災(zāi)配置

5.自動容災(zāi)配置

需要引入zookeeperquarum 和 zk 容災(zāi)控制器(ZKFC)兩個(gè)組件

　　搭建zookeeper集群，選擇s141，s142，s143三臺機(jī)器，下載 zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.6

　　1) 解壓zookeeper：

tar -xzvf apache-zookeeper-3.5.6-bin.tar.gz -C /opt/soft/zookeeper-3.5.6

　　2) 配置環(huán)境變量，在/etc/profile中添加zk環(huán)境變量，并重新編譯/etc/profile文件

復(fù)制代碼 代碼如下:source /etc/profile

　　3) 配置zk配置文件，三臺機(jī)器配置文件統(tǒng)一

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/hdfs/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to 0 to disable auto purge feature
#autopurge.purgeInterval=1
server.1=s141:2888:3888
server.2=s142:2888:3888
server.3=s143:2888:3888

　　4）分別

　　　　在s141的/home/hdfs/zookeeper(在zoo.cfg配置文件中配置的dataDir路徑)目錄下創(chuàng)建myid文件，值為1（對應(yīng)zoo.cfg配置文件中的server.1）

　　　　在s142的/home/hdfs/zookeeper(在zoo.cfg配置文件中配置的dataDir路徑)目錄下創(chuàng)建myid文件，值為2（對應(yīng)zoo.cfg配置文件中的server.2）

　　　　在s143的/home/hdfs/zookeeper(在zoo.cfg配置文件中配置的dataDir路徑)目錄下創(chuàng)建myid文件，值為3（對應(yīng)zoo.cfg配置文件中的server.3）

　　5) 分別在每臺機(jī)器上啟動zk

zkServer.sh start

　　啟動成功會出現(xiàn)zk進(jìn)程：

配置hdfs相關(guān)配置：

　　1）停止hdfs所有進(jìn)程

stop-all.sh

　　2)配置hdfs-site.xml，啟用自動容災(zāi).

[hdfs-site.xml]
<property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>

　　3) 配置core-site.xml，指定zk的連接地址.

<property>
 <name>ha.zookeeper.quorum</name>
 <value>s141:2181,s142:2181,s143:2181</value>
</property>

　　4) 分發(fā)以上兩個(gè)文件到所有節(jié)點(diǎn)。

　　5) 在其中的一臺NN(s141),在ZK中初始化HA狀態(tài)

hdfs zkfc -formatZK

　　出現(xiàn)如下結(jié)果說明成功：

　　也可去zk中查看：

　　6) 啟動hdfs集群

start-dfs.sh

查看各個(gè)機(jī)器進(jìn)程：

啟動成功，再看一下webui

　　s146為激活態(tài)

　　s141為待命態(tài)

至此hadoop 自動容災(zāi)HA搭建完成

總結(jié)

以上所述是小編給大家介紹的centos7搭建hadoop2.10高可用(HA)，希望對大家有所幫助！

更多關(guān)于云服務(wù)器，域名注冊，虛擬主機(jī)的問題，請?jiān)L問西部數(shù)碼官網(wǎng)：m.ps-sw.cn





猜你還會喜歡下面的內(nèi)容

• 一般企業(yè)郵箱容量是多少
• 雙十一虛擬主機(jī)購買優(yōu)惠券去哪領(lǐng)
• 獨(dú)立IP云虛擬主機(jī)多少錢
• 多個(gè)網(wǎng)站買虛擬主機(jī)還是云服務(wù)器
• 云虛擬主機(jī)可以安裝寶塔嗎
• 常見的云虛擬主機(jī)有哪些
• 博客系統(tǒng)怎么在云虛擬主機(jī)安裝
• 辦網(wǎng)站沒有虛擬主機(jī)行嗎
• 便宜的云虛擬主機(jī)一定是好的嗎
• web怎么添加虛擬主機(jī)
• dv ssl怎么放入虛擬主機(jī)
• linux云虛擬主機(jī)如何ssl
• Java程序放在云虛擬主機(jī)嗎
• html云虛擬主機(jī)選什么系統(tǒng)好
• APP為什么不能用云虛擬主機(jī)
• wdcp怎么選云虛擬主機(jī)

熱門標(biāo)簽

其他問題云服務(wù)器問題域名及賬戶問題企業(yè)郵局市場咨詢云服務(wù)器云建站/云站群/小程序虛擬主機(jī)網(wǎng)絡(luò)知識企業(yè)郵箱域名注冊域名備案域名商標(biāo)注冊云主機(jī)更多標(biāo)簽...

大家感興趣的內(nèi)容