使用GFS和DRBD在CentOS 5.5上進(jìn)行Samba CTDB集群部署

我們使用了兩個(gè)節(jié)點(diǎn)，都是活動(dòng)節(jié)點(diǎn)，要求是要實(shí)現(xiàn)負(fù)載均衡，為了復(fù)制節(jié)點(diǎn)間的數(shù)據(jù)，我們使用的是DRBD，為了實(shí)現(xiàn)主動(dòng)/主動(dòng)集群，我們必須使用ClusterFS（這里使用GFS），以便讓兩個(gè)節(jié)點(diǎn)可以同時(shí)在DEBD資源上執(zhí)行寫操作。

1、初步說明

Linux發(fā)行版：我們使用的是CentOS 5.5 64位發(fā)行版，當(dāng)然本文介紹的方法一樣適用于Fedora和Red Hat Enterprise Linux，CentOS的安裝很簡單，安裝時(shí)選擇基礎(chǔ)包和其它你需要的軟件包，值得注意的是，我們使用DRBD復(fù)制節(jié)點(diǎn)之間的數(shù)據(jù)，它需要獨(dú)占一個(gè)磁盤或分區(qū)，因此在安裝CentOS時(shí)注意預(yù)留好空間或直接為DRBD創(chuàng)建好一個(gè)分區(qū)。

網(wǎng)絡(luò)硬件和拓?fù)浣Y(jié)構(gòu)：在每個(gè)節(jié)點(diǎn)上，我們使用了兩塊千兆網(wǎng)卡，一個(gè)（eth0）連接到網(wǎng)絡(luò)（LAN），另一個(gè)（eth1）通過交叉線實(shí)現(xiàn)兩個(gè)節(jié)點(diǎn)間的連接，DRBD在兩個(gè)節(jié)點(diǎn)之間復(fù)制數(shù)據(jù)時(shí)，是不會(huì)通過網(wǎng)絡(luò)交換機(jī)或其它網(wǎng)絡(luò)設(shè)備的，而是直接走交叉線。

• 本教程使用的兩個(gè)物理節(jié)點(diǎn)分別是：node1.clusterbr.int和node2.clusterbr.int。
• node1.clustersmb.int：使用IP 10.0.0.181 (LAN) 和IP 172.16.0.1 (交叉)
• node2.clustersmb.int：使用IP 10.0.0.182 (LAN) 和IP 172.16.0.2 (交叉)
• vip1.clustersmb.int：它是集群IP，來自節(jié)點(diǎn)1 10.0.0.183
• vip2.clustersmb.int：它是集群IP，來自節(jié)點(diǎn)2 10.0.0.184

磁盤：兩個(gè)節(jié)點(diǎn)均配備了兩塊磁盤，/dev/sda安裝操作系統(tǒng)，/dev/sdb供DRBD使用，正如前面提到的，只使用一塊磁盤也是可以的，只需要為DRBD分配一個(gè)獨(dú)立的分區(qū)即可。

CTDB：它是TDB的集群實(shí)現(xiàn)，為了在集群文件系統(tǒng)上使用Samba，我們需要一個(gè)主動(dòng)/主動(dòng)集群，讓兩邊的smb服務(wù)都能響應(yīng)網(wǎng)絡(luò)請求，詳細(xì)信息請參考http://ctdb.samba.org/。

2、準(zhǔn)備節(jié)點(diǎn)

首先，我們需要禁用SELinux，用vi打開selinux配置文件：

vi /etc/selinux/config

修改下面這一行內(nèi)容，其它內(nèi)容不變：

SELINUX=disabled

接下來需要修改主機(jī)名和節(jié)點(diǎn)的網(wǎng)關(guān)。

vi /etc/sysconfig/network

節(jié)點(diǎn)1：

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=node1.clustersmb.int
GATEWAY=10.0.0.9

節(jié)點(diǎn)2：

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=node2.clustersmb.int
GATEWAY=10.0.0.9

接下來配置網(wǎng)絡(luò)接口。

節(jié)點(diǎn)1 LAN接口：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

內(nèi)容如下：

DEVICE=eth0
BOOTPROTO=static
IPADDR=10.0.0.181
NETMASK=255.255.255.0
ONBOOT=yes
HWADDR=a6:1e:3d:67:66:78

節(jié)點(diǎn)1交叉/DRBD接口：

vi /etc/sysconfig/network-scripts/ifcfg-eth1

內(nèi)容如下：

DEVICE=eth1
BOOTPROTO=static
IPADDR=172.16.0.1
NETMASK=255.255.255.0
ONBOOT=yes
HWADDR=ee:ef:ff:9a:9a:57

節(jié)點(diǎn)2 LAN 接口：

vi /etc/sysconfig/network-scripts/ifcfg-eth0

內(nèi)容如下：

DEVICE=eth0
BOOTPROTO=static
IPADDR=10.0.0.182
NETMASK=255.255.255.0
ONBOOT=yes
HWADDR=52:52:a1:1a:62:32

節(jié)點(diǎn)2交叉/DRBD接口：

vi /etc/sysconfig/network-scripts/ifcfg-eth1

內(nèi)容如下：

DEVICE=eth1
BOOTPROTO=static
IPADDR=172.16.0.2
NETMASK=255.255.255.0
ONBOOT=yes
HWADDR=1a:18:b2:50:96:1e

接下來在兩個(gè)節(jié)點(diǎn)上設(shè)置DNS配置。

vi /etc/resolv.conf

內(nèi)容如下：

search clustersmb.int
nameserver 10.0.0.9

接下來配置基本的主機(jī)名解析，打開/etc/hosts文件：

vi /etc/hosts

內(nèi)容如下：

127.0.0.1localhost.localdomain localhost
10.0.0.191 node1.clustersmb.intnode1
10.0.0.192 node2.clustersmb.intnode2

Ps：這里根據(jù)你的實(shí)際情況可以添加更多類似的快速解析條目。

設(shè)置好后，檢查一下網(wǎng)絡(luò)連接是否正常，首先在節(jié)點(diǎn)1上通過LAN接口ping節(jié)點(diǎn)2。

[root@node1 ~]# ping -c 2 node2
PING node2 (10.0.0.182) 56(84) bytes of data.
64 bytes from node2 (10.0.0.182): icmp_seq=1 ttl=64 time=0.089 ms
64 bytes from node2 (10.0.0.182): icmp_seq=2 ttl=64 time=0.082 ms
--- node2 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.082/0.085/0.089/0.009 ms

然后通過交叉接口ping節(jié)點(diǎn)2。

[root@node1 ~]# ping -c 2 172.16.0.2
PING 172.16.0.2 (172.16.0.2) 56(84) bytes of data.
64 bytes from 172.16.0.2: icmp_seq=1 ttl=64 time=0.083 ms
64 bytes from 172.16.0.2: icmp_seq=2 ttl=64 time=0.083 ms
--- 172.16.0.2 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.083/0.083/0.083/0.000 ms

一切正常，然后在節(jié)點(diǎn)2上通過LAN接口ping節(jié)點(diǎn)1。

[root@node2 ~]# ping -c 2 node1
PING node1 (10.0.0.181) 56(84) bytes of data.
64 bytes from node1 (10.0.0.181): icmp_seq=1 ttl=64 time=0.068 ms
64 bytes from node1 (10.0.0.181): icmp_seq=2 ttl=64 time=0.063 ms
--- node1 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.063/0.065/0.068/0.008 ms

接下來通過交叉接口ping節(jié)點(diǎn)1。

[root@node2 ~]# ping -c 2 172.16.0.1
PING 172.16.0.1 (172.16.0.1) 56(84) bytes of data.
64 bytes from 172.16.0.1: icmp_seq=1 ttl=64 time=1.36 ms
64 bytes from 172.16.0.1: icmp_seq=2 ttl=64 time=0.075 ms
--- 172.16.0.1 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.075/0.722/1.369/0.647 ms

配置啟動(dòng)選項(xiàng)，我將啟動(dòng)級別設(shè)為3。

vi /etc/inittab

修改下面這行內(nèi)容，其它不變。

id:3:initdefault:

我喜歡將多余的啟動(dòng)服務(wù)去掉，只留下真正需要的服務(wù)，下面是我需要的服務(wù)列表。

現(xiàn)在需要重啟兩個(gè)節(jié)點(diǎn)，讓配置生效。

Reboot

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]