1.RabbitMQ集群方案的原理

RabbitMQ這款消息隊(duì)列中間件產(chǎn)品本身是基于Erlang編寫，Erlang語言天生具備分布式特性(通過同步Erlang集群各節(jié)點(diǎn)的magic cookie來實(shí)現(xiàn))。因此，RabbitMQ天然支持Clustering。這使得RabbitMQ本身不需要像ActiveMQ、Kafka那樣通過ZooKeeper分別來實(shí)現(xiàn)HA方案和保存集群的元數(shù)據(jù)。集群是保證可靠性的一種方式，同時(shí)可以通過水平擴(kuò)展以達(dá)到增加消息吞吐量能力的目的。 下面先來看下RabbitMQ集群的整體方案：

上面圖中采用三個(gè)節(jié)點(diǎn)組成了一個(gè)RabbitMQ的集群，Exchange A(交換器，對于RabbitMQ基礎(chǔ)概念不太明白的童鞋可以看下基礎(chǔ)概念)的元數(shù)據(jù)信息在所有節(jié)點(diǎn)上是一致的，而Queue(存放消息的隊(duì)列)的完整數(shù)據(jù)則只會(huì)存在于它所創(chuàng)建的那個(gè)節(jié)點(diǎn)上。，其他節(jié)點(diǎn)只知道這個(gè)queue的metadata信息和一個(gè)指向queue的owner node的指針。

(1)RabbitMQ集群元數(shù)據(jù)的同步

RabbitMQ集群會(huì)始終同步四種類型的內(nèi)部元數(shù)據(jù)(類似索引)：

a.隊(duì)列元數(shù)據(jù)：隊(duì)列名稱和它的屬性;

b.交換器元數(shù)據(jù)：交換器名稱、類型和屬性;

c.綁定元數(shù)據(jù)：一張簡單的表格展示了如何將消息路由到隊(duì)列;

d.vhost元數(shù)據(jù)：為vhost內(nèi)的隊(duì)列、交換器和綁定提供命名空間和安全屬性;

因此，當(dāng)用戶訪問其中任何一個(gè)RabbitMQ節(jié)點(diǎn)時(shí)，通過rabbitmqctl查詢到的queue/user/exchange/vhost等信息都是相同的。

(2)為何RabbitMQ集群僅采用元數(shù)據(jù)同步的方式

我想肯定有不少同學(xué)會(huì)問，想要實(shí)現(xiàn)HA方案，那將RabbitMQ集群中的所有Queue的完整數(shù)據(jù)在所有節(jié)點(diǎn)上都保存一份不就可以了么?(可以類似MySQL的主主模式嘛)這樣子，任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障或者宕機(jī)不可用時(shí)，那么使用者的客戶端只要能連接至其他節(jié)點(diǎn)能夠照常完成消息的發(fā)布和訂閱嘛。

我想RabbitMQ的作者這么設(shè)計(jì)主要還是基于集群本身的性能和存儲(chǔ)空間上來考慮。第一，存儲(chǔ)空間，如果每個(gè)集群節(jié)點(diǎn)都擁有所有Queue的完全數(shù)據(jù)拷貝，那么每個(gè)節(jié)點(diǎn)的存儲(chǔ)空間會(huì)非常大，集群的消息積壓能力會(huì)非常弱(無法通過集群節(jié)點(diǎn)的擴(kuò)容提高消息積壓能力);第二，性能，消息的發(fā)布者需要將消息復(fù)制到每一個(gè)集群節(jié)點(diǎn)，對于持久化消息，網(wǎng)絡(luò)和磁盤同步復(fù)制的開銷都會(huì)明顯增加。

(3)RabbitMQ集群發(fā)送/訂閱消息的基本原理

RabbitMQ集群的工作原理圖如下：

場景1.客戶端直接連接隊(duì)列所在節(jié)點(diǎn)

如果有一個(gè)消息生產(chǎn)者或者消息消費(fèi)者通過amqp-client的客戶端連接至節(jié)點(diǎn)1進(jìn)行消息的發(fā)布或者訂閱，那么此時(shí)的集群中的消息收發(fā)只與節(jié)點(diǎn)1相關(guān)，這個(gè)沒有任何問題;如果客戶端相連的是節(jié)點(diǎn)2或者節(jié)點(diǎn)3(隊(duì)列1數(shù)據(jù)不在該節(jié)點(diǎn)上)，那么情況又會(huì)是怎么樣呢?

場景2.客戶端連接的是非隊(duì)列數(shù)據(jù)所在節(jié)點(diǎn)

如果消息生產(chǎn)者所連接的是節(jié)點(diǎn)2或者節(jié)點(diǎn)3，此時(shí)隊(duì)列1的完整數(shù)據(jù)不在該兩個(gè)節(jié)點(diǎn)上，那么在發(fā)送消息過程中這兩個(gè)節(jié)點(diǎn)主要起了一個(gè)路由轉(zhuǎn)發(fā)作用，根據(jù)這兩個(gè)節(jié)點(diǎn)上的元數(shù)據(jù)(也就是上文提到的：指向queue的owner node的指針)轉(zhuǎn)發(fā)至節(jié)點(diǎn)1上，最終發(fā)送的消息還是會(huì)存儲(chǔ)至節(jié)點(diǎn)1的隊(duì)列1上。

同樣，如果消息消費(fèi)者所連接的節(jié)點(diǎn)2或者節(jié)點(diǎn)3，那這兩個(gè)節(jié)點(diǎn)也會(huì)作為路由節(jié)點(diǎn)起到轉(zhuǎn)發(fā)作用，將會(huì)從節(jié)點(diǎn)1的隊(duì)列1中拉取消息進(jìn)行消費(fèi)。

2.RabbitMQ集群的搭建

(1)搭建RabbitMQ集群所需要安裝的組件

在搭建RabbitMQ集群之前有必要在每臺(tái)虛擬機(jī)上安裝如下的組件包，分別如下：

a.Jdk 1.8

b.Erlang運(yùn)行時(shí)環(huán)境，這里用的是otp_src_19.3.tar.gz (200MB+)

c.RabbitMq的Server組件，這里用的rabbitmq-server-generic-unix-3.6.10.tar.gz

關(guān)于如何安裝上述三個(gè)組件的具體步驟，已經(jīng)有不少博文對此進(jìn)行了非常詳細(xì)的描述，那么本文就不再贅述了。有需要的同學(xué)可以具體參考這些步驟來完成安裝。

(2)搭建10節(jié)點(diǎn)組成的RabbitMQ集群

該節(jié)中主要展示的是集群搭建，需要確保每臺(tái)機(jī)器上正確安裝了上述三種組件，并且每臺(tái)虛擬機(jī)上的RabbitMQ的實(shí)例能夠正常啟動(dòng)起來。

a.編輯每臺(tái)RabbitMQ的cookie文件，以確保各個(gè)節(jié)點(diǎn)的cookie文件使用的是同一個(gè)值,可以scp其中一臺(tái)機(jī)器上的cookie至其他各個(gè)節(jié)點(diǎn)，cookie的默認(rèn)路徑為/var/lib/rabbitmq/.erlang.cookie或者$HOME/.erlang.cookie，節(jié)點(diǎn)之間通過cookie確定相互是否可通信。

b.配置各節(jié)點(diǎn)的hosts文件( vim /etc/hosts)

xxx.xxx.xxx.xxx rmq-broker-test-1
xxx.xxx.xxx.xxx rmq-broker-test-2
xxx.xxx.xxx.xxx rmq-broker-test-3
......
xxx.xxx.xxx.xxx rmq-broker-test-10

c.逐個(gè)節(jié)點(diǎn)啟動(dòng)RabbitMQ服務(wù)

rabbitmq-server -detached

d.查看各個(gè)節(jié)點(diǎn)和集群的工作運(yùn)行狀態(tài)

rabbitmqctl status, rabbitmqctl cluster_status

 e.以rmq-broker-test-1為主節(jié)點(diǎn)，在rmq-broker-test-2上：

rabbitmqctl stop_app 
rabbitmqctl reset 
rabbitmqctl join_cluster rabbit@rmq-broker-test-2 
rabbitmqctl start_app 

在其余的節(jié)點(diǎn)上的操作步驟與rmq-broker-test-2虛擬機(jī)上的一樣。

d.在RabbitMQ集群中的節(jié)點(diǎn)只有兩種類型：內(nèi)存節(jié)點(diǎn)/磁盤節(jié)點(diǎn)，單節(jié)點(diǎn)系統(tǒng)只運(yùn)行磁盤類型的節(jié)點(diǎn)。而在集群中，可以選擇配置部分節(jié)點(diǎn)為內(nèi)存節(jié)點(diǎn)。

內(nèi)存節(jié)點(diǎn)將所有的隊(duì)列，交換器，綁定關(guān)系，用戶，權(quán)限，和vhost的元數(shù)據(jù)信息保存在內(nèi)存中。而磁盤節(jié)點(diǎn)將這些信息保存在磁盤中，但是內(nèi)存節(jié)點(diǎn)的性能更高，為了保證集群的高可用性，必須保證集群中有兩個(gè)以上的磁盤節(jié)點(diǎn)，來保證當(dāng)有一個(gè)磁盤節(jié)點(diǎn)崩潰了，集群還能對外提供訪問服務(wù)。在上面的操作中，可以通過如下的方式，設(shè)置新加入的節(jié)點(diǎn)為內(nèi)存節(jié)點(diǎn)還是磁盤節(jié)點(diǎn)：

#加入時(shí)候設(shè)置節(jié)點(diǎn)為內(nèi)存節(jié)點(diǎn)（默認(rèn)加入的為磁盤節(jié)點(diǎn)）
[root@mq-testvm1 ~]# rabbitmqctl join_cluster rabbit@rmq-broker-test-1 --ram

#也通過下面方式修改的節(jié)點(diǎn)的類型
[root@mq-testvm1 ~]# rabbitmqctl changeclusternode_type disc | ram

e.最后可以通過“rabbitmqctl cluster_status”的方式來查看集群的狀態(tài)，上面搭建的10個(gè)節(jié)點(diǎn)的RabbitMQ集群狀態(tài)(3個(gè)節(jié)點(diǎn)為磁盤即誒但，7個(gè)節(jié)點(diǎn)為內(nèi)存節(jié)點(diǎn))如下：

Cluster status of node 'rabbit@rmq-broker-test-1'
[{nodes,[{disc,['rabbit@rmq-broker-test-1','rabbit@rmq-broker-test-2',
                'rabbit@rmq-broker-test-3']},
         {ram,['rabbit@rmq-broker-test-9','rabbit@rmq-broker-test-8',
               'rabbit@rmq-broker-test-7','rabbit@rmq-broker-test-6',
               'rabbit@rmq-broker-test-5','rabbit@rmq-broker-test-4',
               'rabbit@rmq-broker-test-10']}]},
 {running_nodes,['rabbit@rmq-broker-test-10','rabbit@rmq-broker-test-5',
                 'rabbit@rmq-broker-test-9','rabbit@rmq-broker-test-2',
                 'rabbit@rmq-broker-test-8','rabbit@rmq-broker-test-7',
                 'rabbit@rmq-broker-test-6','rabbit@rmq-broker-test-3',
                 'rabbit@rmq-broker-test-4','rabbit@rmq-broker-test-1']},
 {cluster_name,<<"rabbit@mq-testvm1">>},
 {partitions,[]},
 {alarms,[{'rabbit@rmq-broker-test-10',[]},
          {'rabbit@rmq-broker-test-5',[]},
          {'rabbit@rmq-broker-test-9',[]},
          {'rabbit@rmq-broker-test-2',[]},
          {'rabbit@rmq-broker-test-8',[]},
          {'rabbit@rmq-broker-test-7',[]},
          {'rabbit@rmq-broker-test-6',[]},
          {'rabbit@rmq-broker-test-3',[]},
          {'rabbit@rmq-broker-test-4',[]},
          {'rabbit@rmq-broker-test-1',[]}]}]

(3)配置HAProxy

HAProxy提供高可用性、負(fù)載均衡以及基于TCP和HTTP應(yīng)用的代理，支持虛擬主機(jī)，它是免費(fèi)、快速并且可靠的一種解決方案。根據(jù)官方數(shù)據(jù)，其最高極限支持10G的并發(fā)。HAProxy支持從4層至7層的網(wǎng)絡(luò)交換，即覆蓋所有的TCP協(xié)議。就是說，Haproxy 甚至還支持 Mysql 的均衡負(fù)載。為了實(shí)現(xiàn)RabbitMQ集群的軟負(fù)載均衡，這里可以選擇HAProxy。

關(guān)于HAProxy如何安裝的文章之前也有很多同學(xué)寫過，這里就不再贅述了，有需要的同學(xué)可以參考下網(wǎng)上的做法。這里主要說下安裝完HAProxy組件后的具體配置。

HAProxy使用單一配置文件來定義所有屬性，包括從前端IP到后端服務(wù)器。下面展示了用于7個(gè)RabbitMQ節(jié)點(diǎn)組成集群的負(fù)載均衡配置(另外3個(gè)磁盤節(jié)點(diǎn)用于保存集群的配置和元數(shù)據(jù)，不做負(fù)載)。同時(shí)，HAProxy運(yùn)行在另外一臺(tái)機(jī)器上。HAProxy的具體配置如下：

#全局配置
global
        #日志輸出配置，所有日志都記錄在本機(jī)，通過local0輸出
        log 127.0.0.1 local0 info
        #最大連接數(shù)
        maxconn 4096
        #改變當(dāng)前的工作目錄
        chroot /apps/svr/haproxy
        #以指定的UID運(yùn)行haproxy進(jìn)程
        uid 99
        #以指定的GID運(yùn)行haproxy進(jìn)程
        gid 99
        #以守護(hù)進(jìn)程方式運(yùn)行haproxy #debug #quiet
        daemon
        #debug
        #當(dāng)前進(jìn)程pid文件
        pidfile /apps/svr/haproxy/haproxy.pid
#默認(rèn)配置
defaults
        #應(yīng)用全局的日志配置
        log global
        #默認(rèn)的模式mode{tcp|http|health}
        #tcp是4層，http是7層，health只返回OK
        mode tcp
        #日志類別tcplog
        option tcplog
        #不記錄健康檢查日志信息
        option dontlognull
        #3次失敗則認(rèn)為服務(wù)不可用
        retries 3
        #每個(gè)進(jìn)程可用的最大連接數(shù)
        maxconn 2000
        #連接超時(shí)
        timeout connect 5s
        #客戶端超時(shí)
        timeout client 120s
        #服務(wù)端超時(shí)
        timeout server 120s
        maxconn 2000
        #連接超時(shí)
        timeout connect 5s
        #客戶端超時(shí)
        timeout client 120s
        #服務(wù)端超時(shí)
        timeout server 120s
#綁定配置
listen rabbitmq_cluster
        bind 0.0.0.0:5672
        #配置TCP模式
        mode tcp
        #加權(quán)輪詢
        balance roundrobin
        #RabbitMQ集群節(jié)點(diǎn)配置,其中ip1~ip7為RabbitMQ集群節(jié)點(diǎn)ip地址
        server rmq_node1 ip1:5672 check inter 5000 rise 2 fall 3 weight 1
        server rmq_node2 ip2:5672 check inter 5000 rise 2 fall 3 weight 1
        server rmq_node3 ip3:5672 check inter 5000 rise 2 fall 3 weight 1
        server rmq_node4 ip4:5672 check inter 5000 rise 2 fall 3 weight 1
        server rmq_node5 ip5:5672 check inter 5000 rise 2 fall 3 weight 1
        server rmq_node6 ip6:5672 check inter 5000 rise 2 fall 3 weight 1
        server rmq_node7 ip7:5672 check inter 5000 rise 2 fall 3 weight 1
#haproxy監(jiān)控頁面地址
listen monitor
        bind 0.0.0.0:8100
        mode http
        option httplog
        stats enable
        stats uri /stats
        stats refresh 5s

在上面的配置中“listen rabbitmq_cluster bind 0.0.0.0：5671”這里定義了客戶端連接IP地址和端口號(hào)。這里配置的負(fù)載均衡算法是roundrobin—加權(quán)輪詢。與配置RabbitMQ集群負(fù)載均衡最為相關(guān)的是“ server rmq_node1 ip1:5672 check inter 5000 rise 2 fall 3 weight 1”這種，它標(biāo)識(shí)并且定義了后端RabbitMQ的服務(wù)。主要含義如下:

(a)“server ”部分：定義HAProxy內(nèi)RabbitMQ服務(wù)的標(biāo)識(shí);

(b)“ip1:5672”部分：標(biāo)識(shí)了后端RabbitMQ的服務(wù)地址;

(c)“check inter ”部分：表示每隔多少毫秒檢查RabbitMQ服務(wù)是否可用;

(d)“rise ”部分：表示RabbitMQ服務(wù)在發(fā)生故障之后，需要多少次健康檢查才能被再次確認(rèn)可用;

(e)“fall ”部分：表示需要經(jīng)歷多少次失敗的健康檢查之后，HAProxy才會(huì)停止使用此RabbitMQ服務(wù)。

#啟用HAProxy服務(wù)
[root@mq-testvm12 conf]# haproxy -f haproxy.cfg

啟動(dòng)后，即可看到如下的HAproxy的界面圖：

(4)RabbitMQ的集群架構(gòu)設(shè)計(jì)圖

經(jīng)過上面的RabbitMQ10個(gè)節(jié)點(diǎn)集群搭建和HAProxy軟彈性負(fù)載均衡配置后即可組建一個(gè)中小規(guī)模的RabbitMQ集群了，然而為了能夠在實(shí)際的生產(chǎn)環(huán)境使用還需要根據(jù)實(shí)際的業(yè)務(wù)需求對集群中的各個(gè)實(shí)例進(jìn)行一些性能參數(shù)指標(biāo)的監(jiān)控，從性能、吞吐量和消息堆積能力等角度考慮，可以選擇Kafka來作為RabbitMQ集群的監(jiān)控隊(duì)列使用。因此，這里先給出了一個(gè)中小規(guī)模RabbitMQ集群架構(gòu)設(shè)計(jì)圖：

對于消息的生產(chǎn)和消費(fèi)者可以通過HAProxy的軟負(fù)載將請求分發(fā)至RabbitMQ集群中的Node1～Node7節(jié)點(diǎn)，其中Node8～Node10的三個(gè)節(jié)點(diǎn)作為磁盤節(jié)點(diǎn)保存集群元數(shù)據(jù)和配置信息。鑒于篇幅原因這里就不在對監(jiān)控部分進(jìn)行詳細(xì)的描述的，會(huì)在后續(xù)篇幅中對如何使用RabbitMQ的HTTP API接口進(jìn)行監(jiān)控?cái)?shù)據(jù)統(tǒng)計(jì)進(jìn)行詳細(xì)闡述。

3.總結(jié)

本文主要詳細(xì)介紹了RabbitMQ集群的工作原理和如何搭建一個(gè)具備負(fù)載均衡能力的中小規(guī)模RabbitMQ集群的方法，并最后給出了RabbitMQ集群的架構(gòu)設(shè)計(jì)圖。限于筆者的才疏學(xué)淺，對本文內(nèi)容可能還有理解不到位的地方，如有闡述不合理之處還望留言一起探討。

以上就是動(dòng)力節(jié)點(diǎn)小編介紹的"RabbitMQ集群原理"，希望對大家有幫助，如有疑問，請?jiān)诰€咨詢，有專業(yè)老師隨時(shí)為您服務(wù)。