OpenStack系列（四）：controller节点部署02【RabbitMQ Cluster集群安装】

RabbitMQ是一套开源的消息队列服务软件，是由LShift提供的一个Advanced Message Queuing Protcol(AMQP)的开源实现，由于高性能、健壮以及可sheng

1）每个节点都安装erlang

yum install -y erlang

2）每个节点都安装RabbitMQ

yum -y install rabbitmq-server

3）每个节点都启动rabbitmq及设置开机启动

systemctl enable rabbitmq-server.service
systemctl restart rabbitmq-server.service
systemctl status rabbitmq-server.service
systemctl list-unit-files | grep rabbitmq-server.service

4）创建openstack，注意将yjscloud替换为自己的合适密码

rabbitmqctl add_user openstack yjscloud  #新增用户、设置密码

5）将openstack用户赋予权限

rabbitmqctl set_permissions openstack ".*" ".*" ".*"
rabbitmqctl set_user_tags openstack administrator
rabbitmqctl list_users

6）看下监听端口 rabbitmq用的是5672端口

netstat -ntlp  | grep 5672

7）查看RabbitMQ插件

/usr/lib/rabbitmq/bin/rabbitmq-plugins list

8）每个节点都打开RabbitMQ相关插件

/usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management mochiweb webmachine rabbitmq_web_dispath amqp_client rabbitmq_management_agent
systemctl restart rabbitmq-server

9）查看rabbitmq状态
浏览器输入192.168.0.150:15672 用户口令密码是 openstank/yjscloud登陆之后查看整个管理页面，可以看到节点上rabbitmq的运行状态和负载有关情况

10）RabbitMQ集群配置

cat /var/lib/rabbitmq/.erlang.cookie   # 到每个节点查看cookie

在controller1上操作：

scp /var/lib/rabbitmq/.erlang.cookie controller2:/var/lib/rabbitmq/.erlang.cookie
scp /var/lib/rabbitmq/.erlang.cookie controller3:/var/lib/rabbitmq/.erlang.cookie

在controller2上操作：

systemctl restart rabbitmq-server
rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@controller1
rabbitmqctl start_app

在controller3上操作：

systemctl restart rabbitmq-server
rabbitmqctl stop_app
rabbitmqctl join_cluster --ram rabbit@controller1
rabbitmqctl start_app

11）验证效果
（1）通过此命令去查看集群中的所有节点

rabbitmqctl cluster_status

（2）通过浏览器访问10.1.1.150:15672、10.1.1.151:15672、10.1.1.152:15672

12）集群管理
如果遇到rabbitmq脑裂情况，按以下步骤操作，重新设置集群：
登录没有加入集群的节点：

rabbitmqctl stop_app
rabbitmqctl restart
rabbitmqctl start_app

登录以一个节点：

rabbitmqctl forget_cluster_node rabbit@controller1
rabbitmqctl forget_cluster_node rabbit@controller2

最后再重新执行添加集群操作即可！
如果某个节点下面路径/var/lib/rabbitmq有多余的文件，请全部删除掉！

13）RabbitMQ优化
RabbitMQ一般优化的地方比较少，对rabbitmq的优化总结了下面几点：

（1）尽可能的把RabbitMQ部署在单独的服务器中，因为使用专用节点，RabbitMQ服务能尽全部的享受cpu资源，这样性能更高。

（2）让RabbitMQ跑在HiPE模式下
RabbitMQ是用Erlang语言编写的，而开发HiPE能让Erlang预编译运行，这样性能可以提升30%以上。但是开启HiPE模式会让RabbitMQ第一次启动很慢，大概需要2分钟；另外就是如果启用了HiPE，RabbitMQ的调试可能变得很难，因为HiPE可以破坏回溯，使它们不可读。
 
enable HiPE方法：vim /etc/rabbitmq/rabbitmq.config 去掉（hipe_compile,ture） 前面注析即可，然后重启rabbitmq服务（重启的过程中，你会发现启动过程很慢）

scp -p /etc/rabbitmq/rabbitmq.configcontroller2:/etc/rabbitmq/rabbitmq.config
scp -p /etc/rabbitmq/rabbitmq.configcontroller3:/etc/rabbitmq/rabbitmq.config

（3）不要对RP队列使用队列镜像
研究表明，在3节点集群上启用队列镜像会使消息吞吐量下降两倍。另一方面，RPC消息变短丢失，它只导致当前正在进行的操作失败，因此没有镜像的整体RPC队列似乎是一个很好的权衡。不过也是所有的消息队列都不启用镜像，Ceilometer队列可以启用队列镜像，因此Ceilometer的消息必须保留；但是如果你的环境装了Ceilometer组件，最好是给Ceilometer单独一个rabbitmq集群，因为在通常情况下，Ceilometer不会产生大量的消息队列，但是，如果Ceilometer卡住有问题，那么关于Ceilometer的队列就会很多溢出，这会造成RabbitMQ集群的奔溃，这样必然导致其他的openstack服务中断。

（4）减少发送的指标数量或者频率
在openstack环境下运行RabbitMQ的另一个最佳实践是减少发送的指标数量和/或其频率。减少了相关指标数量和/或其频率，也自然减少了消息在RabbitMQ服务中堆积的机会，这样RabbitMQ就可以把更多的资源用来处理更重要的openstack服务队列，以间接的提高rabbitmq性能。一般Ceilometer和MondoDB的消息队列可以尽量的挪开。

（5）增加rabbitmq socket最大打开数
vim /etc/sysctl.conf 最下面添加：fs.file-max = 1000000
sysctl -p 执行生效
设置ulimit最大打开数
vim /etc/security/limits.conf
添加：

* soft nofile 655350
* hard nofile 655350

设置systemctl管理的服务文件最大打开数为1024000

vim /etc/systemd/system.conf

添加：

DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000

修改后服务器都重启下，重启完毕查看值是否更好，运行ulimit -Hn查看
修改后，登录rabbitmq web插件可以看到最大文件打开数和socket数都变大了，默认值是最大文件数是1024和socket数是829