RabbitMQ

记录 RabbitMQ 使用。大致分为一下几个部分：

docker运行
使用简介

Docker 运行 RabbitMQ

RabbitMQ 运行需要 Erlang 环境，此处为了简化调试难度，因此相关安装使用docker方式。为了启动相关过程容易记录，选用docker-compose 来进行服务配置。

这里注意获取镜像的时候要获取management版本的，不要获取last版本的，management版本的才带有管理界面。

查获镜像

查询镜像仓库库是否包含相关镜像，可以使用命令行或者dockerhub页面两种方式。此处展示命令行方式

1

docker search rabbitmq:management

获取镜像

1

docker pull rabbitmq:management

可以看到类似的输出：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


docker pull rabbitmq:management
management: Pulling from library/rabbitmq
5b7339215d1d: Pull complete
14ca88e9f672: Pull complete
a31c3b1caad4: Pull complete
b054a26005b7: Pull complete
eef17c6cb6cf: Pull complete
1b1c29c0085b: Pull complete
f8dfa8d24f5a: Pull complete
eb8ab9a01cdc: Pull complete
ab779a040984: Pull complete
5662cbdafc1c: Pull complete
7f07e4815b29: Pull complete
b056c3deadc8: Pull complete
Digest: sha256:281069a4f8f8da4db0eb01cb7052a420bcd8447289421ff60d136665f4c64abb
Status: Downloaded newer image for rabbitmq:management

当然如果我们确认镜像是存在的，也可以不做获取镜像的操作，当我们使用到镜像时，如果本地没有该镜像时，dockerd会自动pull镜像

运行镜像

1

docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq:management

看到如下结果，便成功了：

1
2
3


[root@localhost ~]# docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq rabbitmq:management
e194a2dbeb52f2296dfb6d1c527cf052d82be5ed9a4c974d70dcd6af3da3eb7e
[root@localhost ~]#

以上是 docker 命令启动方式，这里贴一个docker-compose 启动的方式

编写 docker-compose.yml 文件：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


version: "3"

services:
  rabbitmq:
    image: rabbitmq:management
    deploy:
      resources:
        limits:
          cpus: "0.5"
          memory: 50M
    ports:
    - "5672:5672"
    - "15672:15672"
    networks:
      - rabbitnet
networks:
  rabbitnet:

在文件目录下执行 docker-compose up -d 看到：

1
2


WARNING: Some services (rabbitmq) use the 'deploy' key, which will be ignored. Compose does not support 'deploy' configuration - use `docker stack deploy` to deploy to a swarm.
Starting rabbitmq_rabbitmq_1 ... done

访问管理界面

访问管理界面的地址就是 http://[宿主机IP]:15672，可以使用默认的账户登录，用户名和密码都guest，如: login

使用简介

这里仅仅介绍基本的使用方法，和数据传输类型。更深入的以后如果使用时在增加章节说明

Python 使用

rabbitmq使用的协议是amqp，用于python的推荐客户端是pika。安装命令 pip install pika

send.py

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


# coding: utf8
import pika

# 建立一个连接
connection = pika.BlockingConnection(pika.ConnectionParameters(
    'localhost'))  # 连接本地的RabbitMQ服务器
channel = connection.channel()  # 获得channel

channel.queue_declare(queue='hello')  # 在RabbitMQ中创建hello这个队列
# 注意要确保接受消息的队列是存在的，否则rabbitmq就丢弃掉该消息
channel.basic_publish(exchange='',
                      routing_key='hello',
                      body='Hello World!')

connection.close()  # 关闭 同时flush

receive.py

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


# coding: utf8
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
    'localhost'))
channel = connection.channel()

# 此处就是声明了 来确保该队列 hello 存在 可以多次声明 这里主要是为了防止接受程序先运行时出错
channel.queue_declare(queue='hello')


def callback(ch, method, properties, body):  # 用于接收到消息后的回调
    print(" [x] Received %r" % body)


channel.basic_consume('hello', callback)  # 在处理完消息后不发送ack给服务器
channel.start_consuming()  # 启动消息接受 这会进入一个死循环

工作队列（任务队列）

工作队列是用于分发耗时任务给多个工作进程的。不立即做那些耗费资源的任务（需要等待这些任务完成），而是安排这些任务之后执行。例如我们把task作为message发送到队列里，启动工作进程来接受并最终执行，且可启动多个工作进程来工作。这适用于web应用，即不应在一个http请求的处理窗口内完成复杂任务。

1
2
3
4
5
6


channel.basic_publish(exchange='',
                  routing_key='task_queue',
                  body=message,
                  properties=pika.BasicProperties(
                     delivery_mode = 2, # 使得消息持久化
                  ))

分配消息的方式为轮询即每个工作进程获得相同的消息数。

消息ack

如果消息分配给某个工作进程，但是该工作进程未处理完成就崩溃了，可能该消息就丢失了，因为rabbitmq一旦把一个消息分发给工作进程，它就把该消息删掉了。

为了预防消息丢失，rabbitmq提供了ack，即工作进程在收到消息并处理后，发送ack给rabbitmq，告知rabbitmq这时候可以把该消息从队列中删除了。如果工作进程挂掉了，rabbitmq没有收到ack，那么会把该消息重新分发给其他工作进程。不需要设置timeout，即使该任务需要很长时间也可以处理。

消息持久化

但是，有时RabbitMQ重启了，消息也会丢失。可在创建队列时设置持久化： (队列的性质一旦确定无法改变）

基本概念

可以参考消息队列之 RabbitMQ，文章的示例使用Java实现的，但是基本概念还是说明的比较清楚。这里为了以防万一，留个备份。最新的文档，可以到官网查看

消息模型

所有 MQ 产品从模型抽象上来说都是一样的过程：消费者（consumer）订阅某个队列。生产者（producer）创建消息，然后发布到队列（queue）中，最后将消息发送到监听的消费者。

RabbitMQ 基本概念

上面只是最简单抽象的描述，具体到 RabbitMQ 则有更详细的概念需要解释。上面介绍过 RabbitMQ 是 AMQP 协议的一个开源实现，所以其内部实际上也是 AMQP 中的基本概念：

Message 消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。
Publisher 消息的生产者，也是一个向交换器发布消息的客户端应用程序。
Exchange 交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Binding 绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
Queue 消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
Connection 网络连接，比如一个TCP连接。
Channel 信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
Consumer消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
Virtual Host 虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
Broker 表示消息队列服务器实体。

AMQP 中的消息路由

AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别，AMQP 中增加了 Exchange 和 Binding 的角色。生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列。

Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键，此外 headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型：

direct 消息中的路由键（routing key）如果和 Binding 中的 binding key 一致，交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routing key 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。
fanout 每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。
topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“”。#匹配0个或多个单词，匹配不多不少一个单词。