Rabbitmq on Leanku 的博客

关于rabbitmq的一些问题

Sun, 13 Oct 2024 20:46:01 +0800

关于rabbitmq的一些问题

一、RabbitMQ的完整工作流程

RabbitMQ 的核心是生产者将消息发送到交换机，交换机根据类型和路由键将消息路由到队列，消费者再从队列中获取消息。

核心组件：

Producer（生产者）： 发送消息的应用程序。
Consumer（消费者）： 接收消息的应用程序。
Message（消息）： 包含有效载荷（数据）和标签（元数据，如路由键）。
Exchange（交换机）： 接收生产者发送的消息，并根据特定规则（交换机类型、绑定、路由键）将消息路由到一个或多个队列。
Queue（队列）： 存储消息的缓冲区，等待消费者消费。
Binding（绑定）： 连接交换机和队列的规则。

完整流程：

建立连接：
- 生产者/消费者与 RabbitMQ Broker 建立一个 TCP 连接。
- 在连接上创建一个 Channel（信道），Channel 是轻量级的连接，避免了频繁创建/销毁 TCP 开开销。
生产者发送消息：
- 生产者将消息发送到指定的 Exchange。
- 发送消息时，必须指定一个 Routing Key（路由键）。
交换机路由消息：
- Exchange 接收到消息后，根据自身的类型和 Binding 规则，决定将消息投递到哪些队列。
- 主要的交换机类型：
  - Direct： 精确匹配 Routing Key。消息只会被投递到 Binding Key 与 Routing Key 完全一致 的队列。
  - Fanout： 广播模式。将消息投递到所有绑定到该 Exchange 的队列，忽略 Routing Key。
  - Topic： 模式匹配。使用通配符（* 匹配一个词，# 匹配零个或多个词）来匹配 Routing Key 和 Binding Key。

rabbitmq工作原理

Tue, 23 Apr 2024 20:46:01 +0800

rabbitmq工作原理

一、概念

AMQP协议

AMQP是一个提供统一消息服务的应用层标准协议，基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同开发语言等条件的限制。

AMQP协议是一种二进制协议，提供客户端应用与消息中间件之间异步、安全、高效地交互。

AMQP作为中间层服务，把消息生产和消费分割出来，当消息生产者出现异常，不影响消费者对消息的消费，当消费者异常时，生产者生产的消息可以存放到服务的内存或者磁盘，不以影响到消息的消费，同时，消息也可以基于路由的规则可以投递到指定的消费者消费。

AMQP基于模块化通过Exchange和Message Queue两个组件组合实现消息路由分发

生产者和消费者

生产者是生产消息的主体，消费者是消费消息的主体

数据集成与系统解耦、异步处理与事件驱动、流量削峰、事务消息与分布式事务的最终一致等

生产者生产一条消息丢给消息代理，消息代理根据投递规则将消息传送到消费者手上

交换机

交换机就像是消息代理的路由器，负责拿到一个消息之后，根据确定的规则（路由键）将他路由给一个或零个队列、交换机具备多种路由模式。

基于消息生产者和路由规则可以将消息投递到指定的Message Queue，交换机收到生产者投递的消息，基于路由规则及队列绑定关系匹配到投递对应的交换机或者队列进行分发，交换机不存储消息，只做转发

直连交换机：根据路由键完全匹配的投递到对应的队列。

扇形交换机：无视路由键，将消息进行拷贝，并路由到给绑定到它身上的所有队列，提供了一个广播的效果

主题交换机： 根据路由键按模式匹配的投递到对应的队列

交换机也具备自己的属性，可以定义自己的名字，是否持久化等选项

队列

消息的暂存地，至少有一个消费者订阅了队列的话，消息会立即发送给这些订阅的消费者。但是如果消息到达了无人的订阅队列，消息会在队列中等待，等待有了消费者便进行分发

Exchange和Message Queue之间存在绑定关系，消息到了Exchange后基于路由策略可以将消息投递到已绑定且符合路由策略的Message Queue。

消息队列会将消息存储到内存或者磁盘中，并将这些消息按照一定顺序转发给一个或多个消费者，每个消息队列都是独立隔离的，相互不影响。

消息队列具有不同的属性：私有，共享，持久化，临时，客户端定义或者服务端定义等，可以基于实际需求选择对应的类型

消息

消息是信息的载体，也是MAQP协议的一个实体，消息包含以下两部分
载荷：就是真正的信息，是你想要传输的任何内容，该部分内容对消息代理来说是透明的
元消息：包含路由键、内容类型、编码、是否持久化等等消息属性，会被消息代理所解析，消息代理根据消息的属性对这条消息进行投递，存储等。这部分被消息代理所关心，而消费者对其是不关心的

信道

网络信道，是建立在Connection连接之上的一种轻量级的连接。几乎所有的操作都在Chanel中进行，Channel是进行消息读写的通道，客户端可以建立对各Channel，每个Channel代表一个会话任务

如果把Connection比作一条光纤电缆的话，那么Channel信道就比作成光纤电缆中的其中一束光纤。一个Connection上可以创建任意数量的Channel。

大部分的业务操作是在Channel这个接口中完成的

队列声明 queueDeclare
交换机的声明 ExchangeDeclare
队列的绑定 queueBind
发布消息 basicPublish
消费消息 basicConsume

二、Rabbitmq 工作模式

2.1 简单模式

生产者p发送消息到队列，消费者c消费消息。（无交换机消息直接进入队列）

p->queue->c

2.2 工作模式

一个生产者p发送消息到队列，队列将消息分配给多个消费者c1,c2。（实现负载均衡，适合集群异步处理，典型场景：发送邮件、短信等） p->queue|->c1 |->c2

2.3 订阅模式，每个队列的消息都是一样的

使用广播类型的交换机e, 生产者p把消息发送到交换机e，交换机e把消息发送到和交换机绑定的队列c4、c5(每个消费者接收相同的消息。典型应用场景：天气订阅，微博订阅等)

 |->c4
p->e->|
 |->c5

2.4 路由模式

使用Direct类型的交换机，生产者p发送消息到交换机e，交换机E根据路由键（如error发送到c1）匹配队列，消息仅发送到匹配的队列（与订阅模式的区别：按条件筛选发送）

RabbitMQ详解

Tue, 23 Apr 2024 20:46:01 +0800

RabbitMQ详解

一、为什么需要 RabbitMQ？

1.1 它能解决什么问题？

在分布式系统中，服务间的通信面临着诸多挑战。RabbitMQ 通过“生产者-消费者”模型，有效解决了以下痛点：

系统解耦

在紧耦合架构中，订单系统需要直接调用库存、支付、物流等多个服务。一旦某个服务接口变更，所有依赖方都需调整。通过 RabbitMQ，订单系统只需发送一条“订单创建”消息，其他服务订阅即可，服务之间无需直接关联。

异步通信

同步调用中，用户需要等待所有下游操作完成才能得到响应。例如，注册后发送邮件、短信、初始化数据等耗时操作，如果全部同步执行，用户体验会非常差。通过 RabbitMQ，主流程可立即返回，后台消费者异步处理这些非核心任务。

流量削峰

秒杀、大促场景下，瞬时请求可能高达数万 QPS，直接冲击数据库会导致系统崩溃。RabbitMQ 可以作为缓冲器，将突发请求暂存到队列中，后端服务按自身处理能力逐步消费，确保系统平稳运行。

1.2 举例：快递分拣中心

可以把 RabbitMQ 想象成一个快递分拣中心：

生产者：寄快递的人，把包裹交给分拣中心
交换机：分拣中心的分拣员，根据地址决定包裹去哪个区域
队列：小区快递柜，暂存等待领取的包裹
消费者：取快递的人，从快递柜取走包裹

寄件人无需等待收件人当场签收，分拣中心会负责精准投递，收件人按需取件——这就是异步解耦的本质。

二、核心架构与工作流程

2.1 核心组件

RabbitMQ 的架构围绕以下核心组件展开：

组件	作用	类比
生产者（Producer）	创建并发送消息	寄快递的人
交换机（Exchange）	接收消息，根据规则路由到队列	快递分拣员
绑定（Binding）	建立交换机与队列的关联，指定路由规则	分拣中心与快递柜的配送路线
队列（Queue）	存储消息的容器	小区快递柜
消费者（Consumer）	从队列获取并处理消息	取快递的人
连接（Connection）	与 RabbitMQ 服务器的 TCP 连接	公路
信道（Channel）	复用连接的轻量级通信通道	公路上的车道

关键概念：信道（Channel） 是理解 RabbitMQ 性能的关键。每次创建和关闭 TCP 连接的开销很大，信道则允许在一个 TCP 连接上并发进行多个通信，大幅提升效率。

2.2 消息流转全流程

一条消息从生产到消费，经历以下步骤：