¿Cómo calcular el uso de memoria por cola en RabbitMQ?▼
La memoria total por cola se calcula mediante la fórmula: M_total = M_payload + M_metadata + M_inflight + M_socket, donde M_payload corresponde al cuerpo de los mensajes residentes en RAM, M_metadata representa la sobrecarga de índices de procesos en BEAM (~32 B para Classic Queue v2, ~140 B para Classic Queue v1 y ~384 B para colas Quorum), M_inflight = Consumidores * Prefetch de basic.qos * (CargaÚtil + Metadatos), y M_socket reserva entre 64 KB y 256 KB por conexión TCP. Por ejemplo, 50 consumidores con un prefetch de 100 que procesan mensajes de 4 KB retienen por sí solos 50 * 100 * 4,12 KB = 20,6 MB en RAM en tránsito no paginable.
¿Cuál es el valor recomendado de vm_memory_high_watermark en entornos de producción de RabbitMQ?▼
El umbral recomendado en producción para vm_memory_high_watermark se sitúa entre 0,40 y 0,45 (del 40% al 45% de la RAM total del sistema), reservando el 55% a 60% restante para la caché de páginas del sistema operativo, los búferes de sockets y las pasadas de compactación del recolector de basura de Erlang BEAM. Establecer este límite por encima de 0,55 genera un riesgo crítico de activación del OOM Killer (Out-Of-Memory) de Linux, ya que el recolector de basura por copia de Erlang puede duplicar momentáneamente el tamaño del heap residente de un proceso durante la compactación antes de que las alarmas de memoria consigan estrangular las publicaciones entrantes.
¿Cuánta memoria consume una cola Quorum en comparación con una Classic Queue?▼
Para mensajes activos en memoria, las colas Quorum requieren aproximadamente entre un 30% y un 40% más de memoria por mensaje que Classic Queue v2 debido al seguimiento del consenso Raft (metadatos de término, índice y comandos: ~384 B frente a ~32 B por mensaje). No obstante, las colas Quorum almacenan los segmentos del registro directamente en disco y gestionan una ventana de caché con desalojo, eliminando por completo la severa fragmentación del heap de Erlang y los bloqueos por sincronización en todo el clúster que degradan a las colas clásicas reflejadas heredadas (HA sync).
¿Qué sucede cuando RabbitMQ alcanza el límite vm_memory_high_watermark?▼
Cuando el uso total de memoria de Erlang sobrepasa vm_memory_high_watermark, RabbitMQ activa de inmediato una alarma de memoria en todo el clúster, deja de leer de los sockets TCP de los productores y suspende el procesamiento de basic.publish. Los productores se bloquean en sus búferes locales de escritura TCP sin recibir ningún error de AMQP, mientras que los consumidores continúan procesando sin impedimentos. En cuanto la memoria residente desciende por debajo del umbral gracias al consumo de mensajes y a la recolección de basura de BEAM, RabbitMQ desactiva la alarma y reanuda automáticamente el sondeo de los sockets de los publicadores.
¿Cómo afecta la cantidad de prefetch del consumidor (QoS) a la memoria RAM en RabbitMQ?▼
El parámetro de prefetch de basic.qos define cuántos mensajes sin confirmar envía RabbitMQ a un consumidor antes de esperar un basic.ack. Los mensajes despachados quedan anclados en la memoria del proceso Erlang y no pueden paginarse a disco, sin importar el nivel de presión de memoria. Si 50 consumidores tienen configurado un prefetch de 1000 procesando mensajes de 10 KB, esto reserva 50 * 1000 * 10 KB = 500 MB de RAM en tránsito completamente no paginable. Limitar el prefetch a un rango de 50 a 100 mantiene la saturación de la red a velocidad de línea y conserva la RAM en tránsito por debajo de 50 MB.
¿Cómo calcular el tiempo de drenaje del backlog de una cola en RabbitMQ?▼
El tiempo de drenaje del backlog se calcula con la fórmula: Tiempo de drenaje (segundos) = Mensajes acumulados en el backlog / (Tasa total de procesamiento de consumidores msg/s - Tasa de publicación entrante msg/s). Si 20 consumidores confirman 150 msg/s cada uno (3000 msg/s en conjunto) frente a una tasa de publicación de 1000 msg/s, la velocidad neta de drenaje es de 2000 msg/s. Un backlog de 500 000 mensajes se vaciará en 500 000 / 2000 = 250 segundos (4 minutos y 10 segundos). Si la tasa de consumo es igual o inferior a la tasa de publicación, el tiempo de vaciado es infinito, lo que indica una cola en continuo crecimiento.
¿Cuál es la diferencia en la sobrecarga de memoria entre Classic Queue v1 y v2?▼
Classic Queue v1 (CQv1) almacena los índices de la cola dentro de estructuras de diccionario del proceso Erlang, reteniendo entre 120 B y 140 B en RAM por mensaje incluso después de que los cuerpos de los mensajes se hayan paginado a disco. Por el contrario, Classic Queue v2 (CQv2) almacena tanto los mensajes como los índices en archivos de segmento inmutables de 32 MB en disco, lo que reduce la sobrecarga en memoria para mensajes paginados en más de un 75%, situándola en torno a los 32 B por mensaje. En una acumulación de 10 millones de mensajes, CQv1 demanda ~1,4 GB de memoria residente en el heap de Erlang solo para índices, mientras que CQv2 únicamente requiere ~320 MB.
