Comment calculer la consommation mémoire par file dans RabbitMQ ?▼
La mémoire totale d'une file se calcule selon la formule : M_total = M_payload + M_metadata + M_inflight + M_socket, où M_payload représente le corps des messages résidents en RAM, M_metadata correspond au surcoût d'index du processus BEAM (~32 o pour Classic Queue v2, ~140 o pour Classic Queue v1, ~384 o pour les files Quorum), M_inflight = Consommateurs * basic.qos Prefetch * (ChargeUtile + Métadonnées), et M_socket alloue de 64 Ko à 256 Ko par connexion TCP. Par exemple, 50 consommateurs avec un prefetch configuré à 100 traitant des messages de 4 Ko immobilisent à eux seuls 50 * 100 * 4,12 Ko = 20,6 Mo de mémoire non paginable en transit.
Quelle est la valeur recommandée de vm_memory_high_watermark en production sur RabbitMQ ?▼
La recommandation standard en production pour vm_memory_high_watermark se situe entre 0,40 et 0,45 (soit 40 % à 45 % de la RAM totale de la machine), préservant les 55 % à 60 % restants pour le cache de pages du système d'exploitation, les tampons de sockets réseau et les phases de compactage du ramasse-miettes Erlang BEAM. Dépasser un seuil de 0,55 expose le système à un risque critique de déclenchement du tueur de processus Linux (OOM killer), car le ramasse-miettes par copie d'Erlang peut temporairement doubler la mémoire résidente d'un processus lors d'un compactage avant que les alarmes mémoire n'aient pu réguler le trafic entrant.
Combien de mémoire utilise une file Quorum par rapport à une file Classic ?▼
Pour les messages actifs conservés en mémoire, les files Quorum requièrent environ 30 % à 40 % de mémoire supplémentaire par message par rapport à Classic Queue v2 en raison du suivi du consensus Raft (terme, index et métadonnées de commandes : ~384 o contre ~32 o par message). Néanmoins, les files Quorum écrivent directement leurs segments de journal sur disque et gèrent une fenêtre de cache avec éviction, éliminant totalement la fragmentation sévère du tas Erlang et les blocages de synchronisation globale qui affectent les anciennes files classiques répliquées (HA sync).
Que se passe-t-il lorsque RabbitMQ atteint vm_memory_high_watermark ?▼
Dès que l'utilisation globale de la mémoire Erlang dépasse vm_memory_high_watermark, RabbitMQ déclenche instantanément une alarme mémoire sur l'ensemble du cluster, cesse de lire sur les sockets TCP des producteurs et suspend le traitement des basic.publish. Les producteurs se retrouvent bloqués sur leurs tampons d'écriture TCP locaux sans recevoir d'erreur AMQP, tandis que les consommateurs continuent leur traitement sans interruption. Une fois que la mémoire résidente repasse sous le seuil d'alerte grâce à la consommation des messages et aux passes du GC de la BEAM, RabbitMQ désactive l'alarme et réactive automatiquement la lecture sur les sockets des producteurs.
Quel est l'impact du prefetch consommateur (QoS) sur la RAM de RabbitMQ ?▼
Le paramètre basic.qos prefetch définit le nombre maximal de messages non acquittés que RabbitMQ transmet à un consommateur avant d'attendre un basic.ack. Les messages délivrés restent verrouillés dans la mémoire du processus Erlang et ne peuvent en aucun cas être paginés sur disque, quelle que soit la pression mémoire. Si 50 consommateurs disposent d'un prefetch de 1 000 traitant des messages de 10 Ko, cela alloue 50 * 1 000 * 10 Ko = 500 Mo de RAM non paginable en transit. Limiter le prefetch entre 50 et 100 permet de saturer la bande passante réseau tout en maintenant la RAM en transit sous le seuil des 50 Mo.
Comment calculer le temps de vidage (drain time) du backlog d'une file RabbitMQ ?▼
Le temps de résorption du backlog se calcule selon la formule : Temps de vidage (secondes) = Nombre de messages en attente / (Débit global de traitement des consommateurs msg/s - Débit d'ingestion msg/s). Si 20 consommateurs acquittent chacun 150 msg/s (soit 3 000 msg/s au total) face à un débit d'ingestion de 1 000 msg/s, la vitesse nette de vidage est de 2 000 msg/s. Un backlog de 500 000 messages sera résorbé en 500 000 / 2 000 = 250 secondes (soit 4 minutes et 10 secondes). Si le débit de consommation est inférieur ou égal au débit de publication, le temps de vidage devient infini et signale une accumulation incontrôlée.
Quelle est la différence d'empreinte mémoire entre Classic Queue v1 et v2 ?▼
Classic Queue v1 (CQv1) stocke les index de files dans les dictionnaires internes des processus Erlang, conservant 120 o à 140 o en RAM par message même après la pagination des corps de messages sur disque. À l'opposé, Classic Queue v2 (CQv2) stocke les messages et les index dans des segments de disque immuables de 32 Mo, réduisant la surcharge mémoire des messages paginés de plus de 75 %, pour atteindre environ 32 o par message. Sur un backlog de 10 millions de messages, CQv1 immobilise ~1,4 Go de mémoire d'index sur le tas Erlang, tandis que CQv2 ne requiert qu'environ 320 Mo.
