Quelle quantité de VRAM est nécessaire pour exécuter des LLM localement ?
La question principale lors de l'exécution d'un LLM local est simple : le modèle tient-il dans votre GPU ? La réponse dépend de la taille du modèle, de la quantification et de la longueur du contexte. Ce guide vous offre un point de départ pratique pour choisir la quantité de VRAM appropriée.
L'impact de la quantification sur la VRAM
La quantification réduit la précision utilisée pour stocker les poids du modèle. Une quantification sur un nombre de bits inférieur réduit la taille du modèle et diminue l'utilisation de la VRAM, au prix d'une certaine perte de qualité.
| Quantification | Bits par poids | Utilisation typique |
|---|---|---|
| Q8_0 | 8 | Qualité très élevée |
| Q6_K | ~6,6 | Très bonne qualité |
| Q5_K_M | ~5,5 | Bonne qualité et bonne taille |
| Q4_K_M | ~4,5 | Bon équilibre entre taille et qualité |
| Q3_K_M | ~3,5 | Moins de VRAM, perte de qualité plus marquée |
Q4_K_M est un choix courant lorsque la VRAM est limitée. Si vous disposez de plus de VRAM, les options Q5 ou Q6 vous permettent d'exécuter le même modèle avec une quantification moins agressive.
VRAM approximative selon la taille du modèle
Ces estimations concernent les poids du modèle. La quantité réelle de VRAM requise est plus élevée, car le temps d'exécution, le cache KV et le contexte utilisent également de la mémoire.
| Taille du modèle | Q8_0 | Q6_K | Q4_K_M | Q3_K_M |
|---|---|---|---|---|
| 4B | ~5 Go | ~4 Go | ~3 Go | ~2,5 Go |
| 8B | ~9 Go | ~7 Go | ~5,5 Go | ~4,5 Go |
| 12B | ~13 Go | ~10 Go | ~8 Go | ~6,5 Go |
| 14B | ~16 Go | ~12 Go | ~9 Go | ~7,5 Go |
| 27B | ~30 Go | ~22 Go | ~17 Go | ~13 Go |
| 32B | ~36 Go | ~27 Go | ~20 Go | ~16 Go |
| 70B | ~80 Go | ~60 Go | ~42 Go | ~34 Go |
Ces chiffres sont des estimations, et non des limites absolues. Les différentes architectures de modèles et les formats de quantification peuvent modifier la taille réelle.
Ce que différentes quantités de VRAM peuvent supporter
| VRAM | Plage pratique | Exemples actuels |
|---|---|---|
| 8 Go | Modèles petits, environ de 4B à 9B | Gemma 4 E4B, Qwen3.5 9B |
| 12 Go | Modèles de petite à moyenne taille, environ de 9B à 14B | Gemma 4 12B, Qwen3.5 9B |
| 16 Go | Modèles de 12B à 27B avec une quantification inférieure | Gemma 4 26B-A4B, Qwen3.6 27B en Q4 |
| 24 Go | Modèles de 27B à 35B en Q4 à Q6 | Qwen3.8 27B, Gemma 4 31B |
| 32 Go | Modèles de 27B à 35B avec une quantification supérieure | Qwen3.8 27B, Gemma 4 31B |
| 48 Go | Grands modèles denses avec une quantification inférieure | Modèles de classe 70B en Q3 à Q4 |
| 80 Go | Grands modèles denses avec une quantification supérieure | Modèles de classe 70B en Q4 à Q6 |
Ces plages s'appliquent aux modèles dont les poids peuvent tenir sur le GPU. Les grands modèles MoE sont différents : seuls certains de leurs paramètres sont actifs pour chaque jeton, mais le modèle doit tout de même stocker l'ensemble de ses poids. Un modèle avec 100 B de paramètres totaux ou plus ne tiendra donc pas dans un budget de VRAM de 100 B simplement parce qu'il possède moins de paramètres actifs.
Les modèles MoE
Les modèles Mixture-of-Experts (MoE) contiennent plusieurs groupes de paramètres appelés experts. Seuls certains experts sont utilisés pour chaque jeton, ce qui peut rendre l'inférence plus efficace que celle d'un modèle dense ayant le même nombre total de paramètres.
Cependant, les experts inactifs font toujours partie du modèle. Les grands modèles MoE peuvent donc nécessiter beaucoup plus de mémoire que ce que leur nombre de paramètres actifs suggère. Les très grands modèles peuvent avoir besoin de plusieurs GPU ou du délestage en mémoire système (RAM).
La longueur du contexte utilise aussi de la VRAM
Les poids du modèle ne représentent qu'une partie de la nécessité de mémoire. Le cache KV augmente à mesure que le contexte s'allonge, si bien que l'exécution du même modèle avec un contexte de 64 K peut nécessiter nettement plus de VRAM qu'avec un contexte de 4 K.
- Un contexte plus long nécessite plus de VRAM.
- La précision du cache KV affecte l'utilisation de la mémoire.
- La taille du lot (batch size) et le nombre d'utilisateurs simultanés augmentent également la consommation de mémoire.
- Il est recommandé de laisser une partie de la VRAM disponible pour le temps d'exécution, plutôt que de remplir complètement le GPU avec les poids du modèle.
Conseils pratiques
- Vérifiez la taille réelle du modèle quantifié que vous souhaitez exécuter.
- Ne considérez pas la taille du fichier du modèle comme l'exigence exacte en VRAM. Prévoyez de la place pour le cache KV et le temps d'exécution.
- Si un modèle ne tient pas entièrement dans la VRAM, une partie peut être délestée vers la RAM système, mais l'inférence sera généralement plus lente.
- Pour les charges de travail à long contexte ou les workflows agentiques, prévoyez plus de VRAM que ce que les poids du modèle seuls ne requièrent.
- Plusieurs GPU peuvent partager un modèle si un seul GPU ne dispose pas de suffisamment de VRAM.
Lancez-le sur DaDesktop
Vous n'avez pas besoin d'acheter un GPU pour exécuter un LLM localement. DaDesktop vous offre un bureau de cloud doté de la VRAM dont vous avez besoin, vous permettant ainsi d'exécuter le modèle directement sans posséder le matériel.
Choisissez le niveau de VRAM adapté à votre modèle, chargez-le et commencez à l'utiliser. Aucune configuration, aucun achat de matériel, aucun problème de pilote. Consultez les GPU disponibles pour voir les options.