Comment exécuter un LLM en local : comparatif entre Ollama, llama.cpp, LM Studio et vLLM

Il existe plusieurs façons d'exécuter un LLM en local. Certains outils sont conçus pour faciliter la prise en main, tandis que d'autres offrent un contrôle plus fin ou sont optimisés pour servir de nombreux utilisateurs simultanément. Le choix adéquat dépend de vos besoins : une simple discussion locale, un moteur d'inférence configurable ou une API de production.

Ollama

Ollama est l'une des méthodes les plus simples pour commencer à exécuter des modèles en local. Installez-le, téléchargez un modèle et exécutez-le depuis la ligne de commande. Il fournit également une API locale pour les applications et autres outils.

Avantages :

Installation et gestion des modèles simplifiées
Flux de travail en ligne de commande facile
API compatible avec OpenAI
Prise en charge de l'accélération GPU via NVIDIA, AMD, Apple Silicon et Vulkan
Les fichiers de modèle (Modelfiles) permettent de personnaliser les modèles et les paramètres
Prise en charge des requêtes simultanées si la mémoire disponible est suffisante

Inconvénients :

Moins de contrôle au bas niveau que avec llama.cpp
Gestion des modèles intégrée à l'écosystème Ollama
Non recommandé pour un débit de service maximal ou une inférence distribuée

Difficulté : Faible. Un bon choix si vous souhaitez exécuter un modèle rapidement sans gérer de nombreux paramètres d'inférence.

llama.cpp

llama.cpp est un moteur d'inférence léger en C/C++ conçu pour exécuter efficacement les modèles sur une large gamme de matériel. Il utilise les modèles GGUF et offre un contrôle détaillé sur la charge et l'exécution du modèle.

Avantages :

Contrôle fin sur le contexte, la déléguer du GPU, le regroupement par lots (batching), les threads, la quantification et d'autres paramètres d'inférence
Prise en charge matérielle étendue, y compris CUDA, HIP, Metal, Vulkan et SYCL
Support de nombreux niveaux de quantification, des formats à faible nombre de bits jusqu'au 8 bits
Possibilité de diviser les modèles entre plusieurs GPU
Possibilité d'utiliser conjointement le CPU et le GPU lorsque le modèle dépasse la VRAM disponible
Inclut llama-server pour une API compatible OpenAI

Inconvénients :

Configuration plus complexe qu'avec Ollama ou LM Studio
Les modèles GGUF sont généralement téléchargés et gérés séparément
Besoin de comprendre les paramètres d'inférence pour de nombreuses réglages utiles

Difficulté : Moyenne. Un bon choix si vous souhaitez contrôler précisément l'exécution du modèle ou expérimenter avec les performances et la quantification.

LM Studio

LM Studio est une application de bureau pour télécharger, configurer et exécuter des LLM locaux. Elle propose une interface graphique pour trouver des modèles et gérer des paramètres tels que la déléguer du GPU et la taille du contexte.

Avantages :

Interface graphique simple
Recherche et téléchargement de modèles via Hugging Face
Affichage des informations sur le modèle et les ressources avant le chargement
Serveur d'API compatible OpenAI
Permet d'exécuter les modèles sans interface graphique via son serveur llmster
Prise en charge des modèles GGUF via llama.cpp et des modèles MLX sur Apple Silicon

Inconvénients :

Moins de contrôle au bas niveau que l'utilisation directe de llama.cpp
L'application de bureau est moins adaptée à certains déploiements serveur
Non conçue principalement pour le service à grande échelle à multi-utilisateurs

Difficulté : Faible. Un bon choix si vous souhaitez expérimenter avec des modèles locaux sans passer beaucoup de temps en ligne de commande.

vLLM

vLLM est conçu pour servir des LLM à des applications et à de multiples utilisateurs. Son principal avantage réside dans un service efficace avec une forte concurrence, utilisant des techniques telles que PagedAttention, le regroupement continu, le cache de préfixe et l'inférence distribuée.

Avantages :

Fort débit pour plusieurs requêtes simultanées
Regroupement continu et gestion efficace du cache KV
Serveur d'API compatible OpenAI
Compatible directement avec de nombreux modèles Hugging Face
Prise en charge de la quantification, y compris FP8, INT4, GPTQ, AWQ, GGUF et d'autres
Prise en charge de la parallélisation tensorielle, par pipeline, par expert, etc.
Conçu pour l'inférence et le service en production

Inconvénients :

Installation et configuration plus complexes
Visé principalement les environnements Linux
Généralement inutile pour une seule personne exécutant un modèle interactif
Nécessite de vérifier la compatibilité du matériel et des modèles avant le déploiement

Difficulté : Élevée. Le plus adapté aux personnes qui déploient un service d'inférence plutôt qu'aux simples utilisateurs exécutant un modèle sur un ordinateur personnel.

Lequel choisir ?

Vous souhaitez simplement exécuter un modèle facilement : Ollama ou LM Studio. Choisissez Ollama pour la ligne de commande et l'API simple, ou LM Studio pour une interface graphique.
Vous souhaitez contrôler l'inférence : llama.cpp. Il vous offre un contrôle direct sur le chargement du modèle, la quantification, le contexte, la déléguer du GPU et d'autres paramètres.
Vous avez besoin d'une API locale : Ollama, llama.cpp ou LM Studio. Les trois fournissent des API compatibles avec OpenAI.
Vous devez servir de nombreux utilisateurs : vLLM. Ses fonctionnalités de regroupement continu et d'inférence distribuée sont conçues pour ce cas d'usage.
Vous souhaitez expérimenter avec différentes quantifications : llama.cpp ou LM Studio.

L'exécuter sur DaDesktop

Si votre matériel GPU local est insuffisant, vous pouvez exécuter ces outils sur un bureau cloud DaDesktop. Choisissez un GPU doté d'une VRAM suffisante pour le modèle souhaité, lancez le bureau et installez le logiciel d'inférence de votre choix.

Ollama et LM Studio sont utiles lorsque vous souhaitez un environnement local simple. llama.cpp vous offre un meilleur contrôle sur le matériel et les paramètres d'inférence. vLLM est une option lorsque vous avez besoin d'exposer un modèle sous forme d'API à fort débit.

Voir les GPU disponibles pour comparer la VRAM et les autres spécifications.