Comment utiliser ComfyUI : Workflows, modèles et configuration

ComfyUI est une application gratuite qui permet de générer des images et des vidéos par intelligence artificielle localement, directement sur votre machine. Elle s'adresse aux utilisateurs souhaitant un contrôle plus fin que celui offert par les outils classiques de « prompt-génération », en leur permettant de visualiser et d'ajuster chaque étape du processus de génération. Cette flexibilité s'accompagne d'une courbe d'apprentissage, c'est pourquoi ce guide vous aide à débuter, de l'installation à l'exécution et à la modification de votre premier workflow.

Prérequis avant de commencer

ComfyUI nécessite un ordinateur disposant de ressources GPU suffisantes pour les modèles et les workflows souhaités. Les modèles de grande taille et les workflows plus exigeants demandent généralement davantage de VRAM.

Vous aurez également besoin des fichiers de modèles utilisés par votre workflow. Selon le modèle, cela peut inclure des checkpoints, des modèles de diffusion, des VAE, des encodeurs de texte, des LoRA ou d'autres composants. Ces fichiers sont normalement stockés dans le répertoire ComfyUI/models.

Si vous ne disposez pas d'un GPU approprié localement, vous pouvez également exécuter ComfyUI sur un bureau virtuel distant équipé d'un GPU. Cette approche déplace la charge de travail de génération vers le GPU distant, tout en vous permettant d'accéder au bureau depuis votre ordinateur habituel.

Installer ComfyUI

Pour Windows et macOS, ComfyUI recommande son application de bureau pour les nouveaux utilisateurs. D'autres méthodes d'installation existent, notamment l'installation manuelle et l'outil en ligne de commande ComfyUI. La méthode appropriée dépend de votre système d'exploitation et de votre configuration.

Après avoir installé ComfyUI, lancez l'application et ouvrez l'interface. Vous verrez la zone de dessin du workflow ainsi que les outils utilisés pour créer et gérer vos workflows.

Pourquoi les workflows ComfyUI sont importants

Un workflow ComfyUI définit la manière dont une image ou une vidéo est générée. Il contrôle les modèles, les paramètres et les étapes de traitement utilisés pour produire le résultat final.

Cela vous offre un bien plus grand contrôle qu'une simple boîte de prompt. Vous pouvez changer de modèle, ajouter un LoRA, utiliser une image en entrée, ajuster les paramètres de génération, augmenter la résolution du résultat ou ajouter d'autres étapes de traitement.

Les workflows peuvent également être enregistrés et réutilisés. Au lieu de reconstruire la même configuration à chaque fois, vous pouvez conserver un workflow qui produit des résultats satisfaisants et modifier les paramètres individuels si nécessaire. Vous pouvez aussi télécharger des workflows créés par d'autres utilisateurs et les adapter à votre propre configuration.

Comprendre un workflow ComfyUI

Un workflow est composé de nœuds connectés entre eux. Chaque nœud gère une partie spécifique du processus de génération, et les connexions déterminent la façon dont les informations circulent entre eux.

Un workflow de base de texte vers image peut contenir des nœuds pour charger un modèle, saisir un prompt, créer les données d'image initiales, générer l'image, décoder le résultat et l'enregistrer.

• Chargeur de modèle : Charge le modèle utilisé pour la génération.
• Encodeur de texte : Convertit votre prompt en informations utilisables par le modèle.
• Échantillonneur : Exécute le processus de génération en utilisant les paramètres sélectionnés.
• VAE : Convertit entre les données latentes et l'image.
• Enregistrer l'image : Écrit l'image générée sur le disque.

Vous n'avez pas besoin de construire chaque workflow à partir de zéro. ComfyUI propose des modèles de workflow, et de nombreux workflows de la communauté peuvent être téléchargés et ouverts directement.

Charger un workflow existant

Utiliser un workflow existant est souvent le moyen le plus simple de commencer. ComfyUI fournit des workflows d'exemple pour différents modèles et tâches, tandis que les sites de la communauté en proposent beaucoup plus.

De nombreuses images de workflow contiennent les données du workflow dans leurs métadonnées. Vous pouvez glisser l'image dans ComfyUI ou utiliser Workflows → Ouvrir pour la charger. Le workflow apparaîtra sur la zone de dessin avec ses nœuds et ses paramètres déjà configurés.

Une fois le workflow chargé, vérifiez les modèles qu'il attend. Si des fichiers requis sont manquants, ComfyUI peut identifier les modèles manquants pour les modèles de workflow pris en charge. D'autres workflows peuvent vous obliger à trouver et installer les modèles vous-même.

Trouver des modèles pour ComfyUI

Les modèles peuvent être trouvés sur des dépôts tels que Hugging Face et Civitai, ainsi que sur la page projet du modèle lui-même. L'aspect important est de trouver un modèle compatible avec le workflow que vous souhaitez utiliser.

N'assumez pas qu'un fichier de modèle quelconque puisse être chargé dans n'importe quel workflow. Différentes architectures de modèles peuvent nécessiter des chargeurs et des fichiers d'assistance différents.

Avant de télécharger un modèle, vérifiez :

• L'architecture et la version du modèle
• Le workflow ComfyUI requis
• Le format du fichier de modèle
• La VRAM et le matériel recommandés
• Tout VAE, encodeur de texte, LoRA ou autre fichier d'assistance requis
• La licence du modèle et les restrictions d'utilisation

ComfyUI prend en charge plusieurs types de fichiers de modèle. Le dossier dépend du type de modèle installé. Par exemple, les checkpoints peuvent être placés dans models/checkpoints, les LoRA dans models/loras et les VAE dans models/vae. Certains modèles plus récents utilisent des dossiers tels que models/diffusion_models et models/text_encoders.

Installer un modèle

Une fois que vous avez téléchargé un modèle, placez-le dans le répertoire attendu par le workflow. Vous pouvez ensuite le sélectionner dans le chargeur de modèle correspondant.

Par exemple, un checkpoint peut être stocké dans :

ComfyUI/models/checkpoints/

Un LoRA peut être stocké dans :

ComfyUI/models/loras/

Si le nouveau modèle n'apparaît pas dans la liste des modèles, actualisez l'interface ou redémarrez ComfyUI.

Installer des nœuds personnalisés

De nombreux workflows avancés de ComfyUI utilisent des nœuds personnalisés qui ne sont pas inclus dans l'installation standard. Un workflow peut afficher des nœuds manquants si ces dépendances n'ont pas été installées.

ComfyUI fournit un gestionnaire pour l'installation de nœuds personnalisés. Les nœuds peuvent également être installés manuellement en plaçant leurs dépôts dans le répertoire custom_nodes et en installant leurs dépendances requises.

Installez uniquement des nœuds personnalisés à partir de sources de confiance. Les nœuds personnalisés peuvent contenir du code exécutable et peuvent avoir leurs propres dépendances et considérations de sécurité.

Exécuter et modifier votre workflow

Une fois les modèles et les nœuds personnalisés requis installés, vérifiez les paramètres importants du workflow. Commencez par le modèle, le prompt, les dimensions de l'image et les paramètres d'échantillonnage.

Lorsque tout est prêt, utilisez le bouton File d'attente (Queue) pour exécuter le workflow. ComfyUI traite chaque étape et produit la sortie définie par le workflow.

Vous pouvez ensuite modifier des parties individuelles du workflow sans le reconstruire. Ajoutez un LoRA, connectez une image en entrée, changez l'échantillonneur, ajoutez un agrandisseur ou ajustez d'autres paramètres pour modifier le résultat.

Enregistrer vos workflows

Enregistrez les workflows que vous intendez de réutiliser. Un workflow contient le graphique de nœuds et ses paramètres, mais ne contient pas nécessairement les fichiers de modèles eux-mêmes. Suivez quels modèles et nœuds personnalisés le workflow nécessite.

Ceci devient particulièrement important lors du transfert d'un workflow sur un autre ordinateur ou un bureau cloud. Vous devrez peut-être installer les mêmes modèles et nœuds personnalisés avant que le workflow ne fonctionne correctement.

Essayez ComfyUI sur DaDesktop

Vous n'avez pas besoin d'acheter un nouveau GPU juste pour exécuter ComfyUI. Si votre ordinateur actuel ne dispose pas de ressources GPU suffisantes, vous pouvez exécuter ComfyUI sur un bureau cloud à la place et l'utiliser lorsque vous en avez besoin.

DaDesktop fournit des bureaux cloud avec des ressources GPU dédiées pour des charges de travail telles que la génération d'images et de vidéos par IA. Vous pouvez installer ComfyUI, télécharger les modèles souhaités et créer vos propres workflows sans ajouter de GPU dédié à votre ordinateur local.

En savoir plus sur la génération d'images et de vidéos par IA sur DaDesktop. Vous pouvez également consulter les GPU disponibles et choisir une configuration en fonction des modèles et des workflows que vous souhaitez exécuter.