Qu'est-ce que les LLM sans censure ?

Les LLM sans censure sont des modèles de langage à poids ouverts qui ont été modifiés afin de réduire certains comportements de refus observés dans les assistants d'IA standards. Ils accordent à l'utilisateur un plus grand contrôle sur le comportement du modèle, ce qui les rend particulièrement pertinents pour ceux qui exécutent et expérimentent avec des LLM localement.

Qu'est-ce qu'un LLM sans censure ?

La plupart des assistants d'IA modernes sont entraînés à respecter des règles de sécurité et à refuser certaines demandes. Ce comportement peut résulter de l'ajustement par instructions, de l'entraînement par préférence, des invites système et d'autres éléments du modèle ou de l'application.

Un LLM sans censure est généralement un modèle qui a été modifié ou entraîné pour réduire certains de ces comportements de refus. Il n'existe pas de définition technique unique de « sans censure ». Différents créateurs de modèles peuvent utiliser des méthodes variées, et les modèles résultants peuvent se comporter de manière très différente.

Certains modèles sans censure sont créés par un fine-tuning supplémentaire. D'autres utilisent des techniques qui modifient des comportements spécifiques dans un modèle existant. Le terme peut également désigner des modèles décrits comme abliterated (désensibilisés), bien que l'abliteration soit une technique spécifique plutôt qu'un synonyme de tout modèle sans censure.

Sans censure ne signifie pas sans limites

Supprimer ou réduire le comportement de refus ne rend pas un modèle plus capable. Un modèle sans censure peut toujours produire des informations incorrectes, mal comprendre des instructions ou refuser certaines demandes.

• La capacité reste déterminante : Un modèle plus petit ne deviendra pas un meilleur raisonneur simplement parce que son comportement de refus a été modifié.
• La qualité varie : Les modèles sans censure peuvent différer considérablement selon leur modèle de base et la manière dont ils ont été modifiés.
• Le comportement n'est pas garanti : Un modèle sans censure peut encore refuser certaines demandes ou suivre les instructions de manière incohérente.
• Le comportement de sécurité peut changer : La réduction des refus peut également supprimer certaines mesures de sécurité qui faisaient partie de l'entraînement du modèle original.

Il est donc plus utile de considérer « sans censure » comme une description du comportement d'un modèle, plutôt que comme une garantie quant à ce que le modèle peut faire.

Sans censure vs poids ouverts vs modèles de base

Ces termes sont souvent utilisés ensemble, mais ils décrivent différents aspects d'un LLM.

Ces catégories peuvent se chevaucher. Un modèle sans censure peut être à poids ouverts et basé sur un modèle existant. Il peut également s'agir d'un fine-tuning ou d'une autre modification de ce modèle. L'étiquette seule ne explique pas exactement comment le modèle a été créé.

Pourquoi exécuter un LLM sans censure localement ?

L'exécution d'un LLM sans censure localement donne à l'utilisateur un plus grand contrôle sur le modèle et son environnement. Au lieu de s'appuyer sur un service d'IA hébergé, le modèle s'exécute sur du matériel contrôlé par l'utilisateur.

• Contrôle : Vous choisissez le modèle, le logiciel d'inférence et la configuration.
• Confidentialité : Les invites et les réponses générées peuvent rester dans votre propre environnement informatique.
• Personnalisation : Les modèles à poids ouverts peuvent être modifiés, affinés et configurés pour différentes charges de travail.
• Utilisation hors ligne : Un modèle hébergé localement n'a pas besoin d'envoyer les invites à un service d'IA externe.
• Expérimentation : Les développeurs et les chercheurs peuvent comparer différentes versions de modèles et modifications.

L'inférence locale vous donne également le contrôle sur le matériel qui exécute le modèle. Cela devient important à mesure que la taille des modèles augmente.

Quel matériel les LLM sans censure nécessitent-ils ?

Les modèles sans censure ont généralement les mêmes exigences matérielles que le modèle sous-jacent sur lequel ils sont basés. Les principaux facteurs sont la taille du modèle, la quantification, la longueur du contexte et les paramètres d'inférence.

Un modèle plus volumineux nécessite plus de mémoire qu'un modèle plus petit. La quantification peut réduire la mémoire requise pour charger un modèle, rendant les modèles plus grands pratiques sur des GPU avec moins de VRAM.

La VRAM est également utilisée par le processus d'inférence lui-même. Le cache KV et d'autres données d'exécution nécessitent une mémoire supplémentaire, et des fenêtres de contexte plus longues peuvent augmenter la quantité de mémoire nécessaire.

Cela signifie que le choix d'un modèle n'est qu'une partie de la planification d'une configuration de LLM local. Le GPU doit disposer d'assez de VRAM disponible pour le modèle et la charge de travail que vous avez l'intention d'exécuter.

Essayez sur DaDesktop

Si vous souhaitez exécuter un LLM sans censure sans acheter et installer votre propre matériel GPU, DaDesktop fournit des bureaux virtuels cloud avec des ressources GPU dédiées. Vous pouvez exécuter des charges de travail LLM locales sur DaDesktop ou comparer les options GPU disponibles en fonction du modèle que vous souhaitez exécuter.