Modèles de décision IA : En quoi ils diffèrent des LLMs

Les modèles de prise de décision ont récemment attiré l'attention comme une approche différente de l'intelligence artificielle. L'un des plus discutés est Jev, de TypeSafe AI. Jev produit des choix structurés, des scores et des estimations de confiance, plutôt que du texte.

Bien que les modèles d'IA traditionnels effectuent des prédictions et des classifications depuis des années, Jev se concentre sur la prise de décisions structurées que le logiciel peut utiliser directement. Cette approche offre une autre manière de développer des applications d'IA, en particulier lorsque le système doit évaluer des informations et déterminer la suite des événements.

Comment Jev fonctionne-t-il ?

Avec un LLM traditionnel, vous envoyez un prompt et recevez du texte généré. Même lorsque vous demandez un format JSON, l'application doit traiter la réponse et valider son contenu avant de l'utiliser.

Jev fonctionne différemment. Vous fournissez un contexte, définissez les questions auxquelles vous souhaitez obtenir des réponses et spécifiez le type de réponse attendu. Jev renvoie des résultats structurés que votre application peut traiter directement.

Jev prend en charge trois principaux types de questions :

• Choix : Sélectionne une option parmi une liste que vous définissez, par exemple facturation, support technique ou ventes.
• Score : Évalue quelque chose selon une échelle ordonnée, par exemple priorité faible, moyenne ou élevée.
• Oui ou non : Estime la probabilité qu'une affirmation soit vraie, par exemple si un ticket de support nécessite une intervention humaine.

Vous pouvez poser plusieurs questions sur la même entrée dans une seule demande. Par exemple, une application de support pourrait classifier un ticket, évaluer son urgence et estimer si un humain doit l'examiner. Jev renvoie les résultats dans un format structuré afin que l'application puisse décider de la prochaine action à entreprendre.

Modèles de prise de décision par rapport aux LLMs

Les LLMs et les modèles de prise de décision servent à des fins différentes. Un LLM peut expliquer une décision, générer du contenu, écrire du code ou raisonner sur une tâche complexe. Jev est conçu pour des décisions ciblées avec des sorties définies.

La distinction ne réside pas dans l'incapacité des LLMs à prendre des décisions. Ils peuvent également classifier des informations et retourner des données structurées. Jev est spécifiquement conçu autour de cette tâche, sans générer de réponse libre qui nécessite une interprétation par l'application.

Cela peut le rendre utile pour des décisions répétées et bien définies. Pour les tâches nécessitant des explications détaillées, des sorties créatives ou un raisonnement complexe en plusieurs étapes, un LLM reste l'outil le plus approprié.

Qu'est-ce que les scores de confiance ?

L'une des principales fonctionnalités de Jev est que ses sorties incluent des probabilités et des informations de confiance. Ces valeurs aident les développeurs à évaluer à quel point le modèle privilégie une réponse.

Par exemple, une application de support client pourrait demander si un ticket doit être escaladé. Si le modèle indique une probabilité élevée qu'une escalade est nécessaire, l'application pourrait envoyer le ticket à une équipe de support senior. Si le résultat est incertain, elle pourrait l'envoyer pour examen humain.

Cependant, la confiance ne garantit pas la justesse. Un modèle peut être très confiant et prendre néanmoins une mauvaise décision. Les développeurs doivent tester ses résultats sur des exemples réels et choisir des seuils adaptés aux conséquences de chaque décision.

Il est également important de distinguer la probabilité d'une réponse d'un score de confiance séparé. La signification exacte dépend du type de sortie. Les applications doivent suivre la documentation du modèle plutôt que de traiter chaque nombre retourné comme une mesure identique.

Où les modèles de prise de décision peuvent-ils être utiles ?

Classification et routage

Beaucoup d'applications doivent trier les informations entrantes avant de les traiter. Une plateforme de support pourrait classifier les demandes par sujet et les envoyer à la bonne équipe. Une application d'entreprise pourrait catégoriser des documents, des e-mails ou des retours clients.

Jev peut retourner une catégorie d'une liste prédéfinie, permettant à l'application de router l'élément sans avoir à analyser un paragraphe généré.

Scoring et évaluation

Les modèles de prise de décision peuvent également évaluer des informations selon une échelle définie. Par exemple, une application pourrait évaluer l'urgence d'un ticket de support, scorer la pertinence d'un document ou évaluer si une réponse remplit des critères spécifiques.

Les résultats peuvent être utilisés pour classer des éléments, prioriser le travail ou identifier les cas nécessitant un examen plus approfondi. La qualité de ces décisions dépend toujours du modèle et de la pertinence des critères décrivant la tâche.

Agents IA et sélection d'outils

Les agents IA utilisent des modèles pour décider des actions à entreprendre. Un agent pourrait choisir un outil, classifier une demande ou déterminer si une tâche nécessite des informations supplémentaires.

Un LLM polyvalent peut prendre ces décisions dans le cadre de son raisonnement. Un modèle de prise de décision peut gérer un choix plus restreint avant que l'agent n'agisse.

Par exemple, un flux de travail personnalisé utilisant Hermes Agent pourrait utiliser Jev pour classifier une tâche entrante avant de la transmettre à l'agent. Il pourrait également aider à déterminer quel flux de travail doit traiter une demande. Cela nécessiterait une intégration personnalisée plutôt que de compter sur un support natif supposé.

Les modèles de prise de décision ne doivent pas être considérés comme des mesures de sécurité en soi. Si un agent peut exécuter des commandes ou modifier des fichiers, les autorisations et les règles déterministes doivent imposer quelles actions sont autorisées. La classification d'un modèle peut éclairer ce processus, mais ne doit pas le remplacer.

Alternatives à Jev

Jev fait partie d'une classe plus large de modèles conçus pour produire des décisions structurées. OpenJev et Laya sont deux autres projets à explorer lors de la comparaison des approches.

OpenJev

OpenJev est un projet ouvert lié à l'approche de Jev. Il vaut la peine d'être examiné si vous souhaitez explorer une implémentation en dehors d'un service hébergé. Avant de l'utiliser, vérifiez sa disponibilité actuelle, les exigences matérielles, les fonctionnalités prises en charge et la licence.

Laya

Laya est un modèle de prise de décision open source de Convai Innovations. Il se concentre sur des tâches telles que le choix parmi des options prédéfinies, l'évaluation d'informations et la réponse à des questions oui/non. Il peut être pertinent si vous souhaitez évaluer un modèle pouvant s'exécuter dans votre propre environnement.

Ces projets doivent être comparés sur leurs performances réelles, et non seulement sur leurs capacités revendiquées. Utilisez les mêmes données de test et mesurez la précision, la latence, les besoins en ressources et la correspondance entre leurs estimations de confiance et les résultats réels.

Pouvez-vous exécuter des modèles de prise de décision en local ?

L'exécution d'un modèle en local vous donne plus de contrôle sur l'environnement logiciel et l'endroit où les données sont traitées. Cependant, les options de déploiement disponibles varient selon le projet. Jev est proposé via une API, tandis que des alternatives open source peuvent fournir des options pour exécuter l'inférence sur votre propre matériel.

Les exigences matérielles dépendent de la taille du modèle, de l'utilisation de la mémoire et du débit. Certains modèles peuvent s'exécuter sur un CPU, tandis que d'autres bénéficient d'un GPU, en particulier lors du traitement de nombreuses demandes.

Si vous souhaitez expérimenter avec des modèles d'IA locaux, DaDesktop propose des bureaux de cloud avec des options GPU dédiées. Vous pouvez les utiliser pour le développement et les tests sans acheter un GPU haut de gamme pour votre ordinateur local.

En savoir plus sur l'exécution de LLMs locaux ou explorez les environnements d'agents IA.

Quand devriez-vous utiliser un modèle de prise de décision ?

Les modèles de prise de décision sont utiles lorsqu'une application a besoin d'une réponse définie pouvant déclencher une étape suivante spécifique. Ils peuvent compléter les LLMs en gérant la classification, le scoring et le routage, tandis qu'un modèle génératif gère le langage et un raisonnement plus complexe.

Le meilleur choix dépend de votre application. Testez le modèle sur vos propres données, comparez-le aux classifieurs conventionnels et aux LLMs, et mesurez la précision, la latence et le coût. Pour les décisions importantes, incluez un examen humain et des mesures de sécurité si nécessaire.

Vous souhaitez discuter de votre cas d'usage ? Contactez-nous et nous vous orienterons dans la bonne direction.