Comment réduire les hallucinations dans les modèles RAG ?

Qu'est-ce qu'une hallucination RAG ?

‍Dans le contexte des modèles RAG, une hallucination se produit lorsqu'un modèle génère des informations incorrectes ou fabriquées malgré la récupération de documents à partir d'un corpus. Cela peut se produire pour les raisons suivantes :

• Faible pertinence des documents récupérés
• Dépendance excessive à l'égard des capacités génératives plutôt que la source
• Ambiguïtés dans la requête de l'utilisateur
• Limites du raisonnement et de la compréhension au sein du modèle

Bien que le RAG réduise les hallucinations par rapport aux LLM, ce n'est pas une solution miracle.

‍

Comment se produisent les hallucinations de RAG

1. Problèmes de récupération: Le moteur de recherche peut récupérer des documents pertinents sur le plan de l'actualité mais qui ne sont pas pertinents sur le plan factuel, voire trompeurs. Si le retriever n'est pas bien réglé, ce bruit se propage.
2. Problèmes de fusion: Le générateur peut « fusionner » les informations entre les documents de manière trompeuse. Même si les documents sont exacts, le modèle peut synthétiser des conclusions incorrectes.
3. Faux sentiment de confiance: Les modèles génèrent souvent des résultats avec un niveau de confiance élevé, quelle que soit la valeur de vérité. Cela crée un faux sentiment de fiabilité.

‍

Exemple concret

‍Imaginez que vous créez un chatbot qui fournit des conseils médicaux à l'aide d'une configuration RAG. Si le retriever extrait une étude obsolète ou non liée, le générateur peut l'utiliser pour faire une recommandation fiable mais incorrecte. Cela pourrait avoir de graves conséquences.

‍

Recherches récentes sur les hallucinations RAG

‍Pour remédier à ces limites, plusieurs nouvelles études ont été publiées :

• ReDeep (2024) propose de suivre les hallucinations en identifiant les moments où le contenu généré s'écarte des passages récupérés.
• FACTOÏDE offre une référence pour la détection des hallucinations en comparant les résultats avec des ensembles de données factuels connus.
• Techniques de réglage fin: Les recherches montrent que le réglage précis des modèles RAG sur des ensembles de données sensibles aux incertitudes améliore la base factuelle.

Ces articles proposent des outils et des cadres que les développeurs peuvent explorer pour identifier et réduire les hallucinations.

‍

LLM standard vs RAG vs RAG avec atténuation

Stratégies pratiques pour les développeurs

1. Améliorez la qualité des données: Assurez-vous que votre corpus de recherche est propre, à jour et pertinent. Déchets à l'intérieur, déchets à l'extérieur.
2. Utilisez des récupérateurs denses avec filtres: combinez des extracteurs sémantiques (comme RPD ou Colbert) avec des filtres de métadonnées pour garantir des résultats plus adaptés au contexte et à l'actualité.
3. Intégrer la modélisation de l'incertitude: Apprenez au modèle à dire « je ne sais pas » le cas échéant. Vous pouvez affiner ou utiliser des couches d'étalonnage pour réduire les générations trop confiantes.
4. Évaluation à l'aide de mesures de factualité: Utilisez des outils tels que Score Bert, Fait CC, ou QAGS pour mesurer la véracité des réponses générées.
5. Ingénierie rapide pour la mise à la terre: instructions de conception qui indiquent explicitement au modèle de ne s'appuyer que sur les passages récupérés.

‍

Techniques avancées

• RAG avec reclassement contextuel: Après la récupération, utilisez une deuxième étape de reclassement pour hiérarchiser les documents les plus pertinents.
• Canalisations de production hybrides: Mélangez des réponses extractives et génératives. Si un passage est suffisamment clair, extrayez au lieu de générer.
• Ancrage sur la chaîne de pensée: Guidez le modèle à travers des étapes de raisonnement ancrées dans les sources, améliorant ainsi la transparence.

‍

{{cta-consideration-1= » /in-progress /global-blog-elements «}}

Conclusion

‍Le RAG est une approche puissante pour améliorer la fiabilité de l'IA générative, mais elle n'est pas infaillible.

En tant que développeurs, nous devons être proactifs pour comprendre où les hallucinations peuvent se glisser et mettre en œuvre des stratégies qui réduisent les risques. Grâce à la bonne combinaison d'outils de réglage de la récupération, de conception rapide et d'évaluation, il est possible de créer des systèmes d'IA plus précis et plus fiables.