RAG vs prompting : quelle différence et que choisir ?

RAG vs prompting : quelle différence et que choisir ?

Le prompting consiste à bien formuler ce que vous demandez à un modèle d'IA. Le RAG (génération augmentée par la recherche) va plus loin : avant de répondre, le système va chercher les passages utiles dans vos documents et les glisse dans la demande. Pour une PME, la règle pratique est simple : on commence par un bon prompt, et on ajoute du RAG seulement quand les réponses doivent reposer sur beaucoup de documents internes, ou sur des documents qui changent. Cet article vous aide à trancher, en complément de notre guide du prompt engineering pour PME.

Prompting et RAG : ce que chacun fait réellement

Le prompting agit sur la consigne, le RAG agit sur l'information disponible au moment de la réponse. Les deux ne s'opposent pas : un système RAG contient toujours un prompt.

Avec le prompting seul, le LLM répond à partir de ce qu'il a appris pendant son entraînement et de ce que vous écrivez dans la conversation. Vous améliorez le résultat en travaillant la consigne : rôle, contexte, format attendu, exemples. Notre article sur l'anatomie d'un bon prompt détaille cette mécanique, et le few-shot prompting montre comment guider le modèle avec des exemples.

Avec le RAG, on ajoute une étape en amont. Vos documents (procédures, contrats, fiches produits, comptes rendus) sont découpés en morceaux, puis transformés en embeddings, des représentations numériques qui permettent de retrouver les passages proches d'une question. Quand un collaborateur pose une question, le système retrouve les quelques passages pertinents et les insère dans le prompt avec la consigne « réponds uniquement à partir de ces extraits ». Le principe a été décrit en 2020 dans un article de chercheurs de Facebook AI Research (Patrick Lewis et ses coauteurs), bien avant la vague ChatGPT.

Retenez cette différence : le prompting améliore la façon dont le modèle répond, le RAG améliore ce sur quoi il s'appuie.

Ce que le prompting seul sait faire, et où il s'arrête

Le prompting seul suffit pour tout ce qui ne dépend pas de vos données privées : rédiger, reformuler, résumer un texte que vous collez, classer, traduire, structurer. C'est aussi le seul choix raisonnable pour démarrer, parce qu'il ne demande aucune infrastructure.

Sa limite apparaît dès que la bonne réponse se trouve dans un document que le modèle n'a jamais vu. Si vous demandez « quel est notre délai de rétractation sur les contrats de maintenance ? » à un assistant qui n'a pas accès à vos contrats, il produira une réponse plausible, pas forcément exacte. C'est le mécanisme classique de l'hallucination IA : le modèle comble le vide avec du texte vraisemblable. Le chapitre sur les hallucinations de notre guide explique comment s'en protéger.

Deuxième limite : la connaissance du modèle est figée à une date. Un tarif, une procédure ou une réglementation mis à jour après cette date ne sera pas connu, sauf si vous le fournissez.

Ce que le RAG apporte, et ce qu'il coûte à mettre en place

Le RAG apporte trois choses : des réponses ancrées dans vos documents, la possibilité de citer la source, et une mise à jour qui se fait en changeant les documents, pas le modèle. C'est ce qui le rend adapté à une base de procédures, à un support interne ou à un assistant commercial qui doit connaître le catalogue.

Il a aussi un coût, qu'on sous-estime souvent. Il faut préparer les documents (un PDF scanné mal océrisé donnera des extraits illisibles), choisir un outil d'indexation, régler le découpage, puis tester. Un RAG mal réglé retrouve le mauvais passage et le modèle répond avec aplomb sur la base d'un extrait hors sujet. Le RAG réduit donc les hallucinations, il ne les supprime pas.

Exemple type, à titre d'illustration : une PME de 40 salariés possède environ 250 pages de procédures qualité, réparties dans une vingtaine de fichiers, mises à jour tous les trimestres. Les équipes posent les mêmes questions au service qualité toute la semaine. Ici, un RAG se justifie : le volume dépasse ce qu'on peut coller à la main, les documents évoluent, et il est utile que chaque réponse indique de quelle procédure elle vient.

Et si on colle simplement le document dans le prompt ?

Pour un ou quelques documents, coller le texte directement dans la conversation fonctionne très bien et évite de monter un RAG. C'est la troisième voie, que beaucoup de comparatifs oublient, et c'est souvent la bonne pour une PME qui débute.

Les modèles récents acceptent de longs contenus : selon le modèle et l'offre, la fenêtre de contexte va de quelques dizaines de milliers à plusieurs centaines de milliers de tokens. Un contrat de 30 pages, un cahier des charges ou un compte rendu de réunion y tiennent sans difficulté. Vérifiez la valeur exacte dans la documentation de l'outil que vous utilisez, car elle change d'une offre à l'autre.

Cette approche a des limites réelles. Plus le texte est long, plus le coût et le temps de réponse augmentent, et le modèle peut passer à côté d'un détail noyé au milieu. Surtout, elle ne s'industrialise pas : si vingt personnes doivent interroger cent documents chaque jour, personne ne va coller cent documents dans une conversation. C'est le point de bascule vers le RAG.

Comment choisir : quatre questions et un tableau

Posez-vous quatre questions dans l'ordre : la réponse dépend-elle de vos documents, de combien, à quelle fréquence ils changent, et qui va s'en servir.

1. La bonne réponse dépend-elle d'un document privé ? Si non, restez sur du prompting.
2. Le volume tient-il dans une conversation (quelques documents) ? Si oui, collez-les dans le prompt.
3. Les documents changent-ils souvent, ou faut-il citer la source ? Si oui, le RAG devient pertinent.
4. Combien de personnes l'utiliseront, et à quelle fréquence ? Pour un usage individuel et ponctuel, le RAG est rarement rentable.

Une quatrième option existe, le fine-tuning : réentraîner un modèle sur vos exemples. Il sert à changer un style ou un comportement constant, pas à lui faire connaître des documents qui évoluent. Pour une PME, c'est rarement le premier levier à actionner.

Les pièges à anticiper en PME

Les trois pièges les plus fréquents sont la qualité des documents, la confidentialité des données et l'absence de test.

Qualité des documents d'abord : un RAG ne corrige pas une base documentaire désordonnée. Deux versions contradictoires d'une même procédure donneront des réponses contradictoires. Avant de brancher quoi que ce soit, nettoyez et datez vos fichiers.

Confidentialité ensuite : indexer des contrats, des données clients ou des informations sur les salariés fait entrer le projet dans le champ du RGPD. Vérifiez où sont hébergées les données, si le fournisseur les réutilise pour entraîner ses modèles, et qui a le droit de voir quoi. Un assistant qui répond à tout le monde sur tous les documents peut exposer des informations qui devraient rester cloisonnées.

Test enfin : avant de déployer, préparez vingt à trente questions réelles dont vous connaissez la réponse, et comparez. Sans ce jeu de test, vous ne saurez pas si le système est fiable ou seulement convaincant.

Questions fréquentes

Le RAG remplace-t-il le prompt engineering ? Non. Un système RAG repose sur un prompt qui dit au modèle comment utiliser les extraits retrouvés. Un RAG avec un mauvais prompt répond mal, même avec de bons documents.

Faut-il savoir coder pour mettre en place un RAG ? Pas toujours. Certains outils grand public permettent de charger des fichiers et d'interroger l'ensemble, ce qui couvre des besoins simples. Dès qu'il faut connecter plusieurs sources, gérer des droits d'accès ou intégrer l'outil à vos applications, un accompagnement technique devient nécessaire.

Le RAG supprime-t-il les hallucinations ? Il les réduit quand la recherche trouve le bon passage, mais il ne les supprime pas. Demandez toujours au système de citer ses sources et de dire quand l'information est absente des documents.

Quelle est la différence entre RAG et fine-tuning ? Le RAG apporte de l'information au moment de la réponse ; le fine-tuning modifie le comportement du modèle lui-même. Pour faire connaître des documents qui changent, le RAG est le plus adapté.

Peut-on faire du RAG sur des données sensibles ? C'est possible, avec des précautions : hébergement maîtrisé, contrat précisant l'absence de réutilisation des données, gestion des droits d'accès. Ces points sont à valider avec votre DPO ou votre conseil avant de démarrer.

Combien de documents faut-il pour justifier un RAG ? Il n'existe pas de seuil officiel. En pratique, quand vos documents ne tiennent plus raisonnablement dans une conversation, ou quand plusieurs personnes les interrogent chaque jour, la question se pose.

Comment GrowthPerf accompagne

GrowthPerf aide les PME et associations à choisir la bonne approche avant d'investir dans un outil. Nous commençons par un échange de 30 minutes pour identifier vos cas d'usage, estimer le volume et la sensibilité de vos documents, puis nous vous disons honnêtement si un bon prompt suffit ou si un RAG se justifie.

Côté formation, notre programme IA Opérationnelle pour PME (organisme certifié Qualiopi) apprend à vos équipes à écrire des prompts fiables, à fournir les bons documents au modèle et à tester les réponses. Pour aller plus loin, vous pouvez aussi lire notre guide complet du prompt engineering.

Réservez votre audit IA gratuit de 30 minutes pour savoir quelle approche correspond à vos documents et à votre budget.