Évaluer les réponses d’une IA générative au travail

Camille doit transformer une réponse convaincante en livrable fiable

Les besoins de formation à l’intelligence artificielle (IA) progressent: la demande des cadres a augmenté de 45 % par rapport à 2023 (APEC). Cette dynamique dépasse la maîtrise d’un outil: 39 % des compétences actuelles seraient transformées ou obsolètes entre 2025 et 2030 (WEF, Future of Jobs Report 2025). Pour un chef de projet, l’enjeu consiste à identifier les usages utiles, puis à produire une recommandation suffisamment étayée pour engager son équipe.

Une note à préparer avant le comité de direction

Camille est une cheffe de projet fictive. Son cas, construit pour cet article, constitue un scénario pédagogique, pas un témoignage client ni une étude mesurée.

Sa responsable lui demande une note interne sur la formation de l’équipe à l’IA générative avant le prochain comité de direction. Camille utilise ChatGPT à partir d’une synthèse des besoins métiers, de la politique interne d’utilisation de l’IA et de descriptifs de formation dont le partage est autorisé; le même exercice pourrait être réalisé avec Claude. Pressée de finaliser son dossier, elle doit arbitrer entre reprendre immédiatement la synthèse proposée et vérifier ses affirmations: elle réserve finalement un créneau de relecture pour éviter qu’une information erronée n’oriente la décision.

Un texte convaincant ne constitue pas une preuve

La réponse semble exploitable: introduction claire, objectifs cohérents et proposition de déploiement. Pourtant, elle mêle des besoins effectivement documentés, une recommandation de parcours présentée comme évidente et des conditions de certification potentiellement périmées.

Le problème n’est pas seulement une éventuelle erreur factuelle. La rédaction donne le même degré de certitude à des énoncés de nature différente. Une préférence formulée par le modèle devient ainsi une nécessité apparente; une condition mentionnée dans un ancien descriptif paraît toujours applicable. Camille ne peut donc pas valider la note sur sa seule qualité rédactionnelle.

Passer de la relecture à une vérification traçable

Son livrable pratique sera une grille de vérification réutilisable: affirmation examinée, nature de l’énoncé, source à consulter, actualité de cette source et décision de validation. Chaque recommandation devra aussi être reliée à un besoin métier explicite.

Cette grille prolongera le cadrage présenté dans Former son équipe à l’IA générative: par où commencer. L’objectif est concret: transmettre à la direction une note dont les faits sont vérifiés, les propositions assumées et les incertitudes visibles.

Le vrai arbitrage porte sur le risque d’erreur

Camille, cheffe de projet, demande à Claude de transformer un compte rendu fournisseur en synthèse pour son comité de pilotage. Le texte est convaincant, mais présente une date de livraison envisagée comme un engagement contractuel. Elle conserve la structure proposée, vérifie le contrat et corrige cette affirmation avant diffusion: la fluidité rédactionnelle ne suffit pas à autoriser l’envoi.

Examiner des dimensions distinctes

Pour évaluer cette synthèse, nous proposons une grille éditoriale, et non une norme officielle. Ses dimensions restent indépendantes: une réponse peut respecter parfaitement le format demandé tout en étant fausse.

• Exactitude factuelle: les affirmations correspondent-elles aux documents de référence ?
• Respect de la consigne: le destinataire, le périmètre et le format demandés sont-ils respectés ?
• Exhaustivité: manque-t-il une réserve, une dépendance ou une décision nécessaire ?
• Utilité opérationnelle: le destinataire sait-il quoi décider ou faire ensuite ?
• Confidentialité: les données saisies et celles restituées peuvent-elles être utilisées dans ce contexte ?

Camille retire aussi les coordonnées personnelles inutiles. Le guide Données confidentielles et IA: quoi mettre dans un prompt ? aide à préparer ce filtrage avant la saisie.

Proportionner le contrôle à la conséquence

La destination de la synthèse détermine ensuite la profondeur du contrôle. Vérifier chaque virgule ne compense pas une hypothèse contractuelle non examinée.

Usage envisagé	Contrôle adapté
Brouillon interne	Relire les faits structurants et signaler les points à confirmer avant réutilisation.
Communication externe	Vérifier les affirmations, les engagements et les destinataires; faire valider le message par son responsable.
Recommandation engageante	Confronter sources, hypothèses et conséquences; obtenir une validation métier compétente avant décision.

Vérifier les preuves, situer les cadres

Une référence citée par l’IA reste une piste avant ouverture et lecture du passage pertinent. Camille distingue son existence, sa pertinence pour l’affirmation et son actualité: un document authentique peut concerner un autre périmètre ou avoir été remplacé.

L’AI Act, règlement UE 2024/1689 (EUR-Lex), encadre des obligations selon les situations; il ne fournit pas de note universelle de fiabilité. Publiée en décembre 2023, ISO/IEC 42001 concerne le management de l’intelligence artificielle (ISO), pas la certification de chaque réponse. Ce cadre de management de l’IA pour les DSI organise la gouvernance; il ne remplace pas la vérification du livrable.

Camille applique une grille de contrôle avant toute diffusion

Partir de la décision à éclairer

Camille, cheffe de projet, demande à Claude de préparer une synthèse pour le comité de pilotage à partir du compte rendu de recette et du planning partagé. L’IA annonce que le lancement est confirmé, alors qu’une réserve bloquante reste ouverte. Camille suspend l’envoi: elle conserve la structure proposée, mais vérifie les affirmations susceptibles d’influencer l’arbitrage.

Elle précise d’abord l’usage attendu: informer le comité des conditions de lancement, sans présenter une prévision comme un engagement. Puis elle extrait les affirmations vérifiables et les confronte aux documents faisant autorité. Une formulation convaincante ne constitue pas une preuve; un document ancien ne suffit pas à établir la situation actuelle.

Consigner les écarts dans une grille réutilisable

Camille utilise le tableau suivant, prêt à copier. Chaque ligne correspond à une affirmation pouvant être confirmée, corrigée ou laissée en attente. La date de référence désigne celle du document ou de sa dernière validation, pas celle de la réponse générée.

Affirmation	Preuve consultée	Date de référence	Constat	Correction	Responsable de validation
Le lancement est confirmé	Compte rendu de recette validé	Date du compte rendu	Réserve bloquante ouverte	Présenter le lancement comme conditionnel	Responsable de recette
Le prestataire sera disponible	Planning partagé	Dernière mise à jour	Disponibilité non confirmée	Demander une confirmation écrite	Responsable fournisseur

Elle relève ensuite les manques: confirmation attendue, pièce absente, contradiction non résolue. Sa décision devient explicite: utiliser le passage corrigé, le soumettre à validation ou l’exclure de la diffusion.

Faire réviser sans déléguer la validation

Pour obtenir une nouvelle version, Camille reprend les principes de formulation de prompts fiables au travail:

« Révise cette synthèse uniquement à partir des documents joints. Sépare les faits documentés, les hypothèses et les informations absentes. Associe chaque fait à un passage identifiable. Signale les contradictions sans les résoudre arbitrairement. N’invente aucune confirmation. »

Cette auto-évaluation reste une production de l’IA, pas une validation indépendante. Camille conserve la responsabilité de vérifier les preuves et d’obtenir les accords nécessaires avant diffusion.

Le PMBOK Guide, 8e édition, consacre l’annexe X3 à l’intelligence artificielle et présente trois postures du chef de projet face à l’IA (PMI). Cette vigilance rejoint la responsabilité professionnelle éclairée par l’annexe consacrée à l’IA du PMBOK. La grille proposée n’est toutefois ni un outil officiel PMI ni un protocole scientifique de mesure.

Le contrôle révèle une référence périmée et clarifie la décision

Une note convaincante, mais une recommandation obsolète

Dans cet exemple explicitement fictif, vous pilotez un projet d’assistant documentaire interne. Avant un échange avec votre responsable, vous demandez à Claude de rédiger une note proposant une formation aux fondamentaux de l’intelligence artificielle. Le texte recommande de « s’inscrire à l’examen AI-900 », présenté comme une étape accessible pour l’équipe.

La note est claire, structurée et adaptée au vocabulaire de votre entreprise. Vous pourriez la transmettre telle quelle. Mais la recommandation engage un budget et une démarche d’inscription: vous décidez donc de vérifier l’existence de l’examen avant de faire circuler le document, plutôt que de vous limiter à sa qualité rédactionnelle.

La source officielle change la recommandation

Sur Microsoft Learn, vous constatez que cet examen a été retiré le 30 juin 2026 (Microsoft Learn). Son remplacement est AI-901, pour la certification Azure AI Fundamentals (Microsoft Learn). L’erreur n’est pas cosmétique: elle rend la démarche proposée inapplicable en l’état.

Vous corrigez la recommandation, puis conservez dans votre grille le lien vers la page officielle consultée, son intitulé et la date de consultation. Une justification comme « vérifié sur Internet » serait insuffisante: un collègue doit pouvoir retrouver la preuve sans refaire toute la recherche. Le décryptage de l’évolution d’Azure AI Fundamentals apporte du contexte, sans remplacer cette référence officielle.

Point contrôlé	Avant vérification	Après contrôle
Examen recommandé	Ancienne référence présentée comme active	Affirmation périmée repérée et recommandation corrigée
Traçabilité	Aucune preuve conservée	Référence Microsoft Learn enregistrée dans la grille
Modalités d’inscription non documentées	Présentées sans justification	Laissées en attente, hors de la recommandation validée

Un statut explicite avant diffusion

Vous attribuez ensuite un statut à la note, selon les conséquences des incertitudes restantes:

Décision	Condition d’utilisation
Utilisable	Les affirmations déterminantes sont étayées et les réserves explicites.
À corriger	Une erreur identifiable impose une modification puis une nouvelle vérification.
À faire valider par un spécialiste	Une question déterminante dépasse votre compétence de contrôle.

Dans ce scénario, la note initiale reste à corriger. Une erreur critique ne se compense pas par une bonne rédaction. Vous transmettez uniquement la version rectifiée, avec les points en attente clairement signalés: votre responsable peut ainsi arbitrer sans confondre une proposition plausible avec une recommandation vérifiée.

Reproduisez la méthode sur vos propres livrables

Testez la grille sur un document sans données sensibles

Vous préparez une note de cadrage pour harmoniser les comptes rendus de réunion de votre service. Pour tester la méthode, partez d’un modèle vierge dont le partage est autorisé, sans noms, données clients ni informations internes confidentielles, et utilisez uniquement un outil approuvé par votre organisation. Demandez à ChatGPT ou Claude d’en proposer une version adaptée à votre usage, puis appliquez la grille d’évaluation à cette réponse.

À la relecture, vous constatez que l’IA a transformé une suggestion de délai en engagement ferme. Vous conservez la structure proposée, mais retirez cet engagement et faites relire les conclusions importantes par le responsable métier avant toute diffusion. Cet arbitrage permet de bénéficier de l’aide rédactionnelle sans laisser l’outil décider à votre place.

Conservez ensemble le document initial, la consigne, la réponse et vos corrections. Cette trace rend les écarts discutables sur pièces: affirmation non étayée, réserve supprimée ou conclusion qui dépasse les sources.

Transformez l’essai en règle d’équipe

À partir de ce cas, formalisez une règle courte, accessible là où votre équipe prépare ses livrables. Elle doit préciser:

• L’usage prévu: préparer une trame ou reformuler, sans déléguer une décision métier.
• Les sources acceptées: documents autorisés, références officielles et versions validées par le service.
• Le traitement des incertitudes: signaler les éléments non vérifiés, rechercher une preuve et suspendre la conclusion si nécessaire.
• La validation de diffusion: désigner explicitement la personne habilitée à autoriser l’envoi du livrable.

Lors de la prochaine note, vous pourrez ainsi appliquer le même circuit de contrôle, plutôt que renégocier les responsabilités au moment de l’envoyer.

Structurez vos usages avec une formation adaptée

Pour prolonger cette démarche, le programme de la formation ChatGPT, Claude et IA générative d’Elitek vous permet d’examiner un cadre de formation destiné à structurer vos usages professionnels. La grille présentée ici reste un outil proposé dans cet article, et non un engagement contractuel sur le contenu du programme.

Cette formation dure 16 h et son tarif particulier est de 1 690 € TTC, examen inclus (fiche formation Elitek). Elle est éligible au CPF. Avant toute inscription, vérifiez votre dossier sur MonCompteFormation et les conditions de financement en vigueur; le guide des financements de formation IA aide à préparer cette vérification, sans présumer du montant restant à votre charge.

FAQ

Peut-on demander à ChatGPT de vérifier sa propre réponse ?

Oui, vous pouvez lui demander de relever ses hypothèses, ses contradictions ou les informations qui manquent. Cette relecture aide à repérer des problèmes, mais elle ne constitue pas une vérification indépendante: le modèle peut répéter une erreur ou inventer une justification convaincante. Pour les affirmations importantes, consultez les documents de référence et vérifiez les passages cités. Confiez ensuite la validation des conclusions engageantes à une personne compétente dans le domaine concerné.

Comparer les réponses de ChatGPT et Claude suffit-il pour valider un fait ?

Non. Des réponses concordantes peuvent reposer sur des informations similaires, anciennes ou incorrectes. La comparaison permet surtout de faire apparaître des divergences, des oublis et des hypothèses différentes. Utilisez ces écarts pour orienter vos contrôles, puis revenez à une source officielle ou à un document métier validé. Pour un calcul, refaites l’opération avec un outil adapté. Pour une recommandation, examinez aussi les contraintes et les données propres à votre organisation.

Comment évaluer une réponse quand on ne maîtrise pas le sujet ?

Commencez par distinguer ce que vous pouvez contrôler directement: respect de la consigne, présence des informations demandées, cohérence avec les documents fournis et existence des références. Signalez ensuite les affirmations techniques que vous ne pouvez pas confirmer. Demandez à l’IA d’expliciter ses hypothèses, sans prendre cette explication pour une preuve. Si une erreur peut entraîner une décision coûteuse, un risque juridique ou une atteinte aux personnes, faites intervenir un spécialiste avant toute utilisation.

Faut-il attribuer une note globale à chaque réponse d’IA ?

Une note globale peut faciliter le suivi, mais elle risque de masquer une erreur bloquante derrière une présentation soignée. Pour un usage professionnel courant, une appréciation par critère et une décision explicite sont souvent plus utiles: utilisable, à corriger ou à soumettre à validation. Conservez la justification et les preuves consultées. Si votre équipe choisit une notation, définissez les critères en amont et prévoyez des motifs de rejet indépendants du résultat global.

Se former avec Elitek

Elitek, organisme certifié Qualiopi, propose une formation dédiée à ce sujet, éligible CPF et disponible en distanciel comme en présentiel. Découvrez la formation Elitek correspondante et son accompagnement vers la certification.