ISTQB CT-GenAI : devenir testeur IA générative en 2026

Selon le rapport State of AI in Production 2026 de McKinsey, 78 % des grandes entreprises ont déployé au moins un système d'IA générative en production, mais 62 % d'entre elles ont déjà constaté des incidents en production liés à des hallucinations, des biais ou des fuites de données via les prompts. Dans le même temps, le cabinet Gartner anticipe une croissance de 240 % de la demande de testeurs spécialisés en IA générative entre 2025 et 2027, faisant du QA Engineer IA l'un des cinq métiers tech les plus tendus en Europe. Face à cette pression, l'ISTQB a publié en 2024 une nouvelle certification baptisée CT-GenAI : Certified Tester Generative AI. C'est aujourd'hui la seule certification internationale dédiée au test des systèmes d'IA générative, et Elitek figure parmi les premiers ATO (Accredited Training Organizations) à la délivrer en France. Cet article répond à une question simple : ISTQB CT-GenAI, c'est quoi exactement, à qui s'adresse cette certification, et comment devenir testeur IA générative en 2026 ?

ISTQB CT-GenAI : la certification spécialiste du test des systèmes d'IA générative

ISTQB CT-GenAI signifie Certified Tester Generative AI. Il s'agit d'une certification de niveau Specialist publiée par l'International Software Testing Qualifications Board, l'organisme international de référence pour la qualité logicielle, fort de plus d'un million de testeurs certifiés dans 130 pays.

Lancée officiellement courant 2024-2025, CT-GenAI vient compléter la famille AI Testing de l'ISTQB qui comprenait déjà CT-AI (Certified Tester AI). Là où CT-AI couvre l'ensemble des systèmes d'intelligence artificielle classiques (machine learning supervisé, modèles prédictifs, vision par ordinateur), CT-GenAI se concentre exclusivement sur les grands modèles de langage et les systèmes d'IA générative : ChatGPT, Claude, Gemini, Mistral, Llama, ainsi que les applications RAG (Retrieval Augmented Generation), les chatbots d'entreprise, les générateurs d'images, de code ou de vidéo.

Cette spécialisation répond à un constat clair : tester un système d'IA générative n'a presque rien à voir avec tester un logiciel classique ni même un modèle de machine learning traditionnel. Le non-déterminisme intrinsèque des LLM, la difficulté d'évaluer la qualité d'une sortie textuelle ouverte, la nécessité de mesurer les biais et les risques de sécurité spécifiques (prompt injection, jailbreak, fuite de données d'entraînement) imposent de repenser entièrement la stratégie de test.

CT-GenAI s'adresse principalement à trois profils : les testeurs logiciels confirmés souhaitant pivoter vers le test IA, les QA Managers qui doivent intégrer des systèmes génératifs dans leur stratégie qualité, et les data scientists ou MLOps engineers souhaitant renforcer leur posture qualité. Pour suivre la certification dans de bonnes conditions, il est recommandé d'avoir déjà obtenu le CTFL Foundation, mais ce n'est pas un prérequis formel.

Pourquoi tester les IA génératives est radicalement différent

Avant d'attaquer le syllabus, il faut comprendre pourquoi le test des systèmes d'IA générative impose un changement de paradigme par rapport au test logiciel classique. Quatre dimensions structurent cette différence.

Le non-déterminisme

Un test logiciel traditionnel repose sur le principe : même entrée, même sortie. Avec un LLM, ce principe s'effondre. Pour un même prompt, le modèle peut produire des réponses différentes à chaque exécution, en fonction de la température, du top-p, du seed et de paramètres internes. Cette variabilité oblige le testeur à raisonner en distribution de réponses plutôt qu'en valeur attendue unique, et à concevoir des oracles statistiques.

L'évaluation de sorties ouvertes

Comment évaluer si une réponse à un prompt long est correcte ? Il n'existe pas de bonne réponse unique. Le testeur doit définir des critères de qualité multi-dimensionnels : pertinence, factualité, cohérence, ton, absence d'hallucination, conformité aux instructions, respect des consignes de sécurité. Ces critères se mesurent via des combinaisons de métriques automatiques (BLEU, ROUGE, BERTScore, embeddings cosine similarity) et d'évaluations humaines ou par LLM judge.

Les hallucinations et la factualité

Les systèmes d'IA générative inventent du contenu factuellement faux avec une fluidité parfaite. Détecter ces hallucinations en production est un sujet de recherche actif. Le testeur CT-GenAI apprend à concevoir des jeux de tests dédiés (TruthfulQA, FACTOR, HaluEval) et à mettre en place des dispositifs de monitoring continu pour mesurer le taux d'hallucination dans le temps.

La sécurité et l'éthique

Le red teaming devient une compétence centrale. Le testeur doit savoir conduire des attaques structurées : prompt injection, jailbreak, extraction de données d'entraînement, contournement des garde-fous, tests de biais sur les attributs sensibles (genre, origine, religion). Cette dimension fait du testeur CT-GenAI un acteur clé de la conformité AI Act européen, dont les obligations s'appliquent progressivement depuis février 2025.

Le syllabus CT-GenAI : 6 chapitres clés à maîtriser

Le syllabus officiel ISTQB CT-GenAI, publié en anglais sur le site istqb.org, s'articule autour de six chapitres qui couvrent l'intégralité du cycle de test d'un système d'IA générative.

Chapitre 1 : Fondamentaux de l'IA générative pour testeurs

Concepts clés des LLM (transformers, attention, tokenisation), familles de modèles (GPT, Claude, Llama, Mistral), paradigmes d'usage (zero-shot, few-shot, fine-tuning, RAG), risques spécifiques aux systèmes génératifs. Le testeur acquiert le vocabulaire technique nécessaire pour dialoguer avec les équipes data science et MLOps.

Chapitre 2 : Test des données et des jeux d'évaluation

Construction de datasets de test représentatifs, gestion du data drift, contamination des données d'entraînement, jeux de tests adversariaux, benchmarks publics (MMLU, HumanEval, MT-Bench, HELM), création de golden datasets internes alignés sur les cas d'usage métier.

Chapitre 3 : Prompt testing et prompt engineering

Techniques de prompting (chain-of-thought, ReAct, structured output), test de robustesse aux variations de formulation, gestion des templates de prompts, versionnage des prompts, tests A/B sur des stratégies de prompting concurrentes. Ce chapitre est crucial pour les équipes qui industrialisent des chatbots ou des copilotes internes.

Chapitre 4 : Évaluation des sorties

Métriques d'évaluation automatique, LLM-as-a-judge, évaluation humaine structurée, plateformes d'évaluation (Promptfoo, LangSmith, Ragas, Braintrust), conception d'oracles probabilistes, gestion du désaccord inter-évaluateurs. Le testeur apprend à arbitrer entre coût, vitesse et précision des dispositifs d'évaluation.

Chapitre 5 : Détection des biais et red teaming

Cartographie des biais (genre, ethnie, âge, géographie), tests d'équité, dispositifs de red teaming systématique, prompt injection (direct et indirect), tests de jailbreak, extraction d'informations sensibles, alignement avec les exigences AI Act et les standards NIST AI Risk Management Framework.

Chapitre 6 : Monitoring et observabilité en production

Mise en place du LLMOps, monitoring du drift, mesure continue du taux d'hallucination, suivi des coûts par requête, détection d'usage abusif, gestion des incidents IA, alertes sur dégradation de qualité. Ce chapitre prépare le testeur à devenir le garant de la qualité IA tout au long du cycle de vie produit.

Le métier de testeur IA générative : missions, outils, salaires

La certification CT-GenAI ouvre l'accès à un métier émergent mais déjà très demandé sur le marché français.

Missions au quotidien

Le testeur IA générative conçoit la stratégie de test des fonctionnalités basées sur LLM dans son entreprise. Il construit les jeux d'évaluation, automatise les tests de régression sur les prompts, audite les biais, mène des campagnes de red teaming, suit les indicateurs qualité en production et alerte lorsqu'une dégradation est détectée. Il collabore étroitement avec les data scientists, les ML engineers, les Product Owners et l'équipe sécurité.

Stack technique

Côté outils, le testeur IA générative manipule un écosystème en pleine structuration : Promptfoo, Ragas et DeepEval pour l'évaluation, LangSmith et Braintrust pour l'observabilité, Garak et PyRIT pour le red teaming, MLflow et Weights & Biases pour le tracking d'expérimentations. La maîtrise de Python est devenue un standard de fait, et la connaissance des APIs OpenAI, Anthropic, Mistral ou des frameworks d'orchestration (LangChain, LlamaIndex) est très demandée.

Salaires en France en 2026

D'après les données croisées des cabinets Hays Tech, Robert Walters et Free-Work, un QA Engineer IA junior démarre autour de 48 000 à 58 000 euros bruts annuels, un profil confirmé évolue dans la fourchette 60 000 à 78 000 euros, et un AI Quality Lead expérimenté peut négocier au-delà de 90 000 euros, hors bonus et part variable. Le TJM freelance se situe entre 700 et 1 100 euros selon l'expérience, sur des missions souvent supérieures à six mois dans les grands comptes finance, assurance, retail et industrie.

Pour les profils en reconversion, la combinaison CTFL Foundation plus CT-GenAI est devenue un atout structurant qui permet de positionner sa candidature sur ce segment ultra-tendu.

Parcours recommandé : du CTFL au CT-GenAI

Si le syllabus CT-GenAI n'impose formellement aucun prérequis, l'ISTQB et Elitek recommandent un parcours en deux temps pour maximiser les chances de réussite et la valeur opérationnelle de la certification.

Étape 1 : CTFL Foundation pour les fondamentaux

Le Certified Tester Foundation Level reste la porte d'entrée incontournable de l'univers ISTQB. Il pose les bases : terminologie, cycle de test, conception de cas de test, gestion des défauts, outils. Trois jours de formation suffisent pour préparer l'examen, et la certification est éligible CPF, ce qui permet souvent un financement total ou partiel. Découvrez les modalités CPF en 2026 pour optimiser votre dossier.

Étape 2 : CT-GenAI pour la spécialisation

Une fois le CTFL en poche, le passage au CT-GenAI peut s'envisager directement. La formation Elitek dure trois jours en distanciel, couvre intégralement le syllabus officiel, inclut des ateliers pratiques sur Promptfoo et un atelier red teaming guidé. Le voucher d'examen est inclus dans la formule Standard, et le passage est possible en ligne via Pearson VUE.

Option alternative : passer par CT-AI d'abord

Les testeurs qui souhaitent une vision plus large de l'IA peuvent commencer par CT-AI (Certified Tester AI), couvrant le machine learning classique, puis enchaîner avec CT-GenAI. Cette voie est cohérente pour les contextes data science généralistes, où l'on côtoie à la fois des modèles prédictifs et des modèles génératifs.

CT-GenAI vs CT-AI : quelle certification ISTQB choisir en 2026

La famille AI Testing de l'ISTQB compte aujourd'hui deux certifications principales. Le tableau de décision suivant aide à arbitrer.

CT-AI : machine learning et IA classique

CT-AI (Certified Tester AI) couvre l'ensemble des systèmes d'intelligence artificielle : machine learning supervisé, non supervisé, modèles prédictifs, vision par ordinateur, reinforcement learning. Cette certification convient particulièrement aux contextes où l'IA prend des décisions structurées (scoring crédit, détection de fraude, maintenance prédictive, classification d'images). Le syllabus aborde les biais, le data drift, l'explicabilité et l'évaluation des performances de modèles.

CT-GenAI : LLM et systèmes génératifs

CT-GenAI se concentre exclusivement sur les modèles génératifs (LLM, génération d'images, génération de code) et leurs déploiements (chatbots, RAG, copilotes, agents). Le syllabus traite spécifiquement du non-déterminisme, de l'évaluation de sorties textuelles ouvertes, du prompt engineering, du red teaming sur les LLM et du LLMOps.

Comment trancher

Si votre entreprise déploie principalement des assistants conversationnels, des copilotes métier ou du RAG sur base documentaire, CT-GenAI est le choix prioritaire. Si vous travaillez sur des cas d'usage de scoring, de prédiction ou de vision par ordinateur, CT-AI reste plus pertinent. Idéalement, les profils qui visent un rôle senior d'AI Quality Lead obtiennent les deux certifications, qui se complètent harmonieusement. Pour explorer plus largement l'écosystème IA en entreprise, consultez notre programme dédié à l'intelligence artificielle et la formation IA pour chefs de projet.

Comment Elitek vous accompagne sur ISTQB CT-GenAI

Elitek est un organisme de formation Qualiopi noté 9,15 sur 10 depuis huit ans, et l'un des tout premiers ATO (Accredited Training Organization) ISTQB à proposer CT-GenAI en France. Notre offre est conçue pour répondre aux exigences spécifiques des testeurs et QA Managers qui doivent monter en compétences rapidement sur le test des systèmes d'IA générative.

Notre formation ISTQB CT-GenAI couvre intégralement les six chapitres du syllabus officiel sur trois jours, en 100 % distanciel synchrone, avec des promotions limitées à dix personnes pour préserver la qualité des interactions. Les ateliers pratiques s'appuient sur Promptfoo, Ragas et un environnement red teaming dédié pour mettre les participants en condition réelle. Le voucher d'examen ISTQB CT-GenAI est inclus dès la formule Standard, et notre taux de réussite à l'examen dépasse 92 %.

Pour aller plus loin, nous proposons un accompagnement individualisé pendant trente jours après la formation, sous forme de coaching one-to-one avec un formateur expert en IA Quality. Cet accompagnement aide à structurer la stratégie de test IA dans votre entreprise et à passer l'examen dans de bonnes conditions. Les entreprises peuvent également mobiliser leur plan de développement des compétences ou un financement OPCO : nos équipes vous accompagnent sur le montage financier, et nous proposons des sessions intra-entreprise dédiées pour les équipes QA souhaitant monter en compétences collectivement.

FAQ : tout savoir sur ISTQB CT-GenAI

Qu'est-ce que la certification ISTQB CT-GenAI exactement ?

ISTQB CT-GenAI (Certified Tester Generative AI) est une certification internationale de niveau Specialist délivrée par l'International Software Testing Qualifications Board. Elle valide les compétences nécessaires pour tester les systèmes d'IA générative : LLM, chatbots, RAG, copilotes. Lancée en 2024-2025, c'est aujourd'hui la seule certification internationale dédiée à ce domaine.

Faut-il avoir le CTFL Foundation avant de passer CT-GenAI ?

Le CTFL n'est pas un prérequis formel, mais il est fortement recommandé. Il pose les bases méthodologiques du test logiciel et fait gagner un temps précieux lors de la préparation à CT-GenAI. Les candidats sans CTFL peuvent néanmoins se présenter à l'examen CT-GenAI s'ils ont une expérience significative en QA ou en data science.

Combien dure la formation Elitek ISTQB CT-GenAI ?

La formation Elitek dure trois jours en 100 % distanciel synchrone, soit environ 21 heures de formation. Le programme couvre les six chapitres du syllabus officiel, avec des ateliers pratiques sur Promptfoo, Ragas et un environnement de red teaming dédié. Le voucher d'examen ISTQB est inclus dès la formule Standard.

Quels sont les salaires d'un testeur IA générative en France ?

Un QA Engineer IA junior gagne entre 48 000 et 58 000 euros bruts par an. Un profil confirmé évolue dans la fourchette 60 000 à 78 000 euros, et un AI Quality Lead expérimenté peut négocier au-delà de 90 000 euros. En freelance, les TJM se situent entre 700 et 1 100 euros selon l'expérience.

Quelle est la différence entre CT-AI et CT-GenAI ?

CT-AI couvre l'ensemble des systèmes d'IA (machine learning supervisé, modèles prédictifs, vision par ordinateur). CT-GenAI se concentre exclusivement sur les modèles génératifs (LLM, RAG, chatbots, génération d'images). Si vous travaillez sur des assistants conversationnels ou des copilotes, choisissez CT-GenAI. Pour du scoring ou de la prédiction, CT-AI est plus pertinent.

Quels outils faut-il maîtriser pour devenir testeur IA générative ?

Les outils principaux sont Promptfoo, Ragas, DeepEval, LangSmith, Braintrust pour l'évaluation et l'observabilité ; Garak et PyRIT pour le red teaming ; MLflow et Weights & Biases pour le tracking. La maîtrise de Python est devenue un standard, ainsi que la connaissance des APIs OpenAI, Anthropic et Mistral.

L'examen ISTQB CT-GenAI est-il difficile ?

L'examen comporte 40 questions à choix multiples en 60 minutes, avec un seuil de réussite de 65 %. Il est considéré comme exigeant car il couvre des concepts récents et techniques. Avec une formation structurée et la pratique des examens blancs, le taux de réussite à l'examen dépasse 92 % chez Elitek.

Comment se passe le passage de l'examen ?

L'examen se passe en ligne via Pearson VUE avec surveillance à distance, ou en centre de test agréé. Le voucher est valable un an. Elitek planifie le passage avec chaque participant après la formation et fournit un accompagnement pour la prise de rendez-vous.

La formation ISTQB CT-GenAI est-elle finançable par le CPF ?

La formation ISTQB CT-GenAI Elitek peut être financée via le plan de développement des compétences de votre entreprise ou un financement OPCO. Pour les particuliers, des modalités de financement spécifiques peuvent être étudiées au cas par cas. Nos équipes vous accompagnent dans le montage du dossier.

Quels sont les débouchés après la certification CT-GenAI ?

Les débouchés sont nombreux : QA Engineer IA, AI Quality Engineer, LLMOps Engineer, AI Risk Analyst, AI Quality Lead, Responsable Qualité IA. Les secteurs porteurs sont la finance, l'assurance, le retail, l'industrie et le conseil. La demande dépasse largement l'offre, faisant de CT-GenAI un atout différenciant majeur pour 2026 et au-delà.