Fiabiliser un produit IA avant son passage en production

Le travail mené

Enjeu

Sécuriser des parcours d’un produit IA où des cas limites, des intégrations et des réponses LLM pouvaient dégrader l’expérience avant la mise en production.

Approche

Transformer les retours de test en tickets actionnables et créer un langage commun entre produit, technique et opérations.

Contribution

J’ai testé les parcours dans la Sandbox, vérifié les intégrations API et Salesforce, évalué des prompts LLM et assuré le suivi de plus de 200 incidents dans Linear jusqu’à leur résolution.

Impact et recul

Résultat

Une visibilité continue sur la qualité des parcours et des retours plus exploitables pour prioriser les correctifs avant les déploiements.

Apprentissage clé

Pour un produit IA, la qualité ne se limite pas au modèle : elle se construit aussi dans les données d’entrée, les intégrations, les scénarios de test et la clarté du feedback.

“Cette étude de cas présente uniquement des responsabilités, méthodes et informations non confidentielles.”

Note de confidentialité, Portfolio

Ma méthode

Formalisation de cas de test couvrant les parcours métier et les cas limites.

Vérification des réponses LLM avec une attention portée à la cohérence et à l’utilisabilité.

Qualification, documentation et suivi des incidents dans Linear.

Coordination des retours entre environnement Sandbox, API, Salesforce et équipes internes.

Contexte

Cette mission portait sur la préparation et le suivi de la qualité d’un produit IA. Les exemples et métriques sont présentés à un niveau non sensible : aucune donnée client, capture interne ni configuration propriétaire n’est publiée.

Contribution

Mon rôle consistait à rendre les anomalies compréhensibles et actionnables : identifier le parcours concerné, décrire le comportement observé, préciser le résultat attendu et aider les équipes à suivre le correctif jusqu’à validation.

Ce que cela démontre

Cette expérience est représentative de mon intérêt pour les rôles à l’interface de la donnée, du produit et des opérations : garder la réalité métier visible tout en travaillant avec les contraintes techniques d’un système IA.