QG Qualité

Comment tester un système dont on ne peut pas prévoir exactement le comportement ?
Avec les LLM et les agents IA, les méthodes traditionnelles de la qualité logicielle se heurtent à un changement de paradigme. Les réponses sont non déterministes, les risques évoluent avec les usages et une défaillance ne se limite plus forcément à un simple bug logiciel.
Dans le premier épisode de la saison 3 de QG Qualité, nous recevons Alexandre Combessi, cofondateur de Giskard, pour comprendre comment tester, évaluer et sécuriser ces nouveaux systèmes.Alexandre revient sur son parcours, de la finance au Machine Learning, puis sur la création de Giskard et le bouleversement provoqué par l’arrivée de ChatGPT.
Nous décortiquons ensuite la méthode utilisée pour transposer les concepts fondamentaux de la qualité logicielle au monde de l’IA.Comment définir les risques à couvrir ? Comment construire une boucle d’amélioration continue ? À quoi servent un scan ou un harness d’évaluation automatisé ? Peut-on réellement mesurer la confiance que l’on accorde à un modèle ?
Nous abordons également la sécurité des LLM, l’évolution des hallucinations, les risques pour les utilisateurs les plus vulnérables et les limites d’une approche qui se concentrerait uniquement sur la sécurité technique.
Alexandre nous explique enfin les principes du red teaming et du blue teaming, ainsi que la complémentarité entre évaluations offline et contrôles en temps réel.Un épisode pour comprendre pourquoi tester une IA ne consiste plus simplement à vérifier qu’une sortie correspond à une sortie attendue. Il faut désormais tester des comportements, des risques et des systèmes dont une partie restera, par nature, imprévisible.

Découpage de l'épisode :
00:00 Jingle & intro
00:28 Les temps forts de l’épisode
01:00 Présentation de l’épisode
01:35 Le parcours d’Alexandre
02:40 La problématique du test d’IA
03:30 Création de Giskard
05:00 L’arrivée de ChatGPT a tout changé
07:20 De la finance au Machine Learning
09:05 Le problème que résout Giskard
09:40 Un changement de paradigme dans le test
11:45 La méthode décortiquée
13:26 Traduire les concepts clé de la qualité logicielle
15:30 La couverture des types de risques
16:30 Un cas concret
20:30 Une boucle d’amélioration continue
22:50 Le scan en détails
25:00 Un harness automatisé
27:00 La confiance dans l’IA
29:08 Les risques à l’échelle
31:20 La menace dans tout le système
34:00 Les LLM sont-ils sécurisés ?
36:00 Un modèle plus fiable que tous les autres
37:50 Une progression des modèles sur la fiabilité
40:00 Les hallucinations se sont réduites
41:00 Deux catégories d’utilisateurs fragilisés
43:20 Des risques sur les personnes vulnérables
45:00 Le principe du red teaming
46:30 La sécurité ne suffit pas
48:00 Tests offline et en temps réel
51:00 Le blue teaming
52:50 Les conseils d’Alexandre
54:00 Conclusion
QG Qualité, une initiative impulsée par SSID Testing Agency - www.ssid.fr
Consulting - Expertise Conseil - Formation en Qualité Logicielle.
Notre site web SSID Testing Agency : https://www.ssid.fr/
Notre page Linkedin : https://fr.linkedin.com/company/ssid-digital-quality
Nos formations : https://www.ssid.fr/on-vous-forme/
Notre chaîne YouTube : https://www.youtube.com/@SSID_Testing
Notre blog : https://www.ssid.fr/blog
Notre Instagram : https://www.instagram.com/ssid_testing/
https://www.giskard.ai/

Aujourd’hui, dans ce nouvel épisode bonus de QG Qualité, les rôles s’inversent !Pour une fois, ce n’est pas Romuald Lenormand qui mène l’interview. Elolia Drubay, responsable de la communication chez SSID prend les commandes de cet épisode pour faire passer notre animateur de l’autre côté du micro.Vous connaissez sa voix, ses questions et sa curiosité à travers les épisodes du podcast. Mais qui est Romuald ? Quel a été son parcours ? Qu’est-ce qui l’a conduit à devenir Quality Engineer, expert en automatisation, formateur et animateur de QG Qualité ? Dans cet épisode plus léger et plus personnel, il se prête à l’exercice de l’interview et revient sur son métier, ses convictions et les coulisses du podcast.Au fil de la discussion, Romuald raconte son parcours, évoque son quotidien chez SSID, son rôle auprès de ses clients, ses missions autour de l’automatisation, des audits, des POC et de la formation. Il partage aussi sa vision de la qualité logicielle, les erreurs rencontrées orsqu’une équipe se lance dans l’automatisation, ainsi que ses conseils pour les QA qui souhaitent développer leurs compétences dans ce domaine.L’épisode est également l’occasion d’aborder d’autres sujets : l’évolution du métier de testeur, la place grandissante de l’intelligence artificielle dans la qualité logicielle, les outils qu’il utilise au quotidien, sa veille technologique et les ressources qu’il recommande pour continuer à apprendre. Nous parlons aussi de Playwright, son outil coup de coeur, de transmission des connaissances, de ce qui différencie selon lui un QA junior, confirmé ou expert, et de ce qui le motive à former les professionnels de demain.Un épisode hors-série placé sous le signe de la bonne humeur, qui vous fera découvrir l'homme derrière le micro, les coulisses de QG Qualité et la passion qui anime Romuald depuis le lancement du podcast.Bonne écoute ! Découpage de l’épisode : 00:00 Jingle & intro 00:29 Les temps forts de l'épisode 01:11 Introduction : les rôles s'inversent 01:53 Le parcours atypique de Romuald 03:40 Pourquoi créer le podcast QG Qualité ? 04:23 Qui a dit quoi ?07:00 Le métier rêvé quand il était enfant 07:43 Le conseil à son "toi" adolescent 08:12 Expliquer le métier de Quality Engineer 08:36 Le quotidien d'un Quality Engineer 09:51 Ce qui le passionne dans son métier 10:53 Son rôle d'expert en automatisation 12:11 Les erreurs fréquentes en automatisisation 14:33 Les conseils pour se lancer avec Playwright 15:11 La naissance du podcast QG Qualité 17:48 Ce que le podcast lui apporte au quotidien 19:46 La plus grande évolution du métier de QA 21:03 L'IA dans la qualité logicielle : opportunité ou risque ? 23:07 L'IA remplacera-t-elle les testeurs ? 25:03 L'IA fait-elle peur ?25:42 Comment faire une veille technologique efficace ? 27:24 Pourquoi transmettre à travers la formation ? 29:44 Pourquoi Playwright est son outil favori 30:53 Ce qu'il cherche à transmettre à ses apprenants 32:07 La différence entre un QA junior, confirmé et expert 34:14 Le jeu des questions express 36:06 Les lectures recommandées 36:38 La compilation des meilleurs bafouillages 38:21 Le défi : réussir l'outro en une seule prise 39:13 Conclusion et remerciementsQG Qualité, une initiative impulsée par SSID Testing Agency - www.ssid.frConsulting - Expertise Conseil - Formation en Qualité Logicielle.Notre site web SSID Testing Agency : https://www.ssid.fr/Notre page Linkedin : https://fr.linkedin.com/company/ssid-digital-quality Nos formations : https://www.ssid.fr/on-vous-forme/Notre chaîne YouTube : https://www.youtube.com/@SSID_Testing Notre blog : https://www.ssid.fr/blog Notre Instagram : https://www.instagram.com/ssid_testing/

Dans ce nouvel épisode de QG Qualité, nous recevons Emmanuelle Aboaf, développeuse, coach en accessibilité numérique et conférencière.
L’accessibilité numérique est encore trop souvent vue comme un sujet complexe, secondaire ou réservé à des experts. Pourtant, elle concerne des millions de personnes et touche directement à ce qui fait la qualité d’un produit numérique : permettre à chacun d’accéder à un service, de comprendre une interface et d’agir en autonomie.
Avec Emmanuelle, nous revenons sur son parcours, sur son quotidien de développeuse sourde de naissance, et sur ce qui l’a amenée à se spécialiser dans l’accessibilité. Nous parlons aussi de l’état du web aujourd’hui, des services publics, de l’e-commerce, des obligations légales, du RGAA et du manque de volonté qui freine encore trop souvent les avancées.
L’épisode donne aussi une place importante au concret. Quel rôle peuvent jouer les équipes QA ? À quel moment intégrer l’accessibilité dans le cycle de développement ? Faut-il être expert pour commencer ? Quels tests simples peut-on lancer dès demain ? Emmanuelle partage des exemples de réussite, comme la MAIF, mais aussi des cas plus problématiques, comme SNCF Connect ou la Fnac.
Nous abordons enfin l’avenir du sujet, avec une question incontournable : l’IA sera-t-elle un frein ou une opportunité pour l’accessibilité numérique ?
Un épisode essentiel pour toutes celles et ceux qui conçoivent, développent, testent ou pilotent des produits numériques. Et surtout, un rappel simple : l’accessibilité n’est pas un bonus. C’est une condition de qualité.

Découpage de l'épisode :
00:00 Jingle & intro
00:28 Les temps forts de l’épisode
01:00 Introduction
02:07 Présentation d’Emmanuelle
03:35 L’aménagement de poste pour les réunions
04:40 La rencontre qui a tout déclenché
07:00 12 millions de personnes concernées
08:30 Etat des lieux de l’accessibilité
09:50 Des associations poussent la question au tribunal
11:15 Jongler entre les rôles de développeuse, coach et conférencière
14:00 Le web pensé par design pour l’accessibilité
15:30 Les caractéristiques d’un produit numérique accessible
16:15 Toute l’équipe doit y penser, et ce dès le départ
17:36 Les tests d’accessibilité
19:15 Des formations pour chaque corps de métier
19:55 L’exemple de réussite, le site de la Maif
21:00 Le mauvais élève, la SNCF
23:40 La Fnac, l’autre mauvais exemple
24:45 Manque de volonté politique
25:45 Les américains très en avance
27:15 Par où commencer
28:40 Faut-il des experts pour débuter ?
30:00 Les 6 tests les plus simples à réaliser
34:15 Le futur de l’accessibilité
35:00 L’IA, frein ou opportunité ?
37:00 Des pistes prometteuses
41:30 Première action dès demain : le test au clavier
42:00 Remerciements et conclusion

QG Qualité, une initiative impulsée par SSID Testing Agency - www.ssid.fr
Consulting - Expertise Conseil - Formation en Qualité Logicielle.
Notre site web SSID Testing Agency : https://www.ssid.fr/
Notre page Linkedin :  https://fr.linkedin.com/company/ssid-digital-quality  
Nos formations : https://www.ssid.fr/on-vous-forme/
Notre chaîne YouTube : https://www.youtube.com/@SSID_Testing 
Notre blog : https://www.ssid.fr/blog 
Notre Instagram : https://www.instagram.com/ssid_testing/

L’ISTQB est probablement la certification la plus connue dans le monde du test logiciel. Mais derrière les QCM, les syllabus et les examens, on connaît souvent assez mal les personnes, les règles, les débats et les choix qui structurent cet écosystème international.
Dans cet épisode de QG Qualité, nous recevons Olivier Denoo, Vice-Président de l’ISTQB, Président du CFTL et Vice-Président de Ps_Testware. Son parcours est atypique : formé à la chimie et à l’environnement, passé par l’enseignement, les télécoms et le conseil, il évolue depuis près de 30 ans dans le monde du logiciel et de la qualité.
Ensemble, nous revenons sur son parcours, son arrivée au CFTL, la naissance de la JFTL, puis son engagement progressif dans la gouvernance de l’ISTQB. Olivier explique concrètement les différences entre le CFTL et l’ISTQB, leur rôle dans la structuration du métier, leur financement, et la manière dont ces organisations cherchent à rester agnostiques, internationales et utiles au plus grand nombre.
Nous abordons aussi les critiques fréquentes autour de l’ISTQB. Une certification trop théorique ? Des questions trop piégeuses ? Des traductions parfois difficiles ? Olivier détaille les contraintes d’un examen mondial, les règles d’écriture des questions, les choix de traduction, et partage ses conseils pour préparer sérieusement une certification.
Une partie importante de l’épisode est consacrée à l’intelligence artificielle. Comment l’ISTQB et le CFTL intègrent-ils l’IA dans leurs référentiels ? Que changent les systèmes IA dans la posture du testeur ? Peut-on faire confiance à l’IA pour tester ? Et quelles compétences faut-il développer pour rester pertinent dans les prochaines années ?
Au fil de l’échange, Olivier partage une vision nuancée du métier. Ni rejet de l’IA, ni enthousiasme naïf. Le futur de la qualité logicielle ne sera pas celui d’un testeur remplacé, mais celui d’un testeur augmenté, capable de comprendre les outils, de garder son esprit critique et de continuer à structurer la confiance dans les produits numériques.
Un épisode dense, concret et éclairant pour toutes celles et ceux qui veulent mieux comprendre l’ISTQB, le CFTL, les certifications QA, et l’avenir du test logiciel à l’ère de l’intelligence artificielle.

Les références des livres : Don’t make me think, de Steve KrugGetting to Yes, de William UryDe Gaulle,

QG Qualité, une initiative impulsée par SSID Testing Agency - www.ssid.fr
Consulting - Expertise Conseil - Formation en Qualité Logicielle.
Notre site web SSID Testing Agency : https://www.ssid.fr/
Notre page Linkedin :  https://fr.linkedin.com/company/ssid-digital-quality  
Nos formations : https://www.ssid.fr/on-vous-forme/
Notre chaîne YouTube : https://www.youtube.com/@SSID_Testing 
Notre blog : https://www.ssid.fr/blog 
Notre Instagram : https://www.instagram.com/ssid_testing/

La performance reste l’un des angles morts les plus fréquents dans la qualité logicielle. Tant que tout semble fonctionner, on la repousse. Jusqu’au moment où une lenteur, une migration mal maîtrisée ou un manque de visibilité technique viennent révéler des problèmes bien plus profonds.Dans cet épisode de QG Qualité, nous recevons Matthieu Leroux-Huet, freelance spécialisé en tests de performance depuis plus de 15 ans. À travers son parcours, ses premières expériences et son lancement en indépendant, il partage une vision concrète d’un domaine encore entouré de nombreuses incompréhensions.Ensemble, nous revenons d’abord sur ce qu’est vraiment la performance, sur les idées reçues qui l’entourent, et sur les signaux qui montrent qu’elle a été négligée trop longtemps. Matthieu raconte aussi un cas d’école particulièrement marquant après une migration, qui illustre à quel point les impacts peuvent être brutaux quand le sujet est mal anticipé.L’épisode plonge ensuite dans ce qui fait la différence sur le terrain. Le travail d’observabilité, la capacité à mettre les mains sous le capot, la méthode d’analyse, la curiosité technique, et le réflexe d’enquête pour remonter à l’origine réelle d’un problème. Nous parlons aussi des erreurs les plus basiques en performance, des premières actions à mener lorsqu’un système ralentit, et des outils sur lesquels s’appuyer pour débuter sérieusement.Enfin, nous ouvrons la discussion sur l’avenir du domaine. La place croissante de l’IA dans la performance, le rôle d’éducateur que cela suppose, et les premiers pas que Matthieu recommande à celles et ceux qui veulent monter en compétence sur le sujet. Un épisode riche, accessible et précieux pour toutes les personnes qui veulent mieux comprendre la performance applicative, au-delà des clichés et des recettes simplistes.Découpage de l'épisode : 00:00 Jingle & intro00:28 Les temps forts de l’épisode01:12 Présentation de l’épisode01:35 Présentation de la performance02:35 Présentation de Matthieu04:40 Les premières expériences07:30 Le lancement en freelance08:00 Un regard positif sur le sentiment d’imposture10:22 Le déclencheur pour la perf12:30 Les bénéfices du freelancing15:05 Incompréhensions autour de la performance17:19 Un cas d’école effrayant après une migration21:42 Les signaux d’une performance négligée24:53 Le travail d’observabilité, c’est la clé26:30 Mettre les mains sous le capot27:35 De la méthodologie et de la curiosité29:48 Des exemples d’impacts positifs33:55 La première action en cas de lenteur36:30 Remonter à l’origine du problème38:05 La problématique de l’acculturation38:55 Un vrai travail d’enquête44:12 Les erreurs basiques en terme de perf48:12 La boîte à outils pour débuter53:20 La perf dans les années à venir1:00:10 L’arrivée de l’IA pour la performance1:07:10 Rôle d’éducateur sur l’IA1:08:28 Vos premiers pas selon Matthieu1:11:15 Les conseils de Matthieu1:11:42 ConclusionRetrouvez Matthieu sur linkedIn : linkedin.com/in/lrxmatt?originalSubdomain=fr QG Qualité, une initiative impulsée par SSID Testing Agency - www.ssid.frConsulting - Expertise Conseil - Formation en Qualité Logicielle.Notre site web SSID Testing Agency : https://www.ssid.fr/Notre page Linkedin : https://fr.linkedin.com/company/ssid-digital-quality Nos formations : https://www.ssid.fr/on-vous-forme/Notre chaîne YouTube : https://www.youtube.com/@SSID_Testing Notre blog : https://www.ssid.fr/blog Notre Instagram : https://www.instagram.com/ssid_testing/