Note : 4 ; Des contributions assez hétéroclites autour de l’automatisation, mais parfois intéressantes !

Les ouvrages collectifs sont rarement de grandes réussites. Celui-ci n’échappe pas à la règle, avec des contributions assez inégales. Toutefois, je lui reconnaitrais le mérite d’associer à l’agilité la nécessité d’automatiser les tests !

Le format de l’ouvrage dépassera légèrement de votre bibliothèque. Fort de 220 pages imprimé sur papier glacé en couleur, il faut bien dire que le CFTL a bien fait les choses. Le texte tire parti de cette impression en couleur avec de très nombreuses illustrations, le volume s’avale plutôt rapidement. Le texte est divisé en 3 parties pour un total de 22 chapitres, chacun d’entre-eux est donc plutôt court. La première partie « l’automatisation dans le test » et compte 5 chapitres pour 53 pages. C’est un panel des pratiques d’automatisation que nous livre le 1er chapitre : court et bien fait, il ne nous apprend cependant guère de choses utiles.

Le second chapitre aborde le périmètre de ce qui peut automatisé dans les activités de test. On n’y apprend pas grand-chose non plus, mais cela a le mérite d’être écrit du point de vue du testeur, ce qui est original. Ainsi le panel des activités de test est bien décomposé, mais le propos reste assez stratosphérique. Le chapitre 3 sur le test et la démarche devops s’avère être l’un des plus intéressants de l’ouvrage. Ses 2 points forts sont l’accostage des différents types de test avec le pipeline CI/CD et la présentation du « shift left », le concept le plus intéressant et le plus original du livre !

A contrario, le chapitre 4 qui nous présente le TMMi, c’est-à-dire le CMMi pour les tests (bien qu’il ne se présente pas ainsi, en tentant de nous présenter un modèle de maturité des tests (et de l’automatisation, puisque c’est le thème de l’ouvrage) ne fait que nous ennuyer. Tout cela sent bien fort la bureaucratie : passons. Cette première partie se conclut sur les dérives de l’automatisation. Le contenu n’est pas transcendant, mais c’est plutôt bien vu et mérite quand même la lecture.

La seconde partie nous parle des pratiques de l’automatisation. Avec 110 pages sur 13 chapitres, c’est de loin le plus conséquent du livre. Il s’ouvre sur un chapitre couvrant la stratégie de test, mais qui finalement sent bon la gouvernance à l’ancienne. Peu d’intérêt, passons. La gestion de l’effort de test, présenté au chapitre suivant, est un effort méritoire pour donner les clés de répartition de l’effort de test en s’appuyant sur des matrices de couverture. C’est hélas bien peu convaincant. L’ATDD visuel, sujet du 3ème chapitre de cette partie, m’inspire des sentiments mitigés. Elle déclare s’inscrire dans la continuité du BDD mais au niveau des epics. Les concepts ne sont malheureusement pas bien clairs et les auteurs focalisent plutôt sur les avantages de l’approche plus qu’ils ne la décrivent. Sans doute ont-ils quelque chose à vendre ?

Le 5ème chapitre dédié aux indicateurs est plutôt pas mal. Il a sans doute trop tendance à se focaliser sur les indicateurs métiers, mais on ne manque pas de sources d’inspiration et l’auteur partage ouvertement ses références ! Le chapitre 6 est intriguant : les tests exploratoires assistés par l’IA. L’un des auteurs, Xavier Blanc, a déjà écrit un très bon ouvrage sur le MDA, il mérite donc l’intérêt. L’article tourne autour de la plateforme open-source AIFEX destiné à cet usage. L’article s’avère hélas trop court pour nous permettre d’appréhender correctement le concept. Dommage ! Le chapitre 7 nous propose une approche des tests de non-regression s’appuyant sur un outil : Gravity. L’article est plutôt une introduction, mais le concept de s’appuyer sur les traces d’exécution pour fabriquer des tests de caractérisation mérite l’attention !

L’automatisation des tests de Webservices présenté dans ce 8ème chapitre est plutôt un retour d’expérience. Comme c’est souvent le cas dans ce type d’exercice, c’est hélas assez peu intéressant, d’autant que le texte manque d’éléments réellement tangibles. On peut passer sans regret. L’automatisation des tests de bout en bout à l’échelle a, de par le titre, ce qu’il faut pour arrêter l’attention sur ce chapitre 9. Malheureusement, cela s’avère être la plaquette publicitaire de la société Crossknowledge. C’est décevant et le papier glacé de l’ouvrage ne permet même pas de destiner cet article à un usage hygiénique. Le RPA, pour Robotic Process Automation est le sujet du chapitre 10. J’ai eu un peu de mal à comprendre où voulaient en venir les auteurs jusqu’à ce qu’ils abordent Robot Framework. Finalement, j’aurais aimé qu’ils lui consacrent plus d’espace.

Le retour d’expérience d’Axa présenté au chapitre 11 aborde deux sujets : la démarche de test et l’animation de communautés. Le processus de test est réellement un processus de test agile, c’est bien présenté même si cela n’apprendra que peu de choses à ceux qui sont déjà familiers de ces concepts. Le volet communauté de pratiques mérite tout autant l’attention et aurait même pu être développé sur d’avantage de pages. La priorisation automatique des tests par apprentissage est un sujet plus intéressant qu’il n’y parait au premier abord. Ce chapitre 12 est plutôt une synthèse de ce qui apparait comme un travail de recherche. Malheureusement, il est un peu éloigné de la réalité des projets. Cette seconde partie se clôt sur un chapitre 13 consacré aux tests en production (et un peu au monitoring, aussi). Les 9 conseils qui y sont prodigués méritent le détour.

La 3ème partie nous propose d’aller plus loin. Elle le fait sur 4 chapitres couvrant 35 pages. Le premier chapitre est une réflexion de fond sur la place et l’avenir de l’IA. Cela dépasse largement le cadre des tests, mais l’auteur sait être pertinent et intéressant. Au second chapitre, il est question d’humain et de garder la motivation dans un contexte d’automatisation des tests. L’auteur nous propose 8 leviers à méditer, sans éviter les sujets épineux. Le chapitre 3 nous propose un regard rétrospectif sur l’automatisation des tests. L’effort est louable, mais de mon point de vue, c’est un peu raté. Enfin l’ouvrage se referme sur un chapitre consacré à la prédiction d’anomies. Le moins que l’on puisse dire, c’est que le sujet a de l’intérêt. Toutefois le propos ne me convainc pas ici.

Le contenu de cet ouvrage est assez inégal, l’ouvrage n’est pas incontournable. Quelques articles sauvent un peu la mise, néanmoins. De plus, il faut saluer l’effort du CFTL d’avoir produit cet ouvrage dont l’édition est de fort bonne facture.

Référence complète : Automatisation des activités de test – Olivier Denoo, Marc Hage Chahine, Bruno Legeard & Eric Riou du Cosquer – CFTL 2021 – ISBN : 978-2-9567490-1-1