Avant de commencer

Répondez pour l'équipe et le produit que vous avez en tête, pas pour l'entreprise entière. Un groupe qui a une chaîne exemplaire sur un produit et rien sur un autre obtiendra un score moyen qui ne décrit ni l'un ni l'autre.

Répondez à ce qui est vrai aujourd'hui, pas à ce qui est prévu.
Quand deux réponses conviennent, prenez la plus basse — c'est presque toujours la bonne.
Rien n'est envoyé : le calcul se fait dans votre navigateur.

1 Quand une version part en production, qu'est-ce qui a été vérifié ?

Rien de systématique — on vérifie ce qu'on a le temps de vérifier Les parcours critiques, manuellement Les parcours critiques, automatiquement Une suite automatisée large, rejouée à chaque livraison

2 Comment découvrez-vous le plus souvent les régressions ?

Par nos clients Par l'équipe, après la mise en production Par les tests, mais tard dans le cycle Par la chaîne d'intégration, avant la fusion

3 Vos tests se déclenchent-ils tout seuls ?

Non, tout est manuel Quelqu'un les lance à la main, quand il y pense Automatiquement à chaque livraison À chaque proposition de modification, et le résultat bloque la fusion

4 Combien de personnes savent faire tourner la suite de tests ?

Aucune, ou il n'y a pas de suite Une seule Deux ou trois Toute l'équipe

5 Qui décide qu'une version est livrable, et sur quels critères ?

Personne formellement Une personne, au jugé Des critères existent, mais on y déroge quand la date approche Des critères écrits, vérifiés automatiquement

6 Que se passe-t-il quand un test échoue en intégration ?

Ça n'arrive pas : il n'y a pas d'intégration continue On relance jusqu'à ce que ça passe On regarde, et parfois on ignore On corrige ou on supprime le test — on ne relance jamais

7 Qui écrit les tests ?

Personne en particulier Une personne dédiée, seule Les développeurs, sans cadre commun Les développeurs et un profil QA, avec des conventions partagées

8 Depuis un an, votre effectif engineering a…

beaucoup augmenté, sans rien changer côté test augmenté, et le test suit difficilement peu bougé augmenté, et la démarche de test a été adaptée

Ce que ce diagnostic ne fait pas

Huit questions ne remplacent pas un audit. Elles ne regardent ni votre code de test, ni votre chaîne réelle, ni ce que vos équipes en disent — et ce sont ces trois choses qui font la différence entre un score et un diagnostic.

Ce que ce questionnaire fait bien, en revanche : vous situer, et vous éviter de commencer par le mauvais bout. La majorité des équipes qui nous contactent veulent automatiser alors que leur problème est ailleurs.

Si vous voulez que quelqu'un relise votre résultat avec vous, la séance d'une heure est offerte et ne débouche pas sur une proposition dans la plupart des cas. Demander la relecture.

Où en est votre démarche de test ?

Avant de commencer

Ce que ce diagnostic ne fait pas