SaaS analytics : au-dela des metriques de vanite, les indicateurs qui comptent

Dans le SaaS, on se noie dans les donnees mais on manque parfois d’indicateurs pertinents. Les tableaux de bord regorgent de chiffres impressionnants qui ne disent rien de la sante reelle du produit. Les equipes produit francaises les plus matures ont appris a faire le tri entre les metriques de vanite et les indicateurs qui permettent vraiment de piloter le produit.

Les metriques de vanite les plus courantes

Les metriques de vanite sont celles qui impressionnent les investisseurs mais n’aidant pas a prendre des decisions. Le nombre d'utilisateurs inscrits est la metrique de vanite par excellence. Avoir 100 000 inscrits ne sert a rien si seulement 10 % d'entre eux sont actifs chaque mois, explique un Data Product Manager de Pennylane.

Le nombre de pages vues est une autre metrique trompeuse. Un utilisateur peut passer 10 minutes sur une page parce qu'il cherche une information sans la trouver. Les pages vues ne mesurent pas la satisfaction, juste l'activite.

Le nombre de features developpees est egalement une metrique de vanite. Ce qui compte, ce n'est pas le nombre de fonctionnalites livrees, mais le nombre de fonctionnalites adoptees par les utilisateurs.

Les indicateurs actionnables preferes des equipes francaises

Quels sont les indicateurs que les equipes produit francaises suivent vraiment ?

Le premier est le taux d’activation. Le taux d'activation mesure le pourcentage d'utilisateurs qui atteignent le "aha moment" dans les X premiers jours. C'est l'indicateur le plus correle a la retention a long terme, affirme un VP Product de Spendesk.

Chez Spendesk, notre activation est definie comme la premiere note de frais soumise et approuvee. Les utilisateurs qui atteignent ce jalon dans les 14 premiers jours ont 90 % de chances d'etre encore actifs a 6 mois. Ceux qui n'y arrivent pas n'ont que 40 % de chances.

Le deuxieme indicateur est la retention de cohorte. La retention de cohorte est le seul indicateur qui predeit la croissance a long terme. Une courbe de retention qui se stabilise apres 3 mois est le signe que le produit a trouve son marche.

Le troisieme indicateur est le Net Dollar Retention (NDR). Le NDR mesure la capacite a faire croitre le revenu des clients existants. Un NDR superieur a 120 % signifie que vous pouvez croitre sans acquerir de nouveaux clients.

Le piege des moyennes

Les moyennes sont souvent trompeuses. Une retention moyenne de 80 % peut cacher une retention de 95 % sur les gros clients et de 40 % sur les petits. Il est essentiel de segmenter les indicateurs par cohorte, par segment de clientele et par canal d'acquisition, recommande un data analyst.

La mediane est souvent plus revelatrice que la moyenne. Si la mediane de temps passe dans le produit est de 5 minutes, mais que la moyenne est de 15 minutes, c'est que quelques utilisateurs extremes tirent la moyenne vers le haut.

Chez Pennylane, nous avons mis en place un systeme d'alertes qui se declenche quand un indicateur segmente s'ecarte de plus de 2 ecarts-types de sa moyenne historique. Cela nous permet de detecter les anomalies avant qu'elles ne deviennent des problemes.

Analytics en temps reel vs analyses historiques

Le choix entre temps reel et analyse historique depend du cas d’usage. Les analytics en temps reel sont essentiels pour le monitoring et les alertes. Les analyses historiques sont indispensables pour la strategie et la priorisation, distingue un Data Product Manager.

Nous avons deux tableaux de bord distincts : un "operations dashboard" pour le quotidien, actualise toutes les heures, et un "strategy dashboard" pour les tendances mensuelles et trimestrielles. Les PM utilisent les deux de maniere complementaire.

La democratisation des donnees

Le plus grand defi des analytics produit est de rendre les donnees accessibles a toutes les equipes. Nous avons investi dans un outil de self-service analytics qui permet a chaque PM, designer et ingenieur d'interroger les donnees sans passer par l'equipe data, explique un VP Engineering d’Algolia.

Nous avons forme chaque membre de l'equipe produit a l'utilisation de l'outil et aux bases de l'analyse de donnees. Le nombre de requetes data a ete multiplie par 10, et le temps d'obtention d'une reponse est passe de 2 jours a 5 minutes.

La culture de la donnee dans les equipes produit

La democratisation des donnees ne suffit pas : il faut creer une culture de la donnee. Nous avons mis en place des "data reviews" hebdomadaires ou chaque equipe produit presente ses indicateurs cles et les actions qui en decoulent. Ces reunions sont l'occasion de challenger les hypotheses et de partager les apprentissages, temoigne un VP Product de Spendesk.

Nous avons egalement cree un programme de "data literacy" qui forme tous les membres de l'equipe produit aux concepts fondamentaux de l'analyse de donnees : statistiques de base, tests A/B, visualisation. Ce programme a considerablement ameliore la qualite des decisions produit.

Le plus grand changement culturel a ete de passer de decisions basees sur l'intuition a des decisions basees sur les donnees. Cela ne signifie pas ignorer l'intuition, mais la confronter systematiquement aux donnees avant d'agir.

Les biais cognitifs dans l’analyse des donnees

Meme avec les meilleurs outils, les biais cognitifs peuvent fausser l’interpretation des donnees. Le biais de confirmation est le plus frequent : on cherche des donnees qui confirment nos hypotheses et on ignore celles qui les contredisent. Nous avons mis en place des processus qui obligent les equipes a chercher activement les donnees qui pourraient infirmer leurs hypotheses, explique un Data Product Manager.

Le biais de survie est un autre piege : on analyse les utilisateurs qui restent et on ignore ceux qui sont partis. Comprendre pourquoi les utilisateurs partent est souvent plus important que comprendre pourquoi ils restent.

Nous avons forme nos equipes a reconnaitre ces biais et a les neutraliser. Chaque analyse de donnees commence par une question explicite et une hypothese falsifiable, ce qui reduit l'impact des biais cognitifs.

Du reporting a l’action

Le but ultime des analytics n’est pas le reporting, mais l’action. Trop d'equipes passent leur temps a creer des tableaux de bord que personne ne regarde. Nous avons une regle : chaque tableau de bord doit etre accompagne d'au moins une action decisee. Si vous ne savez pas quoi faire avec un indicateur, arretez de le mesurer, tranche un VP Product.

Nous avons introduit le concept de "one-click insight" : chaque anomalie detectee dans les donnees doit pouvoir etre exploree en un clic pour en comprendre la cause. Et chaque cause identifiee doit pouvoir etre transformee en action produit en un clic. Cette discipline a considerablement reduit le temps entre la detection d'un probleme et sa resolution.

Pour approfondir les metriques produit, lire notre article sur les KPIs essentiels en analytics produit et notre analyse de l’onboarding et l’activation.