Lascia stare la North Star Metric: ecco cosa guardare invece

Molti clienti arrivano da noi con un problema preciso. Hanno individuato la metrica chiave del proprio prodotto, i dati a riguardo indicano un miglioramento, ma qualcosa non torna:

• Le altre metriche peggiorano
• Le valutazioni positive calano
• Gli utenti non usano il prodotto come ci si aspetta.

Perché succede questo? La motivazione spesso è proprio il trattamento riservato alla North Star Metric. Ma approfondiamo innanzitutto ciò di cui stiamo parlando.

Cos’è la North Star Metric

La North Star Metric è una misura legata al valore principale che viene fornito all’utente, cioè quello che l’utente trova di buono nel tuo prodotto digitale. 

Il suo scopo è predire il successo a lungo termine di un prodotto. Proprio per questa ragione il nome richiama la Stella Polare: come quest’ultima consente di orientarsi e decretare una direzione, anche la nostra metrica ha la funzione di guidare l’intero team verso lo stesso obiettivo.

Le caratteristiche principali della NSM sono che:

• Riguarda l’utente, non il prodotto o l’azienda che lo distribuisce; il fatturato, ad esempio, non rappresenta una buona North Star Metric.
• Può essere direttamente influenzata; non dipende quindi esclusivamente da variabili esterne come l’andamento del mercato.
• Tende a crescere o decrescere; perciò, non sono buone metriche né il numero di utenti che hanno completato l’iscrizione, che non può calare, ma nemmeno la percentuale di utenti attivi ogni giorno per almeno 30 giorni, che può raggiungere al massimo il 100%.

Ma quindi quali sono buoni esempi di North Star Metric? Alcuni esempi sono il numero di notti prenotate per Airbnb, o il numero di minuti di ascolto per Spotify. 

Non confonderti con le Vanity Metric

La North Star Metric non è una Vanity Metric. Questi numeri indicano invece metriche che fanno fare buona figura, che possono anche avere un’utilità, come quella di mantenere alto l’umore del team o di convincere gli investitori, ma che non servono a nulla ai fini di prendere decisioni. In pratica: belle in una slide, ma non danno indicazioni concrete.

Sono un esempio di vanity metric:

• Le visualizzazioni alla landing page del prodotto
• Il ricavo totale dagli acquisti in-app
• Il numero di follower sui social media

Ne abbiamo parlato anche nel nostro articolo su come validare un’app: il numero di iscritti a una lista d’attesa o i commenti ricevuti quando si fa un build-in-public non equivalgono a un reale utilizzo del prodotto. 

Prestare attenzione a queste metriche può far perdere il focus su quello che conta davvero, cioè quello che realmente nel corso del tempo decreta il successo. Inoltre, può creare un falso senso di sicurezza riguardo all’andamento del proprio prodotto.

Anche i colossi ci cascano: un caso reale

Non sono solo le piccole aziende rischiano di incappare nella scelta di una metrica sbagliata. Anche YouTube nel tempo ha dovuto affrontare lo stesso problema. Un articolo del blog ufficiale, infatti, racconta che agli albori le raccomandazioni di YouTube si basavano sul numero di click per ogni video.

Nel 2011 l’azienda si è accorta di un problema. Prendiamo caso che un utente cercasse, usando l’esempio originale, i momenti salienti di una partita di Wimbledon. L’utente si trovava suggeriti alcuni video che a giudicare da titolo e miniatura sembravano mostrare scene del match.

Cliccandoli, a volte scopriva che quel video non mostrava affatto i tennisti impegnati nel gioco, ma alcuni fan che commentavano gli avvenimenti sportivi. Non essendo ciò che cercava, l’utente cliccava un altro video, e se necessario un altro video ancora.

Tutti questi click venivano interpretati come apprezzamento per i contenuti, quando viceversa rappresentavano un segnale di frustrazione. Per questo motivo, il criterio è stato successivamente modificato includendo anche i minuti di visualizzazione.

Ma non solo: l’utente può vedere un video intero senza però apprezzarlo, forse anche perché nella speranza di trovare esattamente quello che cercava. Per questo motivo, in seguito la metrica è stata ulteriormente affinata, includendo anche la valutazione data al contenuto.

L’effetto di aver cambiato la metrica di riferimento è stato quello di ottenere un immediato calo del 20% nei click. Ma questo risultato apparentemente controproducente è in realtà un indice di apprezzamento da parte degli utenti.

Perché non inseguire la North Star Metric

Ma se la North Star Metric misura il successo a lungo termine, perché i nostri clienti arrivano con un’indicazione sbagliata data proprio da questa metrica? 

La ragione ce la spiega un economista britannico, Charles Goodhart, che nel 1975 afferma che quando si cerca di controllare una misura, questa verrà distorta. In altri termini, quella che prenderà il nome di legge di Goodhart sostiene che il tentativo di migliorare un indice porta a renderlo una misura non valida.

A dargli man forte interviene pochi anni dopo lo psicologo sociale americano Donald Campbell, che in uno studio del 1979 fa un’affermazione che lui stesso definirà pessimistica:

Cosa ci dice quest’affermazione, che prenderà il nome di legge di Campbell? In parole povere, che se una metrica guida le decisioni è probabile che verrà manipolata fino al punto di danneggiare la misura che doveva invece accrescere.

Come controllare la metrica danneggia l’applicazione

Ma né Goodhart né Campbell parlavano di prodotti digitali; com’è possibile quindi che le loro dichiarazioni si applichino anche al contesto di nostro interesse? E come può una buona metrica venir invalidata proprio quando sembra migliorare?

Prendiamo un esempio. In un’applicazione per studiare le lingue, una possibile North Star Metric potrebbe essere il numero di minuti spesi a studiare. Per incrementare la metrica, però, viene intrapresa un’azione come aumentare il numero di minuti in ogni lezione; in questo modo, ogni utente che completa anche una sola lezione, anziché metterci cinque minuti ce ne metterà dieci.

Il risultato, però, è che gli utenti che non hanno dieci minuti da dedicare non si dedicheranno a completare alcuna lezione. Perciò, gli utenti attivi sono sempre meno, il numero di lezioni completate al giorno per utente cala e, in generale, diminuisce l’apprezzamento per l’applicazione.

Non solo: a volte, per ottenere un miglioramento nelle metriche, si ricorre a metodi subdoli. Ad esempio:

• Per aumentare il numero di iscritti all’applicazione si può nascondere il pulsante per continuare senza un account registrato.
• Per ottenere più click al proprio blog si possono scegliere titoli clickbait.

Adottare questi pattern può portare l’utente a non fidarsi dell’applicazione, ottenendo l’effetto inverso rispetto a quello sperato.

Come usare la North Star Metric correttamente

Cercare di alterare direttamente le metriche equivale a mettere il termometro nel ghiaccio quando si ha la febbre: certo, la temperatura scenderà, ma ciò non significa che l’influenza sia passata.

Dal punto di vista opposto, ciò non significa che basti restare a guardare e attendere. La North Star Metric funziona esattamente come un termometro: sapere che la temperatura corporea è elevata ci dice che qualcosa non va, ed è un’informazione preziosa.

In questo modo possiamo agire sulle cause che ipotizziamo essere sottostanti al malessere: un onboarding migliorato, una funzionalità mancante, un flusso poco chiaro. Se migliora la salute generale del prodotto, anche la nostra metrica chiave migliorerà.

Una guida pratica

Abbiamo quindi decretato che i dati vanno utilizzati per comprendere il quadro della situazione e non per alterarla. Ma come possiamo agire per non cadere nella trappola di Campbell?

Innanzitutto, scegliamo la metrica giusta. La North Star Metric dovrebbe misurare un valore ricevuto dall’utente, non solamente una quantità. Ad esempio, piuttosto che le iscrizioni al prodotto digitale potrebbe aver senso misurare quanti utenti compiono l’azione principale per cui l’applicazione è designata entro una settimana dall’iscrizione.

Poi, il lavoro deve essere finalizzato ad agire sulle input metric, ossia criteri iperspecifici che possono essere manipolati con il lavoro quotidiano, come ad esempio il numero di funzionalità rilasciate in un trimestre. Si contrappongono alle output metric, che è il nome dato a tutte quelle metriche che rappresentano un risultato, non direttamente controllabili.

Ogni metrica che viene presa in considerazione come risultato ottenibile deve essere bilanciata da una metrica di contrappeso, il cui fine è quello di indicare se la metrica sta venendo migliorata nel modo giusto. Ad esempio:

• Se si osserva il numero di iscrizioni va anche tenuta da conto la retention a distanza di un mese.
• Se si aumenta il numero di notifiche inviate, non dovrebbe esserci un brusco calo nel numero di utenti che attivano le notifiche.
• Se si punta a far passare agli utenti più tempo in app, non dovrebbero calare soddisfazione e recensioni positive.

Infine, cerca di prevedere le possibili lacune: chiediti se, e come, puoi aumentare la tua North Star Metric senza migliorare il prodotto. In questo modo saprai esattamente cosa evitare di fare perché quel numero non perda valore.

La North Star Metric è ad oggi uno degli strumenti più utili per dare la giusta direzione al tuo prodotto digitale. Il problema nasce quando smette di essere una bussola e diventa un traguardo.

E a te è mai capitato di trovarti in questa situazione? Se vuoi un occhio esterno per definire le metriche giuste per il tuo prodotto digitale, o capire cosa stanno davvero dicendo i tuoi dati, scrivici: ne parliamo volentieri.