Är det du eller din dashboard som styr?

Jag har jobbat med system i hela mitt liv. Ändå har jag börjat ogilla det som brukar kallas den datadrivna världen. Framför allt är jag trött på möten där någon visar en siffra som ingen verkar behöva förstå.

Någon öppnar en dashboard. Pilen är grön, siffran har gått från 26 till 42 och alla nickar. Ingen frågar vad 42 betyder, om 26 var bra eller dåligt eller hur många människor som ligger bakom. Vi går vidare.

Jag har suttit i det rummet många gånger. Efteråt har jag öppnat datan för att se vad som egentligen hände, och det har nästan aldrig varit det vi sa på mötet. Oftast är det något enkelt. Det var för få användare för att säga det vi just sa. Någon hade filtrerat bort en grupp av ett skäl som ingen längre minns. Eller så visade det sig att hela kurvan hängde på en enda tisdag i mars, eller att integrationen låg nere halva perioden så att det saknades data.

Efter en stund är det inte alls så säkert som det såg ut på mötet. Jag har nästan aldrig grävt i en dashboard och blivit mer trygg i vad måttet faktiskt betyder.

Nu blir det billigt att se säker ut

Med AI går det här ännu fortare. Du beskriver vad du vill se och några minuter senare har du en dashboard med grafer, färger och pilar som ser ut som om någon suttit en vecka med frågan.

Men någon måste fortfarande ta reda på hur datan samlades in, vad som filtrerats bort och om det ens finns tillräckligt många observationer för slutsatsen. Är förändringen verklig eller tittar vi bara på en ovanlig vecka?

AI kanske kan hjälpa oss med det arbetet också, men det blir definitivt inte gjort av sig självt när vi ber om en graf.

Jag tror att vi kommer att få se väldigt många fler välgjorda presentationer som ingen har granskat på det sättet. Det är svårt att se i förväg vilka som är på riktigt. En pil som bygger på fjorton användare ser exakt likadan ut som en pil som bygger på en miljon. Och det är inte ens säkert att miljonen är bättre. Fjorton riktiga samtal med användare kan säga mer om varför något händer än en miljon klick som bara visar att det hände. Men samtalen får sällan en egen graf, så de är också det första som faller bort när allt ska in i en dashboard.

Det är två olika fel

Det första felet är det jag beskrev ovan: underlaget räcker inte för det vi påstår. Och vi märker det inte, eftersom det som skulle ha fått oss att tveka inte finns med i bilden.

Daniel Kahneman använde uttrycket ”what you see is all there is”. Vi bedömer det vi har framför oss som om det vore hela bilden. När antal, spridning och luckor saknas i grafen är det lätt att glömma att fråga efter dem.

Det andra felet är besvärligare, för där kan alla siffror vara helt korrekta. Problemet är att vi någonstans på vägen har börjat förväxla måttet med det vi egentligen ville uppnå.

Retention, LTV och konvertering är användbara mått som får mycket uppmärksamhet. Men jag har sett team tveka att göra en kampanj för att den skulle kunna förstöra deras retention-data och jag har sett det i flera olika organisationer.

Tänk på det en stund. Vi låter bli att försöka få fler att använda produkten, för att siffrorna kan bli sämre. Måttet fanns där för att vi skulle förstå hur produkten fungerar, och nu är det helt plötsligt måttet vi skyddar.

En vanlig formulering av Goodharts lag är att när ett mått blir ett mål slutar det vara ett bra mått. Michael Harris och Bill Tayler skrev om ett närliggande problem i Harvard Business Review 2019. De kallade det surrogation: måttet ersätter det som skulle mätas. Deras exempel var Wells Fargo, där jakten på fler konton per kund ledde till att banken öppnade konton utan kundernas godkännande.

Samma problem finns i musikbranschen. En streamingtjänst kan registrera att någon sparar en låt, delar den eller lyssnar klart. Den registrerar inte att någon gråter till låten eller att den får ett helt kök att dansa på efterfesten.

Sparade låtar och lyssningar kan förstås säga något om hur människor tar emot musiken. Men de berättar inte allt om vad den betyder för dem. Om de siffrorna får styra vilka låtar som blir hörda får musiker anledning att anpassa sig efter dem. Då påverkar måttet också vilken musik som blir gjord.

Vad händer med frågorna?

I båda fallen kan det sluta med att alla tycker att de har fått ett tydligt besked. Antingen har vi dragit en slutsats som underlaget inte räcker till för eller så har vi fått ett korrekt svar och glömt vad vi egentligen skulle fokusera på.

Jag undrar vad det gör med oss att vara med om detta dag efter dag? Om det räcker att läsa av färgen behöver vi inte öva särskilt mycket på att förstå siffran. Den som frågar ”vad betyder det egentligen?” fördröjer mötet när alla andra redan har gått vidare.

Till slut kommer den personen att sluta fråga och sluta lyssna på sin intuition.

Vi behöver göra motstånd

Med AI får vi mycket mer av det här. Fler bedömningar, fler rekommendationer och fler beslut som ser väl underbyggda ut. Det blir mer att granska samtidigt som det ser ut som om granskningen redan är gjord. Det kommer att bli allt svårare att få gehör för en invändning som börjar med ”vänta nu, det här verkar inte rimligt”.

Det brukar beskrivas som data mot magkänsla. Men det kan vara minst lika svårt att bedöma om en siffra håller som att avgöra om en erfaren kollega har rätt. Bakom siffran finns också val, antaganden och tolkningar. De försvinner inte för att resultatet räknats fram av en dator.

Om vi fortsätter att ta sådana resultat för sanning kommer de att bestämma allt mer av vad vi gör. Det som är viktigt men svårt att mäta måste vi stå och försvara varje gång, medan siffran bara behöver visas i en snygg dashboard.

Fortsätter det så här lägger vi allt mer kraft på att uppfylla systemens krav och allt mindre på att fundera över om det är så vi vill ha det.

Därför måste den som säger ”det här känns fel” få störa mötet, även när resultaten ser bra ut. Ibland visar det sig att måttet är fel och vissa gånger är måttet rätt men borde aldrig ha fått styra våra beslut.

Pilen är grön.
KPI:n säger 26 till 42. 

Jag behöver förstå vad det faktiskt betyder innan jag fattar ett beslut.
Ofta innebär det att vi måste prata med människor och kanske samla kvalitativ data istället.
Och jag kommer definitivt att lyssna på mina kollegor när deras magkänsla säger att något inte stämmer.