Prenumerera på Transformationspodden på Spotify och andra ställen där poddar finns.

Är det du eller din dashboard som styr?

I avsnitt 152 av Transformationspodden diskuterar Tobias Eklund och Leif Rehnström vad som händer när dashboards, KPI och AI-genererade analyser får styra våra beslut. En tydlig graf kan ge ett snabbt svar. Den berättar däremot sällan hur många människor som finns bakom siffran, vad som har filtrerats bort eller om mätningen fångar det vi egentligen vill förstå.

Samtalet handlar om varför mänsklig kunskap och intuition behövs även i en datadriven organisation. Den gröna pilen kan vara rätt och ändå leda oss fel.

När siffran ser säkrare ut än den är

En dashboard visar att ett värde har gått från 26 till 42. Pilen är grön och alla i mötet nickar. Men vad betyder förändringen?

Underlaget kan bestå av för få användare för att dra en slutsats. En grupp kan ha filtrerats bort. En ovanlig dag kan påverka hela kurvan. Det kan också saknas data eftersom en integration låg nere under perioden.

Inget av detta syns i den gröna pilen. Därför kan en dashboard skapa större säkerhet än underlaget ger stöd för. Daniel Kahneman beskrev problemet med uttrycket ”what you see is all there is”. Vi bedömer det vi ser som om det vore hela bilden.

När måttet blir målet

Alla problem beror inte på dåliga data. Siffrorna kan vara korrekta och ändå få organisationen att fatta fel beslut.

Retention, konvertering och kundvärde hjälper oss att förstå en verksamhet. Problemet börjar när teamet skyddar måttet i stället för att försöka nå det mål som måttet skulle hjälpa oss att följa.

I avsnittet diskuteras team som tvekar inför en kampanj eftersom nya användare kan försämra deras retention. Då har mätetalet tagit över beslutet. Goodharts lag beskriver samma risk: När ett mått blir ett mål slutar det ofta att vara ett bra mått.

Ett närliggande begrepp är surrogation. Det betyder att måttet ersätter det som skulle mätas. Organisationen börjar arbeta för siffran i rapporten i stället för resultatet i verkligheten.

AI gör det billigt att se säker ut

Med AI går det snabbt att skapa en dashboard som ser genomarbetad ut. Grafer, färger och rekommendationer kan vara klara på några minuter. Arbetet med att förstå datan finns fortfarande kvar.

Någon behöver kontrollera hur informationen samlades in och vilka antaganden som ligger bakom analysen. Någon måste också avgöra om frågan går att besvara med siffror.

När fler analyser kan produceras på kortare tid får organisationen mer att granska. Samtidigt ser materialet ut som om granskningen redan är gjord.

Människan ser det som dashboarden missar

En streamingtjänst kan mäta om någon spelar klart en låt eller sparar den. Den kan inte mäta att låten får ett helt kök att börja dansa. Siffrorna visar en del av vad som hände. Samtal med människor kan förklara varför.

Erfarenhet och intuition bygger också på information. En kollega kan reagera på något som inte syns i rapporten eftersom personen har mött kunderna, arbetat nära verksamheten eller sett samma mönster förut.

Därför behöver den som säger ”det här känns fel” få stanna upp mötet. Invändningen kan visa att underlaget är svagt. Den kan också visa att organisationen mäter rätt sak men låter den styra ett beslut som kräver mänskligt omdöme.

Frågor att ställa när dashboarden ger ett tydligt svar

• Hur många observationer bygger resultatet på?

• Vad har filtrerats bort eller saknas?

• Visar måttet det vi egentligen vill uppnå?

• Vilken kunskap finns hos kunder och medarbetare?

• Vad säger erfarenheten hos dem som arbetar nära frågan?

• Skulle vi fatta samma beslut om pilen inte fanns?

Data kan hjälpa oss att fatta bättre beslut. Det kräver att vi förstår vad siffrorna betyder och fortsätter lyssna när mänsklig kunskap säger emot.