Vad händer sedan? 3 steg för att prioritera din backlog för experimentering

Förutom att hjälpa till att organisera en mängd idéer till konkreta handlingsplaner så gör prioritering hela verksamheten smartare genom att tvinga testteam att tänka noga på de faktorer som gör experimenten framgångsrika.

Här är de tre stegen för hur det går till:

Steg 1: Bygg ett bibliotek av hypoteser

Innan experiment kan prioriteras för genomförande måste det finnas en hypotes. Hypoteser är de antaganden som görs om effekter innan experiment genomförs. Förslag från anställda och kunder, idekläckning och denna lista är bra utgångspunkter för att skapa relevanta hypoteser.

Förslagen och idéerna ska helst samlas på ett ställe för att förenkla prioritering. Kalla det ett bibliotek eller en backlog – oavsett vilket så är detta platsen där experimenten utvecklas och förädlas.

Verktyg som mina kunder har använt för backloghantering är bland annat:

• Trello
• Fördelar: Enkelt, lättillgängligt och visuellt sätt att administrera tester i olika utvecklingsfaser.
• Nackdelar: Från det jag sett så är lösningen inte så stabil för helhetlig programadministration, där många enskilda tester ska sammanställas i större planer.
• JIRA
• Fördelar: Robust, konfigurerbart system som direkt ansluter till utvecklingsteamet. Bra för att köa nya idéer och har viss rapportering och visualisering.
• Nackdelar: Inte direkt användarvänligt. Kan ge friktion med icke-utvecklare samtidigt som prioritering kan bli svårare när många hänsyn ska tas om kön för utveckling, experimentering och annat blandas.
• Asana
• Fördelar: Bra för projektuppgifter och detaljerade listor över åtgärder, social interaktion och kommunikation.
• Nackdelar: Kanske bäst som organiseringsverktyg av sociala enheter ovanpå underliggande verktyg för milstolpar (liknande Basecamp och Trello), inte tillräckligt sofistikerat för att hantera formler, integrationer och visuella planer för framsteg och resurser.
• Dokument (Google Docs, Word osv.)
• Fördelar: Superenkelt, flexibelt. Enkelt att skapa och ändra.
• Nackdelar: Ingen dynamisk funktionalitet, inte särskilt bra för uppgiftshantering, kanske bäst för personlig planering och översikt.
• Kalkylblad (Google Sheet, Excel)
• Fördelar: Extremt flexibelt, dynamisk funktionalitet, grafer och visualisering inbyggt; standard på många företag.
• Nackdelar: Kan behöva mer tankar och ansträngningar för att få till en bra struktur för uppsättning och överblick samt kommer att behöva underhåll och kontroll för delning då desktopversioner gör delning mer komplicerad.
• Basecamp
• Fördelar: Enkelt, socialt. Tavlor ger bra översikt även med många lappar upphängda. Älskar att det är enkelt att använda.
• Nackdelar: Precis som Trello så är Basecamp bra för individuella tester, men saknar djupet i funktionalitet och beräkningar för mer avancerade utvecklingsprogram.
• … och säkert många andra bra projektsystem. Använd något som fungerar för er!

När backlog nu har fyllts på med bra idéer så är nästa fråga: Hur prioriterar man vilka experiment som ska genomföras och vilka som måste vänta? Här behöver vi kriterier för att välja.

Steg 2: Fastställa prioriteringskriterier

Detta är kärnan i prioriteringsprocesser. Här sätts kursen baserat på de faktorer vi anser vara viktigast för vårt syfte och resan vi är på.

Grundläggande prioriteringsteori säger att kriteriernas betydelse bör speglas i det antagna värdet, eller som det heter på engelska: Return on Investment (ROI).

ROI är i grunden förhållandet mellan kostnaden för att göra något (investeringen) mot antagandena om intäkter/konverteringar/leads/nedladdningar/visningar/delningar (värdena) av insatsen.

ROI för tester kan beräknas med hjälp av följande frågor:

1. Beräkna insatsen (kostnaden) för att testa. När teamet har introducerats för och utbildats i grundläggande användning samt hur tester implementeras, kan det göras relativt enkla inställningar för de insatser som krävs för varje test. Detta kan sedan tas med i beräkningen:
• Antal timmar för att formge och utveckla testerna. Olika teammedlemmar har olika uppgifter och uppskattningar av den tid som krävs.
• Antalet tester som produktionsteamet kan (bör) hantera. På en vanlig vardag, hur kan tester formges så att vi kan köra så många som möjligt? Högre antal tester ger normalt högre framgång.
• Balans mellan ett brett urval av enklare tester och tester med större komplexitet som kanske har en mer fundamental effekt på upplevelsen. Båda är viktiga. En optimal blandning är ofta en medelväg med några fler enklare tester och lite färre komplicerade tester.
2. Beräkna effekterna (värdet) som hypoteserna i testerna ska försöka verifiera. Detta är normalt mycket svårare att klargöra, i synnerhet eftersom tester ofta försöker hitta insikter om okända effekter. Här är några kriterier som kan påverka:
• Är testet baserat på ett välkänt U/X-koncept för optimering såsom att ta bort en distraktion i en utcheckningsprocess? Det är bra och värdefullt samtidigt som det ofta finns kända erfarenhetssiffror att stödja sig på för vanliga tester.
• Är syftet med testet baserat på en KPI? Välj att prioritera tester som är utformade för direkta effekter, som kan visas i slutresultatet.
• Går testet in i ett kritiskt arbetsflöde? Omfattande optimering av användarupplevelsen ser på många aspekter av kundernas beteende, men alla funktioner, sidor och vyer är inte lika värdefulla. Konverteringar på startsidor och i de viktigaste processerna ger naturligtvis högst effekt.
• Kundberättelse från e-handelsföretag som ökade omsättningen per besökare ("RPV") med 38 % genom att testa utcheckningsstegen (kassan).
• Ska experimentet testa strategi för budskap? Tester med texter och meddelanden har ett högt värde, då verifierade bra texter kan ha stor betydelse för försäljning och marknadsföring även utanför digitala lösningar.
• Ändrar experimentet mer än ett element på en sida? Eller är den fokuserad på ett enskilt element, till exempel en rubrik eller en knapp? Mindre förändringar på mindre element har naturligtvis lägre effekt och behöver mer trafik. Sådana tester ska naturligtvis också göras, men måste viktas rätt i förhållande till betydelse.
• Hur dramatiska är förändringarna i variationerna jämfört med originalet? Om det ska testas färg på knappar mot en kontroll som är blå, ska vi testa flera nyanser av blått eller alternativa neonfärger? Graden av skillnader speglar ofta den mätbara effekten.

Ha i åtanke att det kommer alltid att finnas element i ett test som inte går att veta med säkerhet – det är trots allt därför vi experimenterar! Många insikter kommer inte att bli uppenbara förrän teamet kommer igång med experimentering och företaget börjar bygga gemensamma erfarenheter och erfarenhetssiffror tvärs över tester (för övrigt ett bra argument för en gemensam lösning för att samla tester och resultat!) Välj en startpunkt och sök förbättringar i den egna interna processen med varje resultat och iteration.

Om du eller ditt team är ovana vid testning så rekommenderar jag att ni prioriterar experiment med låga insatser i stället för experiment med högt värde. Enklare experiment – som att byta en bild eller ändra en ”call to action” (CTA) – förenklar introduktion och lärande av processerna för att bättre utvärdera effekter och värden av tester i ett senare skede.

Avslutningsvis lär det alltid finnas andra överväganden, bland annat:

• Deadlines. Vissa tester ska stödja mediakampanjer, web redesign-projekt eller andra viktiga initiativ. Var medveten om andras ökade behov och experimentens roll i att stödja det större företagets tjänster och applikationer.
• Det chefen säger att du ska göra. Chefer ska som utgångspunkt vara bärare av företagets överordnade strategi. Om din chef säger att du måste prioritera nättester och du redan hade tänkt göra det, så kommer du ändå att tänka att det är en bra idé att få det gjort och knuffa fram det lite i kön. (Med det sagt, när du väl har utvecklat och kommunicerat ett schema för prioriteringar så är det enklare att skapa förståelse hos ledningen för prioriteringen av allas behov – med ditt smarta arbetssätt väl synligt för alla!)

Steg 3: Planera, bekräfta och sätt igång

När du har rankat alla dina tester efter bästa antaganden av ROI så är allt som återstår att lägga in det i planerna, bygga och leverera. Du måste bygga grunden, dokumentera och planera utvärderingen av resultaten för varje experiment samt avsätta tid för att förmedla kunskap och insikt. Detta behöver ofta GANTT-projektöversikter eller andra bra verktyg för att omsätta prioriteringarna i begripliga planer, som kan följas av deltagare och intressenter.

Se till att du är trogen de kriterier du har satt upp i förväg. Hänvisa till den ursprungliga logiken när du analyserar och rapporterar resultat. Genom att bygga in ett stabilt ramverk för prioritering i din experimentstrategi får du också lära dig mer om de faktiska värdena för de tester som körs. Du blir smartare med varje iteration och bättre på att säga "nej" till de tester som inte är värda insatsen.