A/B-test av kassan klar – Här är resultatet

För två veckor sedan påbörjade vi ett A/B-test av kassan på Barahandtag för att se om vi kunde förbättra konverteringen som hade gått ner lite sedan vi bytte plattform i september. Jag tänkte som vanligt dela med mig av resultatet, men först en uppdatering om vad vi gjorde för ändringar i kassan.

Den ena kassan ser ni på bilden till vänster. Där var alla menyer med och Trustpilot och dom andra “nöjda-kunder-skyltarna” satt till höger utanför själva kassan och min teori var att plocka bort så många eventuellt störande moment som möjligt för att göra kundresan så lätt och behaglig som möjligt. Under tiden som testet pågått så har Klarna passat på att ändra utseende på Klarna Checkout men det gjordes för bägge kassorna så påverkan på skillnaden mellan de olika kassorna bör ha utgått. Tyvärr gjorde det samtidigt att jag inte kunde mäta eventuella skillnader i konverteringen mellan Klarnas gamla utseende på KCO och det nya, vilket hade vart intressant. Om någon annan mätt dessa skillnader så är jag mycket tacksam för att ta del av detta.

Sedan testet påbörjades har det passerat cirka 100 order i systemet vilket gör att jag känner mig nöjd med resultatet. Finns säkert massa statistiknissar som vill att jag inte skall ta något beslut förrän det gått genom 1000 eller 8000 order men serru det bryr jag mig inte om.

Den andra kassan vi testade hade vi plockat bort produktmenyn till vänster och samtidigt flyttat in Trustpilot och de andra “nöjda-kunder-skyltarna” till en plats mer direkt i kassan, närmare köpknappen och gjort hela sidan mer integrerad. Ni ser enkelt skillnaderna om ni tittar på de två bilderna.

Det är inga stora förändringar egentligen, tanken är som sagt att distrahera kunderna så lite som möjligt med menyer och få trygghetsknarkarna att känna sig lugnare genom att mer integrera kommentarer från våra kunder mer med kassan.

Under tiden som A/B-testet har pågått så har vi också använt oss av Ghostrec för att dels generera värmekartor men även spela in hur folk tittar och klickar i butiken och specifikt i kassan under perioden. Och man ser ganska tydligt med musrörelserna att när vi flyttade in “nöjda-kunder-skyltarna” så läser folk dessa mer, riktigt intressant.

Vinnaren då? Jo, den kassan där vi städade bort menyerna och integrerade kassan mer till en enhet konverterar bättre, mindre skillnader än vad jag trodde att det skulle bli men ändock en skillnad. Mätningen har endast vart för de som använder Klarna Checkout för att checka ut då det är den absoluta majoriteten för oss (97%).

Vinnarkassan konverterade 62,07% under testet vilket är en riktigt bra siffra för butiken, tvåan konverterade 53,75% under testet, en ökning på 15,47% vilket jag tycker är helt okej. Konverteringsoptimering är med andra ord en viktig sak att jobba med där man med enkla medel kan nå riktigt bra resultat.