Trigger-based emails Growth Hacking voor Seedspost verhoogt conversie met 120%

Elke A/B test die wordt uitgevoerd voor Retail Rocket klanten is uniek: andere hypotheses, test omstandigheden en industrie. Hoe ongebruikelijker de industrie, hoe interessanter het wordt om een test uit te voeren. We zijn inmiddels al enige tijd gewend aan het online bestellen van kleding en huishoudelijke apparaten, maar hoe zit het met zo iets als zaden? In het artikel van vandaag bekijken we de testresultaten van trigger-based e-mails van Seedpost, een online shop voor huis en tuin producten.

Hoe creëer je een e-mail template welke optimaal is in gebruiksgemak voor iedere bezoeker? Welke effect heeft de plaatsing van de banner op de conversie? Is het interessant om emoticons te gebruiken in de onderwerpregel van de e-mail? Deze vragen hebben onze Growth Hackers beantwoord op basis van uit A/B  tests verkregen statistieken. Alle subscribers zijn willekeurig verdeeld in twee segmenten. Segment A ontvangt de originele versie van de e-mail en segment B ontvangt een alternatieve e-mail met een bepaalde hypothese, om het effect van e-mail te verbeteren.

Case 1. Update van het product blok – focus op CTA

Het product blok is een belangrijk element van een e-mail. Het is daarom van belang dat het duidelijk is en de juiste informatie bevat om een gebruiker tot aankoop aan te zetten. Een transparante call to action is hierin key. In deze case is het effect van het wijzigen van de layout van product blokken in e-mails getest.

Voor deze test zijn de meest populaire scenario’s van trigger e-mails geselecteerd: “abandoned cart” en “abandoned browse”. E-mails van het eerste scenario worden verstuurd naar gebruikers die een product aan de winkelwagen hebben toegevoegd, maar de aankoop om wat voor reden dan ook niet hebben voltooid. De e-mails van het tweede scenario worden verstuurd naar gebruikers die tijdens het bezoeken van de webshop producten bekeken, maar niets aan de winkelwagen toegevoegden of een aankoop voltooiden.

Hypothese:

Een wijziging van de grootte van de onderdelen in een product blok en het veranderen van het CTA-element, van een simpele omschrijving naar een button, zal het aantal transities naar de site verhogen vanwege het focussen van de gebruikers’ aandacht op een product.

Segment A (de originele versie van het product blok)	Segment B (alternatief design van het product blok)

Resultaat:

Meer dan 13.000 personen hebben deelgenomen aan de A/B test en de volgende data is verkregen:

“Abandoned cart” Scenario

	Click-To-Open Rate (%)	Click-Through Rate (%)
Segment A	41	21.3
Segment B	72.1	35.1
Δ	+ 75.9%	+ 64.8%

Statistische significantie: 99.9% voor zowel CTOR als CTR.

“Abandoned Browse” Scenario

	Click-Through Rate (%)
Segment A	21.8
Segment B	24.7
Δ	+ 13.3%

Statistische significantie: 96.3%.

Volgens de resultaten van de A/B test is de CTR van de “abandoned cart” e-mail met 64,8% gestegen en “abandoned browse” 13,3%.

Case 2. Het aantal clickable items verhogen

UX-design in een e-mail interface is een complexe aanpak om user interaction te creëren. Als de template te gedetailleerd is of niet genoeg focust op bruikbare informatie, zal dit naar alle waarschijnlijkheid een negatief effect hebben op de conversie. Daarom is het noodzakelijk het effect van verschillende designs constant te vergelijken.

De hypothese van deze A/B test gericht op template design, is niet alleen getest op “abandoned cart” en “abandoned browse” scenario’s. De hypothese werd ook getest op Retail Rocket’s predictive scenario: “Next Best Offer”.

Hypothese:

Een toename van het aantal clickable elementen zal een groei in CTOR en CTR veroorzaken. De vernieuwde interface maakt het de gebruiker mogelijk de producten naar interesse sneller te vinden. Het toevoegen van tekst met speciale kortingen en acties zal de gebruikers die geen interesse hadden in de producten uit het recommendation block, verleiden naar de webshop.

Segment A (template van “abandoned view” scenario zonder wijzigingen)	Segment B (een alternatief template voor het “abandoned view” scenario)

Resultaat:

Tijdens de testperiode zijn de volgende resultaten verzameld:

“Abandoned cart” Scenario

	Click-To-Open Rate (%)	Click-Through Rate (%)
Segment A	60.9	30.7
Segment B	74.2	38.9
Δ	+ 21.8%	+ 26.7%

Statistische significantie: 99.9% voor CTOR en 97.5% voor CTR.

“Abandoned browse” Scenario

	Click-To-Open Rate (%)	Click-Through Rate (%)	Conversion Rate (%)
Segment A	56.4	28.6	5.5
Segment B	67.3	32.7	12.1
Δ	+ 19.3%	+ 14.3%	+ 120%

Statistische significantie: 99.9% voor CTOR, 95.2% voor CTR en 99.1% voor CR.

“Next Best Offer” Scenario (een suggestie voor de volgende aankoop, op basis van interesse)

	Click-To-Open Rate (%)	Click-Through Rate (%)
Segment A	40.1	18.7
Segment B	64.5	45.5
Δ	+ 60.8%	+ 143%

Statistische significantie: 99.9% voor zowel CTOR als CTR.

Uit de test blijkt dat de alternatieve versie van de e-mail resulteerde in een groei van zowel de CTOR als de CTR, met respectievelijk 21,8% en 26,7%, voor het “abandoned cart” scenario. Het alternatieve template voor “abandoned view” leidde tot een groei van CTOR, CTR en conversie met 19,3%, 14,3% en 120%. Tot slot resulteerde deze aanpak tot een groei van CTOR en CTR van 60,8% en 143% voor het scenario “next best offer”.

Case 3. De invloed van een banner-positie in een e-mail op KPI’s.

Niet alle gebruikers die een mail openen, zullen daadwerkelijk de hele mail bekijken. Daarom hebben we besloten te testen naar het effect van de positie van de blokken in de mail op de aankoopbeslissing. Om dit te kunnen bewerkstelligen is er een alternatieve banner layout getest met het scenario “abandoned cart”.

Hypothese:

Aan de ene kant verlaagd het plaatsen van de banner in de footer van een mail de kans dat gebruikers deze zien, omdat de producten in de winkelwagen een grotere interesse voor hen vormen. Aan de andere kant kannibaliseert het de clicks op de productaanbevelingen.

Het verplaatsen van de banner naar de header van de e-mail, boven het product recommendations blok, zal de gebruikers’ aandacht op de producten verhogen en vergroot daarmee de kans op conversie.

Segment A (e-mail template zonder wijzigingen)	Segment B (een alternatief e-mail template)

Resultaat:

	Click-To-Open Rate (%)	Click-Through Rate (%)	Conversion Rate (%)
Segment A	71.4	37.7	15.4
Segment B	80.4	40.3	18.1
Δ	+ 12.6%	+ 6.9%	+ 17.5%

De test wijst uit dat het verplaatsen van de banner van de footer naar de header een stijging opleverde voor alle indicatoren. CTOR met 12,56%, CTR met 6,9% en CR met 17,5%.

Statistische significantie: 99,9%, 97,7% en 95%.

Case 4. The introductie van het element “LEFT IN STOCK” in het product blok – speelt in op schaarste en creëert urgentie.

Gebruikers zijn regelmatig niet overtuigd een aankoop te doen en moet enigszins “gepusht” worden naar het doel. De “product browse” e-mails worden verstuurd naar gebruikers die een specifiek product bekeken gedurende hun bezoek aan de website, maar geen actie tot conversie ondernomen hebben. Als een soort incentive om de aankoop af te ronden, is het element “Left in stock” getest. Hierin werd het resterende aantal producten op voorraad getoond in de mail.

Hypothese:

Het item “Left in stock” toevoegen aan het product blok, verhoogd de kans op directe aankoop door de gebruiker, omdat er een gevoel van schaarste en urgentie wordt gecreëerd door het tonen van het aantal beschikbare producten.

Segment A (originele versie van het product blok)	Segment B (alternatieve variant van het product blok met een “Left in stock” element)

Resultaat:

Meer dan 13.000 personen hebben deelgenomen aan de A/B test en de volgende data is verkregen:

	Conversion Rate (%)
Segment A	4.41
Segment B	5.9
Δ	+ 33.8%

Door het combineren van het aantonen van een een mogelijk tekort aan producten aan de ene kant, en een social test in de vorm van populariteit aan de andere kant, is een conversie stijging van 33,8% gerealiseerd.

Statistische significantie: 96,1%

Case 5. Gebruik van emoticons in de onderwerpregel.

In “abandoned category browse” trigger e-mails worden populaire producten verstuurd naar gebruikers uit categorieën waar de gebruiker interesse in toonde (zelfs voor het openen van een specifiek product of een aankoop). In deze case heeft de bezoeker nog geen duidelijke aankoopintentie afgegeven. De belangrijkste taak van de webshop in dit stadium is het motiveren van de gebruiker met minimale elementen zoals bijvoorbeeld emoticons.

Hypothese:

Het gebruik van emoticons in e-mail zal het level van vertrouwen verbeteren. Onze A/B test zal bevestigen dat deze aanpak werkt. Wanneer het symbool bij het logo of het assortiment van de winkel past, creëert dat een soort informele setting die de aandacht van de gebruiker trekt. Voor Seedspost is een emoticon met zaden de perfecte match.

Segment A (original subject of the email):

“This is what you were interested in!”

Segment B (subject line with the addition of emoji characters):

” This is what you were interested in!”

Results:

	Click-Through Rate (%)
Segment A	18.5
Segment B	20.4
Δ	+ 10.2%

Het is te verwachten dat iedere verandering in de onderwerpregel effect heeft op het aantal geopende e-mails, maar in dit geval zagen we een stijging van +10,2% in het aantal unieke clicks.

Statistical significance: 95%

De reden hiervoor is dat het emotionele karakter van producten net zo belangrijk is voor een consument, als het rationele karakter. Mensen zijn gewend aan het gebruik van symbolen in informele communicatie en zullen het gebruik ervan in zakelijke communicatie als “vriendelijk” ervaren, wat de groei in CTR verklaard.

Seedspost’s commentaar:

Blijheid, opluchting, verrassing en vooral opwinding zijn de verschillende emoties die ik heb ervaren tijdens het uitvoeren van de eerste A/B test. Een simpele wijziging in puur tekst “Have a look” naar het toevoegen van een CTA-element met een heldere “Have a look” button verhoogde de CTR van “abandoned cart” trigger e-mails met 64,8% en “abandoned view” met 13,3%. Na zo’n test begrijp je het effect dat een kleine nuancering of aanpassing kan hebben, wanneer het door professionals wordt gedaan. Alle tests die we in samenwerking met Retail Rocket hebben uitgevoerd, leverden een kwalitatieve groei in performance.

Tot op de dag van vandaag zijn trigger e-mails een zeer krachtig sales channel, maar ze veroorzaken verschillende emoties bij de gebruiker aangezien zij niet alleen van ons e-mails ontvangen maar van compleet verschillende bedrijven, waardoor het moeilijk wordt het effect van een specifieke mail te meten. Daarom vind ik het belangrijk het experiment voort te zetten. Zeker omdat we ons in zo’n levendige markt bevinden en alles continu verandert. Never stop testing!

Veniamin Dmitriev, Seedspost store manager