Proxy-metriek in e-commerce. Deel 3

Het derde en laatste deel is meer toegepast. Hierin bespreken we hoe we statistieken kunnen selecteren die vanuit zakelijk oogpunt zinvol zijn en hoe we deze kunnen gebruiken om beslissingen te nemen die de LTV van gebruikers verhogen en daarmee de inkomsten van een webwinkel op de lange termijn.

De resulterende proxy statistieken vanuit zakelijk perspectief interpreteren

Onthoud dat we in deel 2 de volgende proxy statistieken hebben geselecteerd:

• Aantal bestellingen;
• Bezoeker heeft e-mail verlaten;
• Type browser;
• Type apparaat;
• Duur van het laatste bezoek aan de site;
• Aantal verschillende producten bekeken;
• Duur van de interactie van de gebruiker met de site in dagen (verschil in dagen tussen het eerste en laatste bezoek);
• Aantal zoekopdrachten in de zoekmachine van de site;
• Het aantal producten dat aan het winkelwagentje is toegevoegd.
  

We hoeven de aanwezigheid van ordergerelateerde attributen in onze lijst niet uit te leggen – hun invloed op LTV is duidelijk: volgens de RFM-analyse geldt dat hoe meer bestellingen een gebruiker heeft gedaan, hoe loyaler hij is aan het bedrijf en hoe waarschijnlijker het is dat hij in de toekomst bij u zal blijven kopen.

Laten we nu proberen uit te leggen hoe de andere kenmerken LTV kunnen voorspellen:

De bezoeker heeft een e-mail achtergelaten. Het feit dat een klant zijn contactgegevens heeft doorgegeven is een duidelijk teken van loyaliteit aan de winkel. In sommige winkels kun je geen bestelling plaatsen zonder een e-mail achter te laten, en je zou kunnen aannemen dat het achterlaten van een e-mail gewoon een gevolg is van de bestelling. Maar we hebben getest en ontdekt dat het achterlaten van een e-mail zonder een bestelling te plaatsen een positieve invloed kan hebben op toekomstige LTV. Dit komt waarschijnlijk doordat de winkel met de e-mail van de gebruiker kan communiceren, wat verdere aankopen stimuleert. In dit geval hangt echter veel af van de effectiviteit van mailings.

Type browser. Deze metriek kan LTV beïnvloeden, en voor elke winkel zal het anders zijn: Safari-gebruikers zullen eerder een aankoop doen in de ene winkel, terwijl Firefox-gebruikers eerder een aankoop zullen doen in een andere winkel. Het kan afhangen van de categorie van goederen in de winkel. Als een winkel bijvoorbeeld een groot assortiment Apple-producten heeft, zullen Safari-gebruikers waarschijnlijk loyaler zijn. Een andere reden is dat de site er anders uitziet en anders functioneert afhankelijk van de browser.

Type apparaat. In wezen zijn er hier maar twee opties: computer en smartphone. We zien in veel winkels dat klanten die een computer gebruiken eerder geneigd zijn om in de toekomst iets te kopen. Dit kan te maken hebben met het feit dat het handiger is om vanaf die computer te bestellen en de site in het algemeen te gebruiken dan vanaf een mobiel apparaat.

De tijd sinds het laatste bezoek aan de site. Deze metriek is direct gerelateerd aan de loyaliteit van gebruikers. Als een persoon de site bijvoorbeeld langer dan twee maanden niet heeft bezocht, is het mogelijk dat hij de site al is vergeten of dat hij geen product heeft gevonden dat hem interesseert, waardoor het onwaarschijnlijk is dat hij in de toekomst zal terugkeren.

Het aantal verschillende producten dat is bekeken. Hoe meer de gebruiker verschillende producten heeft bekeken, hoe groter de effectieve omvang van de catalogus en hoe beter de persoon bekend is met de winkel en hoe groter de kans dat hij zich de winkel zal herinneren wanneer hij iets wil kopen.

Duur van de interactie van de gebruiker met de site in dagen. Als een persoon de site gedurende lange tijd op verschillende dagen bezoekt, geeft dit aan dat de online winkel interessant is voor de gebruiker en dat hij weet dat hij er de goederen kan vinden die hij nodig heeft.

Het aantal verzoeken aan de zoekmachine van de site. Regelmatige interactie van de gebruiker met de zoekmachine van de webwinkel geeft aan dat deze werkt en de gebruiker goed helpt bij het oplossen van zijn taken.

Het aantal producten dat aan het winkelwagentje is toegevoegd. Dit kenmerk kan correleren met ordergerelateerde kenmerken, omdat sommige winkelmandjes worden omgezet in bestellingen. Maar de dekking kan vele malen groter zijn als de winkel veel “verlaten mandjes” heeft, d.w.z. onvolledige bestellingen. Vervolgens zullen we laten zien waarom het toevoegen van een artikel aan de winkelwagen, zelfs zonder een daaropvolgende bestelling, een positieve gebeurtenis is voor de winkel.

Laten we de tussentijdse conclusie samenvatten: al deze tekenen zeggen in meer of mindere mate iets over de activiteit van de gebruiker op de site en zijn loyaliteit aan de webwinkel. Op basis daarvan kun je een model bouwen dat in de toekomst eenvoudig te interpreteren en te gebruiken is.
LTV-voorspellingsmodel door proxymetriek en vorming van algemeen evaluatiecriterium (OEC)
We hebben een logistisch regressiemodel gebouwd. Om de kracht van elk kenmerk bij het voorspellen van LTV uit de coëfficiënten van het model te kwantificeren, hebben we ze allemaal genormaliseerd en op een gemeenschappelijke schaal gebracht.
Om de waarschijnlijkheid van een aankoop in de toekomst te achterhalen, moeten we een lineaire combinatie van kenmerken nemen en daar een sigmoïdale functie op toepassen. Deze lineaire combinatie kan worden gebruikt om een OEC te maken (een term die we introduceerden in het eerste deel van het onderzoek. Het is in wezen wat de winkel moet optimaliseren om zijn langetermijndoelen te bereiken).

Je kunt het OEC-model direct gebruiken. Voer bijvoorbeeld een experiment uit, meet het verschil in prestatie tussen twee segmenten, substitueer deze verschillen in een lineaire combinatie en kijk in welke richting de OEC verandert.
Je kunt het ook vereenvoudigen – kijk naar veranderingen in individuele proxy-metrics, selecteer sterke veranderingen, controleer of de overige proxy-metrics onveranderd blijven en wacht op een overeenkomstige verandering in LTV. Bijvoorbeeld, vaak verandert in tests het gemiddelde “aantal bestellingen” per gebruiker niet veel omdat het aandeel kopers meestal klein is, maar tegelijkertijd worden het gemiddelde “aantal producten toegevoegd aan winkelwagentje” of het gemiddelde “aantal verschillende producten bekeken” per gebruiker gedefinieerd voor een groot deel van de gebruikers en deze zullen sterker veranderen.
Kwaliteit van modelprestaties
We hebben lineaire modellen gebouwd voor alle 27 winkels. Ze voorspellen vrij nauwkeurig het aankoopgedrag in de komende 6 maanden. De kwaliteit voor verschillende winkels varieert van 0,8 AUC tot 0,93 AUC.
Het model verdeelt gebruikers goed op basis van de waarschijnlijkheid van toekomstige aankoop. Het kan worden gebruikt om segmenten te onderscheiden met een zeer hoge waarschijnlijkheid van aankoop (>80%) en bijna nul (<1%).

Prestaties van het model voor verschillende gebruikerssegmenten

Het model bevat kenmerken die nuttige waarden hebben voor het voorspellen van LTV voor bijna alle gebruikers, niet alleen voor degenen die een bestelling hebben gedaan. Laten we eens kijken hoe het in staat is om bezoekers te scheiden op basis van toekomstige LTV in drie segmenten:

De bezoeker heeft geen artikelen aan het winkelwagentje toegevoegd en heeft geen bestelling gedaan;

De bezoeker had artikelen toegevoegd aan het winkelwagentje, maar geen bestellingen gedaan;

De bezoeker had bestellingen gedaan.

In de onderstaande grafiek hebben we elk gebruikerssegment ingedeeld in groepen op basis van de waarschijnlijkheid van een aankoop volgens het model. Elke groep toont het aantal en percentage gebruikers die in de komende zes maanden een aankoop hebben gedaan.

Het model is in staat om onderscheid te maken tussen gebruikers die meer geneigd zijn om te kopen (zelfs als dit pas na een lange periode gebeurt) en gebruikers die niets hebben gekocht of aan hun winkelwagen hebben toegevoegd. Dat wil zeggen, elke activiteit van een gebruiker op de site geeft zijn potentiële waarde voor de winkel aan. We kunnen dus concluderen dat door de gebruikersactiviteit op de site te verhogen, de winkel een verhoging van de uiteindelijke inkomsten op de lange termijn kan verwachten.

Conclusies

We hebben uitgebreid onderzoek gedaan en proxy metrics gevonden die gebruikt kunnen worden om de toekomstige waarde van een online winkelgebruiker te voorspellen. Ze zijn ook nuttig voor het beoordelen van de waarde van veranderingen aan een webwinkel.

Proxy metrics karakteriseren de diverse activiteiten van een gebruiker op een website. Bijvoorbeeld, “het aantal verschillende producten dat is bekeken” spreekt over betrokkenheid van de gebruiker, “de duur van de interactie van de gebruiker met de site in dagen” en “de leeftijd van het laatste bezoek aan de site” – over terugkeren naar de site, “de bezoeker heeft een e-mail achtergelaten” en “het aantal zoekopdrachten in de zoekmachine van de site” – over het gebruik van de functionaliteit van de site, “het aantal producten dat aan het winkelwagentje is toegevoegd” en “het aantal bestellingen” – over het oplossen van hun huidige taken (zoeken naar het juiste product).

De proxy metrics die we vonden komen overeen met de aanbeveling uit het overzichtsartikel om te focussen op HEART: Happiness – tevredenheid, Engagement – betrokkenheid, Adoption – gebruik van sitefunctionaliteit, Retention – retourpercentage en Task success – probleemoplossing.
We hebben ook laten zien dat er naast de ordergerelateerde metrics – “gemiddelde check”, “conversie naar klant”, “omzet per bezoeker” – die de meeste online winkels monitoren en optimaliseren, meer nuttige metrics zijn. Het grote pluspunt van de door ons voorgestelde statistieken is dat ze veel gevoeliger zijn voor veranderingen dan de algemeen gebruikte kenmerken over bestellingen, omdat ze nuttige waarden hebben voor het voorspellen van LTV voor de meeste winkelgebruikers.

Met behulp van proxy metrieken is het mogelijk om OEC te genereren. In dit artikel stellen we voor om dit te doen met behulp van logistische regressie, rekening houdend met de expertise in een bepaald bedrijf bij het construeren van de OEC-formule.
Om goede proxy-metrics te vinden, kan een online retailer hetzelfde onderzoek uitvoeren of de proxy-metrics gebruiken die wij hebben gevonden. Hun relevantie is getest op 27 winkels van verschillende typen, dus ze zijn waarschijnlijk ook nuttig voor veel andere online winkels.