Mi az az A/B tesztelés: magyarázat és valós példák

Tudj meg mindent az A/B tesztekről, konverziókutatásról, ötletprioritásról, tesztelemzésről és az archívumkezelésről a Google, a HubSpot és a Shopify szakértőitől.

Akár tapasztalt vállalkozó vagy, akár most kezded, valószínűleg már számtalan cikket láttál az A/B tesztelésről. Sőt, az is lehet, hogy már teszteled is az e-mail tárgysoraidat vagy közösségimédia-bejegyzéseidet.

Annak ellenére, hogy sokat írtak már a marketinghez kapcsolódó A/B tesztelésről, sok vállalkozó elbukik a gyakorlatban. Az eredmény? Fontos üzleti döntéseket hoznak meg helytelen tesztek pontatlan eredményei alapján.

Az A/B tesztelést gyakran túlságosan leegyszerűsítik, különösen a webshop-tulajdonosoknak írt tájékoztatókban. A következőkben mindent megtalálsz, amire szükséged van az e-kereskedelmi A/B tesztelés különböző típusainak megismeréséhez, a lehető legérthetőbben és leghasznosabban elmagyarázva. Az A/B tesztelés áttörést jelenthet a megfelelő termékpozicionálás kiválasztásában, a landing oldalad konverzióinak növelésében és még sok egyébben.

Mi az az A/B tesztelés?

Az A/B tesztelés, amit split tesztelésnek vagy bucket tesztelésnek is neveznek, egy folyamat, amelyben ugyanannak a weboldalnak, e-mailnek vagy más digitális eszköznek két verzióját hasonlítjuk össze annak meghatározására, hogy melyik teljesít jobban a felhasználói viselkedés alapján.

Hasznos eszköz a marketingkampányok teljesítményének javítására és a célközönség konverziójának jobb megértésére. Az A/B tesztelés lehetővé teszi fontos üzleti kérdések megválaszolását, segít több bevételt generálni a meglévő forgalomból, és megalapozza az adatvezérelt marketingstratégiát.

Hogyan működik az A/B tesztelés

• Határozd meg a célodat. Állítsd fel az A/B teszt vizsgálati céljait, például a konverziók növelését, kattintási arányokat vagy az összesítéseket.
• Válaszd ki a tesztelendő elemet. Tesztelhetsz címsorokat, képeket, e-mail tárgysorokat, cselekvésre ösztönző gombokat (CTA), árakat, elrendezéseket stb.
• Hozz létre változatokat. Fejlessz ki két verziót a vizsgálandó elemből: A verzió, amely az eredeti változat és a „kontroll”. B verzió, az új változat a tesztelni kívánt módosításokkal, ez a „variáns”. A marketing kontextusában a látogatók 50%-ának az A verziót és 50%-ának a B verziót mutatod meg.
• Futtasd le a tesztet. Tedd ki mindkét csoportot ugyanannak a verziónak egy előre meghatározott időszakon keresztül. Például, ha egy e-kereskedelmi oldal főoldali CTA gombját teszteled, két hétig futtathatod a teszteket statisztikailag szignifikáns eredmények eléréséhez.
• Gyűjtsd az adatokat. Figyeld és mérd a konverziókat, kattintásokat, elköteleződési szinteket és eladásokat mindkét verzió esetében.
• Elemezd az eredményeket. Hasonlítsd össze az A verzió teljesítményét a B verzióval annak meghatározására, hogy melyikkel tudod hatékonyabban elérni a célodat. A legmagasabb konverziós aránnyal rendelkező verzió nyer.
• Hirdesd ki a győztest. Ha a B verzió rendelkezik a legmagasabb konverziós aránnyal, hirdesd ki győztesnek és irányítsd a látogatók 100%-át oda. Ez lesz az új kontroll, és újabb variánst kell tervezned a jövőbeli tesztekhez.

Megfontolandó: Az A/B teszt konverziós aránya nem mindig tökéletes mérőszáma a sikernek.

Például, ha egy terméket 15 000 forintért árulsz az egyik oldalon, a másikon pedig teljesen ingyen, az nem nyújt ténylegesen értékelhető betekintést. A vállalkozói lét során alkalmazott minden eszközhöz hasonlóan, ennek is stratégiailag átgondoltnak kell lennie.

Ezért kell végigkövetned a konverzió értékét egészen a végső eladásig.

Mikor érdemes A/B tesztelni

Ha alacsony forgalmú weboldalt vagy webes/mobil alkalmazást üzemeltetsz, az A/B tesztelés valószínűleg nem a legjobb optimalizálási megoldás számodra. Valószínűleg magasabb befektetési megtérülést (ROI) látsz majd a felhasználói tesztelésből vagy az ügyfelekkel való beszélgetésből. A népszerű hiedelmekkel ellentétben a konverziós arány optimalizálása nem a teszteléssel kezdődik és végződik.

Miért 2-4 hét? Ne feledd, legalább két teljes üzleti cikluson keresztül kell futtatni a teszteket. Ez általában 2-4 hetet jelent. Most talán azt gondolod: „Semmi probléma, 2-4 hétnél tovább futtatom a tesztet a szükséges mintaméret eléréséhez.” Ez sem fog működni.

Minél tovább fut egy A/B teszt, annál nagyobb az esélye annak, hogy külső tényezők befolyásolják az érvényességét, vagy hogy a minta „szennyeződik”. Például előfordulhat, hogy a látogatók törlik a sütiket, és így új felhasználóként ismét bekerülnek a tesztbe. Vagy átváltanak mobilról asztali gépre, és emiatt másik verziót látnak. 

Röviden: ha túl sokáig futtatjuk a tesztet, az ugyanúgy torzíthatja az eredményeket, mint ha túl korán lezárnánk.

A tesztelés megéri a befektetést azoknak a webshopoknak, amelyek 2-4 hét alatt el tudják érni a szükséges mintaméretet. Azoknak, amelyek nem tudják, más optimalizálási formákat kellene fontolóra venniük, amíg a forgalmuk nem növekszik.

Az A/B tesztelési folyamat 

A/B tesztötletek priorizálása

Az A/B tesztelési példák szinte végtelen listája izgalmasan hangzik, de nem segít eldönteni, mit is tesztelj. Hol kezdd el? Itt jön képbe a priorizálás.

Néhány gyakori A/B tesztelési priorizálási keretrendszer:

• ICE. Az ICE a hatás, bizalom és könnyűség rövidítése. Mindegyik tényező 1-től 10-ig terjedő értékelést kap. Például, ha könnyen lefuttathatnád a tesztet egyedül fejlesztő vagy designer segítsége nélkül, a könnyűségnek 8-ast adhatsz. Itt a saját ítélőképességedet használod, és ha több ember futtat teszteket, az értékelések túlságosan szubjektívvé válhatnak. Segít, ha van egy sor iránymutatás, amely mindenkit objektívan tart.
• PIE. A PIE a potenciál, fontosság és könnyűség rövidítése. Ismét minden tényező 1-től 10-ig terjedő értékelést kap. Például, ha a teszt a forgalmad 90%-át eléri, a fontosságnak 8-ast adhatsz. A PIE ugyanolyan szubjektív, mint az ICE, így az iránymutatások ehhez a keretrendszerhez is hasznosak lehetnek.
• PXL. A PXL a CXL oktatási platform priorizálási keretrendszere. Kicsit más és jobban testreszabható, objektívebb döntéseket kényszerít ki. Három tényező helyett Igen/Nem kérdéseket és egy megvalósítási könnyűség kérdést találsz. Például a keretrendszer alapján felteheted a kérdést: „A teszt a motiváció növelésére irányul?” Ha igen, 1-est kap. Ha nem, 0-t kap. Itt többet megtudhatsz erről a keretrendszerről és letölthetsz egy táblázatot.

Miután már van elképzelésed arról, mivel kezdj, segíthet az ötletek kategorizálása is. Például konverziókutatás során három kategóriát használhatsz: megvalósít, kivizsgál és tesztel.

• Megvalósít. Csak csináld. Hibás vagy nyilvánvaló dologról van szó.
• Kivizsgál. További gondolkodásra van szükség a probléma meghatározásához vagy a megoldás pontosításához.
• Tesztel. Az ötlet megalapozott és adatvezérelt. Teszteld!

Ezzel a kategorizálással és priorizálással készen állsz az A/B tesztelés megkezdésére.

Hipotézis kidolgozása

Mielőtt bármit tesztelnél, egy hipotézisre van szükséged. Például: „Ha csökkentem a szállítási díjat, a konverziós arányok növekedni fognak.”

Ne izgulj, a hipotézis megfogalmazása ebben a helyzetben nem olyan bonyolult, mint amilyennek hangzik. Alapvetően hipotézist kell tesztelned, nem ötletet. A hipotézis mérhető, egy konkrét konverziós probléma megoldására törekszik, és a tájékoztatásra összpontosít a győzelmek helyett.

Hipotézis írásakor segít egy Craig Sullivan Hipotézis Készletéből kölcsönzött képlet használata:

• Mivel látod, hogy [ide írd be a kutatásból származó adatokat/visszajelzéseket]
• Azt várod, hogy [a tesztelt változtatás] [az általad várt hatást] okozza, és
• Ezt [adatmetrika] segítségével méred

Nem is olyan nehéz, igaz? Csak ki kell töltened az üres helyeket, és az A/B teszt ötleted hipotézissé alakul.

A/B tesztelő eszköz kiválasztása

Ezt követően ki kell választanod egy A/B tesztelő eszközt vagy split tesztelő szolgáltatást. Leggyakrabban a Google Optimize, az Optimizely és a VWO jut eszünkbe először, ha ilyesmire van szükség. Mindegyik jó, biztonságos választás.

Kicsivel bővebben ezekről a népszerű A/B tesztelő eszközökről:

• Google Optimize. Ingyenes, néhány multivariáns korlátozástól eltekintve, ami nem igazán befolyásol, ha csak most kezded. Jól működik Google Analytics A/B tesztelés végrehajtásakor, ami plusz segítség.

• Optimizely. Könnyű kisebb teszteket elindítani és futtatni, még technikai készségek nélkül is. A Stats Engine megkönnyíti a teszteredmények elemzését. Általában az Optimizely a legdrágább opció a háromból.

• VWO. A VWO rendelkezik SmartStats funkcióval az elemzés megkönnyítésére. Ráadásul nagyszerű WYSIWYG szerkesztője van kezdők számárak. Minden VWO csomag tartalmaz hőtérképeket, oldalon belüli felméréseket, űrlapelemzést stb.

Vannak A/B tesztelő eszközök a Shopify App Store-ban is, amelyeket hasznosnak találhatsz.

Miután kiválasztottad az A/B tesztelő eszközt vagy split-tesztelő szoftvert, töltsd ki a regisztrációs űrlapot és kövesd a megadott utasításokat. A folyamat eszközönként változik. Általában azonban arra kérnek, hogy telepíts egy kódrészletet az oldaladra és állíts be adott célokat.

Döntsd el, hogyan elemzed az eredményeket

Ha helyesen fogalmazod meg a hipotézisedet, még a vesztes verzió is győzelemre vihet, mert olyan információkhoz juthatsz, amelyeket jövőbeli tesztekhez és vállalkozásod más területein is használhatsz. Tehát amikor elemzed a teszteredményeidet, az infromációkra kell összpontosítanod, nem arra, hogy a teszt nyert vagy vesztett. Mindig van mit tanulni, mindig van mit elemezni. Ne utasítsd el a veszteseket!

A legfontosabb itt megjegyezni a szegmentálás szükségességét. Egy teszt lehet vesztes összességében, de valószínűleg jól teljesített legalább egy közönségszegmensnél.

Íme néhány példa közönségszegmensekre:

• Új látogatók
• Visszatérő látogatók
• iOS-t használók
• Androidot használók
• Chrome-ot használók
• Safarit használók
• Asztali gépet használók
• Tabletet használók
• Organikus keresésből érkezők
• Fizetett látogatók
• Közösségimédiás vásárlók
• Bejelentkezett vásárlók

Érted már a gondolatmenetet, ugye?

Nagy valószínűséggel a hipotézis bizonyos szegmensek között igaznak bizonyult. Ez is mond valamit.

Az elemzés sokkal többről szól, mint arról, hogy a teszt győztes vagy vesztes volt. Szegmentáld az adataidat, hogy rejtett információkat találhass a felszín alatt.

Az A/B tesztelő szoftver nem végzi el helyetted ezt az elemzést, ezért ezt a fontos készséget idővel fejlesztened kell.

Archiváld a teszteredményeket

Tegyük fel, hogy holnap futtatod az első tesztedet. Két év múlva emlékezni fogsz a teszt részleteire? Valószínűleg nem.

Ezért fontos az A/B tesztelési eredmények archiválása. Jól karbantartott archívum nélkül az összes megszerzett információ elvész. Ráadásul nagyon könnyű kétszer ugyanazt tesztelni, ha nem archiválsz.

Nincs „helyes” módja ennek. Használhatsz valamilyen eszközt, mint például az Effective Experiments, vagy használhatsz egy egyszerű táblázatot. Tényleg rajtad múlik, különösen ha most csinálod először.

Bármilyen eszközt használsz is, győződj meg róla, hogy nyomon követed:

• A tesztelt hipotézist
• A kontroll és variáció képernyőképeit
• Hogy nyert vagy vesztett
• Az elemzés során szerzett információkat

Ahogy növekszik a vállalkozásod, hálás leszel magadnak ezért az archívumért. Nemcsak neked segít, hanem az új alkalmazottaknak és tanácsadóknak/érintetteknek is.

A/B tesztelési példák

Technikai elemzés

A webshopod megfelelően és gyorsan betölt minden böngészőben? Minden eszközön? Lehet, hogy neked van egy nagyon menő új okostelefonod, de valaki valahol még mindig egy 2005-ös kihajtható telefont használ. Ha az oldalad nem működik megfelelően és gyorsan, biztosan nem konvertál olyan jól, ahogy lehetne.

Oldalon belüli felmérések

Ezek felbukkannak, amikor a webshopod látogatói böngésznek. Például egy oldalon belüli felmérés megkérdezheti azokat a látogatókat, akik egy ideig ugyanazon az oldalon voltak, hogy van-e valami, ami visszatartja őket a mai vásárlástól. Ha igen, mi az? Ezt a kvalitatív adatot használhatod a szöveg és konverziós arány javítására.

Ügyfélinterjúk

Semmi sem helyettesítheti a telefonálást és az ügyfelekkel való beszélgetést. Miért választották a te webshopod a versenytársak helyett? Milyen problémát próbáltak megoldani, amikor az oldaladra érkeztek? Millió kérdést tehetsz fel, hogy eljuss annak lényegéhez, kik az ügyfeleid és miért vásárolnak valójában tőled.

Ügyfélkutatások

Az ügyfélkutatások teljes körű felmérések, amelyek azokhoz jutnak el, akik már vásároltak (szemben a látogatókkal). Ügyfélkutatás tervezésekor a következőkre szeretnél összpontosítani: ügyfeleid meghatározása, problémáik meghatározása, vásárlás előtti habozásaik meghatározása, és a webshopod leírására használt szavak és kifejezések azonosítása.

Analitikai elemzés

Az analitikai eszközeid megfelelően követik és jelentik meg az adataidat? Ez hülyén hangozhat, de meglepődnél, hány analitikai eszköz van helytelenül konfigurálva. Az analitikai elemzés arról szól, hogy kitaláld, hogyan viselkednek a látogatóid. Például összpontosíthatsz a tölcsérre: hol vannak a legnagyobb konverziós tölcsér szivárgások? Más szóval, hol lépnek ki a legtöbben a tölcsérből? Ez egy jó hely a tesztelés megkezdésére.

Felhasználói tesztelés

Itt valódi embereket figyelsz meg egy fizetett, kontrollált kísérletben, ahogy feladatokat próbálnak végrehajtani az oldalon. Például megkérheted őket, hogy találjanak egy videojátékot a 12 000-18 000 forintos árkategóriában és tegyék a kosárba. Miközben ezeket a feladatokat végzik, hangosan elmondják gondolataikat és kommentálják a cselekedeteiket.

Munkamenet-visszajátszások

A munkamenet-visszajátszások hasonlóak a felhasználói teszteléshez, de most valódi emberekkel foglalkozol, akiknek valódi pénzük és valódi vásárlási szándékuk van. Nézed, ahogy a tényleges látogatóid navigálnak az oldalon. Mit nehéz megtalálniuk? Hol frusztrálódnak? Hol tűnnek összezavartnak?

Vannak további kutatástípusok is, de kezdd a számodra legjobb A/B tesztelési módszer kiválasztásával. Ha végigmész néhányon, hatalmas, adatvezérelt ötletlistád lesz, amit érdemes tesztelni.

A profik A/B tesztelési folyamatai

Most, hogy végigmentél egy standard A/B tesztelési útmutatón, nézzük meg a profik által használt folyamatokat.

Krista Seiden, KS Digital

A webes és alkalmazás A/B teszteléshez használt lépésről lépésre folyamatom az elemzéssel kezdődik: véleményem szerint ez minden jó tesztelési program alapja. Az elemzési szakaszban a cél az analitikai adatok, felmérési vagy UX adatok, vagy bármilyen más ügyfél-betekintési forrás vizsgálata annak megértésére, hol vannak az optimalizálási lehetőségeid.

Miután jó ötleteket szereztél az elemzési szakaszból, áttérhetsz arra, hogy hipotézist állíts fel arról, mi mehet rosszul és hogyan javíthatnád vagy fejleszthetnéd ezeket az optimalizálandó területeket.

Ezután itt az ideje létrehozni és futtatni a teszteket. Győződj meg róla, hogy ésszerű ideig futtatod őket (alapértelmezetten két hétre állítom be, hogy figyelembe vegyem a hetek közötti változásokat vagy anomáliákat), és amikor elegendő adatod van, elemezd az eredményeket, hogy meghatározhasd, melyik a győztes verzió.

Fontos ebben a szakaszban időt szánni a vesztesek elemzésére is: mit tanulhatsz ezekből a variációkból?

Végül - és lehet, hogy csak akkor éred el ezt a szakaszt, miután időt töltöttél egy szilárd optimalizálási program alapjainak lefektetésével - itt az ideje a személyre szabásba belevágni. Ehhez nem feltétlenül szükséges fancy eszközkészlet, hanem inkább a felhasználóidról rendelkezésre álló adatokra kell támaszkodnod.

A marketing személyreszabás lehet olyan egyszerű dolog is, mint a megfelelő tartalom irányítása a megfelelő helyszínekre, vagy olyan összetett, mint az egyéni felhasználói cselekedetek alapján történő kategorizálás. Ne ugorj bele egyből a személyre szabásba. Először győződj meg róla, hogy elég időt töltesz az alapok helyes elsajátításával.

Alex Birkett, Omniscient Digital

Magas szinten ezt a folyamatot próbálom követni:

• Adatok gyűjtése és az analitikai implementációk pontosságának biztosítása.
• Adatok elemzése és betekintések keresése.
• Információk hipotézisekké alakítása.
• Priorizálás hatás és könnyűség alapján, és az erőforrások (különösen technikai erőforrások) allokációjának maximalizálása.
• Teszt futtatása (a statisztikai gyakorlatok követése legjobb tudásom és képességeim szerint).
• Eredmények elemzése és eredmények szerinti implementálás.
• Iterálás a megállapítások alapján, majd ismétlés.

Egyszerűbben megfogalmazva: kutatás, teszt, elemzés, ismétlés.

Bár ez a folyamat eltérhet vagy változhat a kontextus alapján (Üzletileg kritikus termékfunkciót tesztelek? Blog bejegyzés CTA-t? Mi a kockázati profil és az innováció versus kockázatcsökkentés egyensúlya?), elég jól alkalmazható bármilyen méretű vagy típusú vállalatra.

A lényeg, hogy ez a folyamat agilis, de elegendő adatot gyűjt, például kvalitatív ügyfél-visszajelzést, vagy kvantitatív analitikát, hogy jobb tesztötleteket tudj kidolgozni és jobban tudd priorizálni őket, így forgalmat tudsz terelni az online webshopodba.

Ton Wesseling, Online Dialogue

Az első kérdés, amit mindig megválaszolunk, amikor egy ügyfélutazást szeretnénk optimalizálni: Hol helyezkedik el ez a termék vagy szolgáltatás az Online Dialogue-nál létrehozott ROAR modellben? Még mindig a kockázati fázisban, ahol sok kutatást végezhetnénk, de nem tudjuk validálni a megállapításainkat online A/B teszt kísérletekkel (1000 konverzió alatt havonta), vagy az optimalizálási fázisban? Vagy akár már afelett?

• Kockázati fázis: Sok kutatás, amely az üzleti modell megváltoztatásától egy teljesen új dizájnig és értékajánlatig terjedhet.
• Optimalizálási fázis: Nagy kísérletek, amelyek optimalizálják az értékajánlatot és az üzleti modellt, valamint kis kísérletek a felhasználói viselkedési hipotézisek validálására, amelyek tudásbázist adnak nagyobb dizájnváltozásokhoz.
• Automatizálás: Még van kísérletezési erőd (látogatók), ami azt jelenti, hogy a teljes tesztpotenciálod nem szükséges a felhasználói utazás validálásához. Ami megmaradt, azt arra kell használni, hogy most gyorsabban növekedj (hosszú távú tanulságokra való összpontosítás nélkül). Ez automatizálható algoritmusok használatával.
• Újragondolás: Abbahagyod a sok kutatás hozzáadását, kivéve, ha egy teljesen új fordulatra van szükséged.

Tehát a webes vagy alkalmazás A/B tesztelés csak a ROAR optimalizálási fázisában és azon túl nagy dolog (az újragondolásig).

A kísérletek futtatásához használt megközelítésünk a FACT & ACT modell.

Az általunk végzett kutatás az 5V modellünkön alapul.

Ezeket az információkat gyűjtjük össze, hogy egy fő kutatás-alapú hipotézist alkossunk, amely al-hipotézisekhez vezet, amelyeket asztali vagy mobil A/B teszteléssel gyűjtött adatok alapján priorizálunk. Minél nagyobb a hipotézis igazságának esélye, annál magasabbra rangsoroljuk.

Miután megtudjuk, hogy a hipotézisünk igaz vagy hamis, elkezdhetjük a tanulságok kombinálását és nagyobb lépéseket tehetünk az ügyfélutazás nagyobb részeinek újratervezésével/újraigazításával kapcsolatban. Egy adott ponton azonban minden nyerő implementáció helyi maximumhoz vezet. Akkor nagyobb lépést kell tenned, hogy elérhesd a potenciális globális maximumot.

És természetesen a fő tanulságok szétterjednek a vállalaton belül, ami mindenféle szélesebb optimalizáláshoz és innovációhoz vezet a validált első információk alapján.

Julia Starostenko, Pinterest

A kísérlet célja annak validálása, hogy egy meglévő weboldal módosítása pozitív hatással lesz-e az üzletre.

Mielőtt elkezdenéd, fontos meghatározni, hogy valóban szükséges-e a kísérlet futtatása. Vedd figyelembe a következő forgatókönyvet: Van egy gomb rendkívül alacsony kattintási aránnyal. Szinte lehetetlen lenne csökkenteni ennek a gombnak a teljesítményét. A gombra javasolt változtatás hatékonyságának validálása (azaz kísérlet futtatása) ezért nem szükséges.

Hasonlóképpen, ha a gombra javasolt változtatás kicsi, valószínűleg nem éri meg az idődet a kísérlet beállítására, végrehajtására és lebontására pazarolni. Ebben az esetben a változtatásokat csak bei kell vezetni mindenkinek, és a gomb teljesítményét figyelni lehet.

Ha megállapítják, hogy a kísérlet futtatása valóban hasznos lenne, a következő lépés a javítandó üzleti metrikák meghatározása (pl. gomb konverziós arányának növelése). Ezután elvégezzük a megfelelő adatgyűjtést.

Miután ez elkészült, a közönséget véletlenszerűen futtatjuk, split tesztelést végezve két csoport között: az egyik csoport a gomb meglévő verzióját látja, míg a másik csoport az új verziót kapja. Mindegyik közönség konverziós arányát figyeljük, és miután elérték a statisztikai szignifikanciát, levonjuk a következtetéseket.

Peep Laja, CXL

Az A/B tesztelés egy nagyobb konverziós optimalizálási kép része. Véleményem szerint 80%-ban a kutatásról és csak 20%-ban a tesztelésről szól. A konverziókutatás segít meghatározni, mit tesztelj egyáltalán.

A folyamatom általában így néz ki (egyszerűsített összefoglaló):

1. Konverziókutatás végzése egy keretrendszer, például ResearchXL használatával az oldalad problémáinak azonosítására.
2. Válassz egy magas prioritású problémát (olyat, ami a felhasználók nagy részét érinti és súlyos probléma), és gondolj ki annyi megoldást erre a problémára, amennyit csak tudsz. Határozd meg, melyik eszközön szeretnéd futtatni a tesztet (a mobil A/B tesztelést külön kell futtatnod az asztali gépestől).
3. Határozd meg, hány variációt tudsz tesztelni (a forgalom/tranzakció szinted alapján), majd válaszd ki a legjobb egy-két ötletedet a megoldásra a kontroll-teszteléshez.
4. Vázold fel a pontos megoldásokat (írd meg a szöveget, végezd el a dizájnváltozásokat stb.). A változtatások hatókörétől függően lehet, hogy designert is be kell vonnod új elemek tervezéséhez.
5. A frontend fejlesztőddel implementáltasd a megoldásokat a tesztelő eszközödben. Állítsd be a szükséges integrációkat (Google Analytics) és állíts be megfelelő célokat.
6. Végezz QA-t a teszten (a hibás tesztek messze a legnagyobb A/B-tesztgyilkosok) hogy megbizonyosodj róla, hogy minden böngésző/eszköz kombinációval működik.
7. Indítsd el a tesztet!
8. Miután a teszt elkészült, végezz teszt utáni elemzést.
9. Az eredménytől függően vagy implementáld a győztest, változtass a megoldásokon, vagy menj és tesztelj valami mást.

Gyakori hibák az A/B tesztelésben

Túl sok változó egyidejű tesztelése

Amikor egyszerre két változót hasonlítasz össze, lehet, hogy nem tudod meghatározni, melyik változtatás okozta a hatást.

Tegyük fel, hogy egy landing odalt szeretnél optimalizálni. Ahelyett, hogy csak egy címsort tesztelnél, teszteled a:

• Cselekvésre ösztönző szöveget
• CTA gomb színét
• Fejléc képeket
• Címsorokat

A konverziós arányok növekednek, de nem tudod pontosan meghatározni, melyik változtatás a felelős ezért. Ha egyszerre egy változót tesztelsz, elkülönítheted minden változtatás hatását és pontosabb eredményeket kaphatsz.

Megfontolandó: A multivariáns tesztelés egy lehetőség, ha meg szeretnéd érteni, hogyan hat egymásra több változó. De multivariáns teszt futtatásához több forgalomra és egy már jól optimalizált oldalra van szükséged fokozatos javítások végrehajtásához. A folyamat sokkal összetettebb, mint egy A/B teszt futtatása.

Nem megfelelő mintaméret

Az A/B teszteredményeid megbízhatósága a használt mintaméreten múlik. A kis minták hamis pozitív és negatív eredményeket hozhatnak, megnehezítve annak megállapítását, hogy a különbségek a változtatásaid eredményezték, vagy véletlenszerűek.

Képzeld el, hogy egy termékoldal két verzióját teszteled, hogy melyik vezet magasabb vásárlási arányhoz. Felosztod a forgalmat, de csak 100 látogatót kapsz az A verzióra és 100 látogatót a B verzióra.

Ha az A verzió 6%-os konverziós aránnyal rendelkezik, a B verzió pedig 5%-os konverziós aránnyal, azt gondolhatod, hogy az A verzió jobb. De verziónként 100 látogatóval ez statisztikailag nem szignifikáns. Lehetséges, hogy ha több látogatóval teszteltél volna, az eredmények mások lettek volna.

Az egészséges mintaméret meghatározásának legjobb módja egy mintaméret kalkulátor használata.

Rövid tesztelési időtartamok

Futtasd az A/B tesztedet legalább egy, ideálisan két teljes üzleti cikluson keresztül. Ne állítsd le a tesztet csak azért, mert elérted a szignifikanciát. Az előre meghatározott mintaméretet is el kell érned. Végül, ne felejtsd el minden tesztet teljes hetes inkrementumokban futtatni.

Miért két teljes üzleti ciklus? Először is, két ciklus segít figyelembe venni:

1. A „Gondolkodnom kell rajta” vásárlókat.
2. Különböző forgalmi forrásokat (Facebook, e-mail hírlevél, organikus keresés stb.)
3. Anomáliákat. Például a pénteki e-mail hírlevelét.

Két üzleti ciklus általában elegendő idő értékes infromációk szerzésére a célközönséged felhasználói viselkedését illetően.

Ha használtál már bármilyen landing oldal A/B tesztelő eszközt, valószínűleg ismered a kis zöld „Statisztikailag szignifikáns” ikont.

Sokak számára sajnos ez az univerzális jel arra, hogy “a tesztnek vége, befejezhetjük". Ahogy most megtanultad, csak azért, mert az A/B teszt statisztikai szignifikanciája elérésre került, ez nem jelenti azt, hogy le kell állítanod a tesztet.

Felhasználói szegmentálás figyelmen kívül hagyása

Ha nem veszed figyelembe a különböző felhasználói szegmenseket, általánosított eredményeket kapsz, amelyek nem feltétlenül vonatkoznak mindenkire.

Hasznos a felhasználókat demográfiai adatok, viselkedés vagy más releváns tényezők szerint szegmentálni. Ami az új felhasználóknál működik, az nem feltétlenül működik a visszatérő felhasználóknál. Ha nem szegmentálsz, elidegeníted a kulcs felhasználói csoportokat és veszélyezteted a teszted integritását.

Optimalizáld az A/B tesztelést a vállalkozásodhoz

Megvan a folyamat, megvan az erő! Szóval hajrá, szerezd be a legjobb A/B tesztelő szoftvert, és kezdd el tesztelni a webshopod. Ezek a betekintések nagyon hamar meg fognak térülni.

Ha folytatni szeretnéd az optimalizálásról való tanulást, fontold meg egy ingyenes kurzus elvégzését, például az Udacity A/B tesztelés képzést a Google-tól. Segítségével még többet megtudhatsz a webes és mobil alkalmazás A/B tesztelésről és fejlesztheted az optimalizálási készségeidet.