Vesti proaste: Acea conversie de 30% iti ridica ultimul test A / B produs? Probabil ca nu este atat de mare cum ai crezut.
De fapt, exista o sansa ca ea sa nu existe deloc.
„Cel putin 80% din testele castigatoare nu sunt complet inutile”, scrie directorul de cercetare Qubit, Martin Goodson, intr-o carte alba a companiei. Cele care nu aduc de obicei ascensoare mici si durabile in locul celor uriase pe care le vedeti publicitate pe internet.
Deci, de ce software-ul dvs. de testare A / B va spune altfel?
Deoarece nu poate detecta numeroasele amenintari nevazute la validitate care pot potentializa sa va otraveasca datele. Conceptele precum efectul de noutate, regresia la medie, efectul de instrumentare si altele, va pot face sa vedeti ascensoare mari de conversie acolo unde nu exista.
Asadar, daca luati decizii de afaceri bazate pe testele A / B doar pentru ca au atins o semnificatie statistica, opriti-va acum. Trebuie sa atingeti o semnificatie statistica inainte de a putea face inferente in functie de rezultatele dvs., dar nu este tot ce aveti nevoie. De asemenea, trebuie sa executati un test valid.
Diferenta dintre semnificatia statistica si validitate
Semnificatia statistica si valabilitatea sunt doua necesitati foarte diferite, dar la fel de importante pentru derularea de teste split reusite.
Semnificatia statistica indica, intr-un anumit grad de incredere, probabilitatea ca rezultatele testului dvs. sunt fiabile si nu se datoreaza intamplarii. Pentru a atinge o semnificatie statistica, trebuie sa stiti:
- Rata de conversie de baza a paginii dvs. de control
- Modificarea minima a ratei de conversie pe care doriti sa o puteti detecta
- Cat de increzator vrei sa fii ca rezultatele tale sunt semnificative si nu datorita intamplarii (nivelul de incredere standard acceptat este de 95%)
- Marimea esantionului dvs., de asemenea, cantitatea de trafic pe care trebuie sa o generati inainte de a atinge o semnificatie statistica (folositi acest calculator pentru a-l descoperi)
Valabilitatea, pe de alta parte, are legatura cu daca alti factori in afara dimensiunii esantionului va afecteaza negativ datele.
Atunci de ce trebuie sa le cunoasteti pe amandoua?
Deoarece chiar si 53% din testele A / A (aceeasi pagina fata de testele din aceeasi pagina utilizate pentru a evalua configurarea experimentului dvs.) vor atinge o importanta de 95% la un moment dat. Daca testele cu doua pagini identice pot atinge semnificatie statistica ½, cum poti fi sigur ca rezultatele testului tau A / B sunt fiabile?
Nu poti, explica Peep Laja de la CXL:
„Daca va opriti testul imediat ce observati semnificatia, exista o sansa de 50% ca acesta sa fie complet. O aruncare de monede. Ucide total ideea de testare in primul rand. “
In loc sa va bazati doar pe semnificatia statistica pentru a determina castigatorul unui test divizat, trebuie sa colectati cat mai multe date valide. Pentru a face asta, trebuie sa intelegeti ce fel de amenintari va stau in cale.
Amenintari comune la validitatea testelor A / B
1. Regresia fata de medie
„Marimea esantionului este retea cand vine vorba de testarea A / B”, spune marketerul digital Chase Dumont. Cu cat testezi mai multe persoane, cu atat rezultatele tale devin mai precise.
Prea des, testerii A / B isi incheie experimentele devreme. Ei se entuziasmeaza cand vad un ascensor mare si declara cu incredere castigator. Dar, studiile de caz au aratat ca, chiar si atunci cand un test atinge o semnificatie statistica de 95% sau mai mare – chiar si atunci cand a fost difuzat o luna intreaga – rezultatele pot fi inselatoare.
Luam, de exemplu, Chase, care a testat doua pagini de vanzari de forma lunga pentru una dintre afacerile sale. In cuvintele sale:
La inceput, versiunea originala a depasit variabila. Am fost surprins de acest lucru, deoarece am considerat ca variabila este mai buna si mai strans scrisa si proiectata.
Intr-adevar, variabila era mai buna decat originala, asa cum au indicat instinctele lui Chase. Dar abia dupa 6 luni de testare s-a aratat. Pana la acel moment, rata de conversie a paginii initiale nu a revenit doar la media, ci a trecut-o, pana la punctul ca a fost depasita de variabila:
Deci, ce intelegem prin „regresat la semnificatie”?
In termeni de testare A / B, inseamna ca variatia de conversie ridicata (in acest caz pagina originala reprezentata de linia albastra din grafic) a inceput sa se apropie de media asteptata pe masura ce s-au colectat mai multe probe. In termeni chiar mai simpli, este un alt mod de a spune „lucrurile chiar si in timp”.
Luati in considerare un exemplu din lumea reala. La Turneul international Martini din 1971, jucatorul de golf englez John Anthony Hudson a devenit singura persoana care a lovit vreodata doua gauri consecutive in cadrul unui turneu profesionist.
Pe doua gauri, un par 4 si un par 3, el a impuscat 2 – 5 lovituri mai bune decat media 7 pe care o iau majoritatea profesionistilor.
Daca ne uitam doar la cele doua gauri pentru a compara performanta lui cu ceilalti participanti la turneu, am spune „Wow, Hudson este mult mai bun decat oricare dintre ceilalti jucatori din turneu. Este sigur ca va castiga.
Si ar fi facut-o daca ar numi turneul pe baza celor doua gauri.
Dar, gaurile in unu sunt rare, iar turneele dureaza multe. Si astfel, cu cat Hudson a jucat mai mult, cu atat scorul sau a revenit la media. Pana la sfarsitul competitiei, el a fost egalat pentru locul 9, nicaieri aproape de castig.
In acelasi mod, cu cat colectati mai multe date chiar si dupa obtinerea unei semnificatii statistice, cu atat rezultatele dvs. vor fi mai precise.
Ati putea inscrie doua gauri in unu convertind primii doi vizitatori ai variatiei paginii de destinatie post-clic? Absolut. Dar asta inseamna ca noua dvs. pagina se va converti la 100%? In nici un caz. La un moment dat, rata de conversie de 100% se va reduce catre medie.
Nu uitati ca ascensoarele gigantice de conversie, precum gaurile in unu, sunt rare. Majoritatea testelor de succes vor produce in schimb ascensoare mai mici si durabile.
2. Efectul de noutate
Sa presupunem ca testezi o varianta de pagina de destinatie post-click cu un buton mai mare, portocaliu, cand toate paginile de destinatie post-click de pana acum au prezentat una mica verde. Initial, s-ar putea sa constatati ca butonul mai mare portocaliu produce mai multe conversii – dar este posibil ca motivul sa nu fie rezultatul schimbarii si, in schimb, ceva numit „efectul de noutate”.
Efectul de noutate intra in joc atunci cand efectuati o modificare pe care vizitatorul dvs. obisnuit sa nu o vada. Modificarea ratei de conversie este rezultatul modificarii culorii butonului? Sau este pentru ca sunt atrasi de noutatea schimbarii? O modalitate de a-ti da seama este prin segmentarea traficului.
Vizitatorii care se intorc obisnuiesc sa vada butonul verde mic, astfel incat cel mare portocaliu poate atrage mai multa atentie doar pentru ca este diferit de ceea ce sunt obisnuiti. Dar noi vizitatori nu au mai vazut dvs. buton verde mic, astfel incat , daca atrage lor atentia, nu va fi , deoarece acestea sunt utilizate pentru ceva diferit. In acest caz, este mai probabil ca butonul mai mare de portocaliu sa fie doar mai atras de atentie in general.
Atunci cand testezi ceva mult diferit de ceea ce obisnuieste sa vada publicul tau, ia in considerare sa conduci un trafic nou pentru a te asigura ca efectul de noutate nu iti afecteaza rezultatele.
3. Efectul instrumental
Cea mai comuna amenintare la validitate, numita „instrumentul (sau instrumentul)”, are legatura cu instrumentul dvs. de testare. Functioneaza asa cum trebuie? Tot codul dvs. este implementat corect?
Nu exista trucuri care sa-l invinga pe acesta in afara vigilentei. Testeaza-ti campaniile inainte sa apara live, uitandu-te la pagini de destinatie post-clic si anunturi pe diferite browsere si dispozitive. Introduceti datele de plumb pentru a va asigura ca pixelii dvs. de conversie se aprind si CRM-ul dvs. este sincronizat cu formularul dvs.
Cand merg in direct, urmariti cu atentie fiecare masuratoare si urmariti rapoarte suspecte. S-ar putea ca instrumentul dvs. sa va esueze, puteti conduce un trafic necorespunzator sau puteti fi victima viitoarei amenintari de validitate….
4. Efectul istoric
Testul dvs. A / B nu este administrat intr-un laborator. Se ruleaza in lumea reala si, in consecinta, este afectat de evenimentele din lumea reala in afara controlului tau. Acestea pot fi lucruri precum vacantele, vremea, colapsul serverului si chiar data si ora.
Ce se intampla daca testati traficul de pe Twitter si site-ul este deconectat? Ce se intampla daca testati o pagina de destinatie post-clic cu amanuntul care duce pana la Craciun, apoi executati un test de urmarire in februarie?
Datele dvs. vor fi modificate.
Efectuati acest test de la MarketingExperiments, de exemplu, care a vizat optimizarea clicului din anunturile din paginile cu rezultatele motorului de cautare. Destinatia era un site de inregistrare a infractorilor sexuali care sa le permita vizitatorilor sa caute pradatori din zona lor.
In ea, patru anunturi cu o copie identica a corpului, dar titluri variate au fost testate unul fata de celalalt.
Testul a fost numit dupa 7 zile si 55.000 de impresii, iar la prima vedere, parea ca castigatorul este clar. Dar, la o inspectie mai atenta, testerii au observat ceva care le-a otravit datele. Dr. Flint McGlaughlin elaboreaza:
„Iata problema. In timpul testului, Dateline a difuzat o speciala numita „Pentru a prinde un pradator”. A fost vizionata de 10 milioane de oameni. Cuvintele pradator a devenit termenul cheie asociat cu infractorul sexual. Acum, sa mergem inapoi.
porno bbw mature http://presence.skill-craft.com/__media__/js/netsoltrademark.php?d=adult66.net/
hd porno http://shademe.net/__media__/js/netsoltrademark.php?d=adult66.net/
porno mature romance http://fotoglyph.net/__media__/js/netsoltrademark.php?d=adult66.net/
filme porno cu scufita rosie http://dhatpa.net/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/amatori
porno b http://momnpopmusic.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/anal
filme porno chinezesti http://stiffuk.net/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/asiatice
porno voluptoase http://desktopnewstand.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/beeg
filme porno cu studenti http://multi-pro.net/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/blonde
best porno site http://pdxconcessions.net/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/brazzers
filme porno matura http://www.ah-ah.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/brunete
filme porno zoofilie http://www.arkansascatholic.com/__media__/js/netsoltrademark.php?d=adult66.net/filme-porno/chaturbate
fime porno http://biosustainability.net/__media__/js/netsoltrademark.php?d=adult66.net/blonda-minora-violata-pe-plaja-de-un-salbatic
ana lesko porno http://www.hollywoodmagicshop.com/__media__/js/netsoltrademark.php?d=adult66.net/nevasta-fututa-de-un-animal-de-om-si-in-pizda-si-in-cur
filme porno cu mature gratis http://blindcat.org/__media__/js/netsoltrademark.php?d=adult66.net/pustoaica-dezvirginata-de-6-tipi-si-fututa-salbatic-pe-la-spate
porno mame fii http://elder-tech.com/__media__/js/netsoltrademark.php?d=adult66.net/doua-curve-futute-de-un-tatuat-pana-au-orgasm
porno video fox http://academyfaculty.net/__media__/js/netsoltrademark.php?d=adult66.net/gagica-frumoasa-fututa-de-unu-cu-pula-mare
femei bune porno http://seniorleagues.com/__media__/js/netsoltrademark.php?d=adult66.net/blonda-minora-pacalita-si-fututa-de-un-smecher-care-ejaculeaza-in-gura-ei
filme porno ciudate http://waterproofingsystems.net/__media__/js/netsoltrademark.php?d=adult66.net/japoneza-micuta-e-fututa-peste-tot-de-unu-ca-in-filmele-porno
fime porno xxx http://www.kopyrightliberationfront.net/__media__/js/netsoltrademark.php?d=adult66.net/eleva-virgina-violata-de-profesorul-de-sport-in-sala-de-sport
porno xl http://luiserrano.com/__media__/js/netsoltrademark.php?d=adult66.net/bruneta-sexy-isi-calareste-prietenul-pana-cand-are-orgasm
Vedeti ca copilul dvs. este in siguranta. Vedeti ca gasiti pradatori pentru copii, pradatori in zona dvs. si registru de pradatori pentru copii. Si apoi, uita-te in copie. Identificati infractorii sexuali, identificati infractorii sexuali. La fel, cu exceptia titlului, dar avem trei dintre aceste titluri cu cuvantul predator in ele. Care a fost rezultatul?”
Titlurile cu cuvantul „pradator” aveau o rata de clic cu 133% mai mare decat cele care nu aveau – totul datorita unui televizor special.
Pentru a lupta cu efectul istoricului, utilizati un instrument de monitorizare media si asigurati-va ca toata lumea din compania dvs. stie ca faceti teste. Cu cat mai multi membri ai echipei ai accesat lumea exterioara, cu atat este mai probabil ca unul dintre voi sa vada ceva care ar putea afecta rezultatele testului tau.
5. Efectul de selectie
Efectul de selectie are loc atunci cand un experimentator testeaza un esantion de subiecte care nu sunt reprezentative pentru publicul tinta.
De exemplu, sa zicem ca am vrut sa aflam care este echipa de fotbal profesionista cea mai populara din Statele Unite, dar am intrebat doar oameni din zona New England. Probabil ca am auzit un sprijin coplesitor pentru Patriotii, care nu ar fi reprezentativ pentru intreaga tara.
In termeni de testare A / B, efectul de selectie poate avea un impact asupra testului dvs. atunci cand generati trafic din diferite surse. Este ceva in care Nick Usborne de la MarketingExperiments s-a ocupat atunci cand lucra cu un mare editor de stiri:
„Am reproiectat radical procesul de oferta a abonamentului pentru versiunea electronica si am fost in mijlocul testarii atunci cand au lansat o noua campanie publicitara de link-uri text de pe site-ul principal la produsul electronic.
Acest lucru a schimbat mixul de trafic care a ajuns la procesul de oferta de abonament de la unul in care practic tot traficul venea de la motoarele de cautare platite la unul in care se ajungea mult trafic de la un link intern la site-ul lor (trafic cu inalta calificare).
Rata medie de conversie a crescut peste noapte de la 0,26% la peste 2%. Daca nu am fi monitorizat indeaproape, am fi putut concluziona ca noul proces a obtinut o crestere a ratei de conversie cu 600% + ”
Este important sa fii atent la clienti, dar este la fel de crucial sa te asiguri ca iti proiectezi testul intr-un mod care sa nu-l faca vulnerabil la efectul de selectie. Stiti de unde provine traficul dvs. si nu modificati sursele in mijlocul unui test. Esantionul dvs. trebuie sa ramana cat mai consecvent pe tot parcursul.
Cand puteti incheia in siguranta un test A / B?
Daca nu aveti incredere in semnificatia statistica si toate aceste amenintari la validitate va pot otravi datele, atunci… cand puteti incheia testul in siguranta si va puteti baza cu incredere pe rezultate?
Raspunsul nefericit este ca nu poti fi cu adevarat sigur ca rezultatele tale sunt 100% fiabile. Puteti, totusi, sa luati masuri de precautie pentru a va asigura ca va apropiati cat mai mult posibil. Optimizatorul ratei de conversie, Peep Laja, considera ca urmand aceste 4 criterii, de obicei, face truc:
- Durata testului trebuie sa fie de minim 3 saptamani, 4 daca este posibil.
- Marimea esantionului trebuie calculata in prealabil, folosind mai multe instrumente.
- Conversiile ar trebui sa ajunga intre 250 si 400 pentru fiecare varianta testata.
- Semnificatia statistica ar trebui sa fie minima de 95%.
El continua sa adauge ca, daca nu ajungeti la 250-400 de conversii in 3 saptamani, atunci ar trebui sa continuati sa executati testul pana la final. Si daca trebuie, asigurati-va ca faceti teste in cicluri de saptamana intreaga. Daca incepeti testul intr-o zi de luni si atingeti 400 de conversii 5 saptamani mai tarziu intr-o zi de miercuri, continuati testarea pana in ziua urmatoare de luni (in caz contrar, v-ati putea victima de efectul istoric).
Nu uitati sa aveti grija la amenintarile de valabilitate de mai sus si spuneti tuturor celor din echipa dvs. (si echipa clientului dvs.) sa stie ca faceti teste. Cu cat organizatia dvs. informeaza mai mult, cu atat este mai putin probabil ca cineva sa modifice un aspect al testului (efectul de selectie) si cu atat este mai probabil ca cineva sa observe cand apare o amenintare de validitate precum efectul instrumental sau efectul istoric.
Cum ti-ai imbunatatit site-ul prin testarea A / B?
Utilizati testarea A / B pentru a optimiza site-ul dvs. web si pentru a surprinde orice amenintari la validitate. Incepeti prin a crea pagini post-clic, solicitati astazi o demonstratie Instapage Enterprise.
