Tip:
Highlight text to annotate it
X
Video #5: AdWords kampanjeeksperimenter: Forstå eksperimentresultater og signifikans
I løpet av trinn 3 av Konfigurer et AdWords kampanjeeksperiment gjennomfører du eksperimentet og
overvåker resultatene. Ved hjelp av denne øvelsen blir det lettere å forstå resultatene du
ser i løpet av eksperimentet.
Etter hvert som kampanjeeksperimentet kjører, ser du at det opparbeider seg data i kontroll-
og eksperimentdelinger på kampanje-, annonsegruppe og søkeordnivå. Husk at hvis du ikke allerede
ser separate rader med kontroll- og eksperimentdelinger for én av fanene, kan du slå dem på ved å klikke på
Segment og bevege musa nedover for å klikke på Eksperiment.
Etter hvert som det bygger seg opp resultater, ser du ulike typer statistisk signifikante indikatorer
innenfor brukergrensesnittet. Disse hjelper deg å forstå om verdiene du sammenligner
er forskjellige.
En statistisk signifikant forskjell er en forskjell som med liten sannsynlighet har funnet sted tilfeldig.
Hvis en verdi ikke er blitt endret i statistisk signifikant grad, er det mulig at verdien
ikke ble påvirket av den eksperimentelle endringen.
Et grått opp-ned-ikon representerer en verdi som ikke er endret i statistisk signifikant
grad. Observerte ulikheter kan bare være eksperimentelle forstyrrelser.
Et ikon som peker oppover, representerer en verdi som har økt i statistisk signifikant
grad. Hvis du bruker de eksperimentelle endringene for alle auksjoner, kan du forvente
at denne verdien øker.
Et ikon som peker nedover, representerer en verdi som er redusert i statistisk signifikant
grad. Hvis du bruker de eksperimentelle endringene for alle auksjoner, kan du forvente
at denne verdien reduseres.
Innenfor disse ikonene er det også tre ulike graderinger som indikerer hvor trygg du kan være på at
resultatene skyldes de eksperimentelle endringene og ikke bare tilfeldigheter:
Én enkelt pil som peker oppover eller nedover indikerer at det er 95 % sjanse for at verdien har økt
eller sunket. Med andre ord sier statistikken at ved å ta i bruk de eksperimentelle endringene
helt og fullt, er det bare 5 % sjanse for at verdien ikke beveger seg i denne retningen
hvis alle andre forhold er de samme.
To piler som peker oppover eller nedover indikerer at det er 99 % sjanse for at verdien har økt
eller sunket. Med andre ord sier statistikken at ved å ta i bruk de eksperimentelle endringene
fullt og helt, er det bare 1 % sjanse for at verdien ikke beveger seg i denne retningen
hvis alle andre forhold er de samme.
Tre piler som peker oppover eller nedover indikerer at det er 99.9 % sjanse for at verdien har økt
eller sunket. Med andre ord sier statistikken at ved å ta i bruk de eksperimentelle endringene
helt og fullt, er det bare 0,1 % sjanse for at verdien ikke beveger seg i denne retningen
hvis alle andre forhold er de samme.
Husk at hvis du kjører et eksperiment med andre forhold mellom eksperiment og kontroll
enn 50/50 (f.eks. 70/30 eller 20/80), vil statistikken som kampanjen har samlet opp i
forholdet mellom eksperiment og kontroll, ikke kunne sammenlignes i et ett-til-ett-forhold. Si for eksempel
at du kjører et 90/10-eksperiment. Hvis du ikke gjorde noen endringer i eksperimentet, ville du
forvente at det er 900 visninger i kontrollen for alle 100 visninger i eksperimentdelingen.
Hvis du derimot ser 900 visninger i kontrolldelingen og 400 visninger
i eksperimentdelingen, ville dette indikere en statistisk signifikant økning i visninger.
Dette er fordi 400 ville være mange flere enn de 100 du kunne forvente hvis ingen endringer ble
foretatt, noe som indikerer at ved å ta i bruk endringene, kunne du forvente at antallet visninger ville øke.
Dette gjelder selv om selve tallet 900 er større enn 400.
50/50-delinger er mye enklere å sammenligne (ettersom tallene ville være de samme hvis
endringene ikke hadde noen påvirkning), og mange kampanjer har ikke nok trafikkvolum til å
kunne komme frem til en konklusjon med annet enn 50/50-delinger. Vi anbefaler derfor
at de fleste annonsører kjører 50/50-eksperimenter med mindre de er forberedt på å utføre
egne beregninger for å avgjøre de impliserte verdiendringene i prosent dersom de eksperimentelle endringene ble brukt
i alle auksjoner.