Sådan undgår du fejlkilder i markedseksperimenter

Hvad er fejlkilder i markedseksperimenter?

En fejlkilde er en årsag til, at der opstår fejl under udarbejdelsen af en markedsanalyse – fx en for lav svarprocent. Det er definitionen i Systimes lærebog i afsætning. I et markedseksperiment betyder fejlen, at resultatet flytter sig væk fra virkeligheden, så du risikerer at træffe beslutning om pris, budskab eller kanal på et grundlag, der peger et andet sted hen end markedet selv.

Aarhus Universitets Metodeguide opdeler fejlkilderne ved interviews i: fejl associeret med sampling, dårligt formulerede spørgsmål, måden spørgsmålet stilles på, misforståelser mellem interviewer og informant, hukommelsesproblemer hos den interviewede, måden informationerne optages/registreres på samt fejl og mangler ved analyse og fortolkning af data. Listen fungerer som tjekliste, fordi den fordeler sig på tre tidspunkter: før dataindsamlingen (formål, målgruppe, spørgeguide, sampling), under dataindsamlingen (spørgsmålets form, samspillet mellem interviewer og informant, registreringen) og efter dataindsamlingen (analyse og fortolkning). Går du den igennem punkt for punkt, inden eksperimentet starter, har du dækket de fejlkilder, der ellers først viser sig, når tallene er svære at forklare.

Start med et klart formål og en skarp målgruppe

Formuler først, hvilken beslutning eksperimentet skal understøtte, og hvilken variabel du vil måle ændringen på. Ifølge Metodeguiden på Aarhus Universitet er dårligt formulerede spørgsmål i forhold til formålet en af de almindelige fejlkilder ved interviews – og den opstår, længe før du taler med den første respondent. Skriv derfor ned, hvad der skal kunne konkluderes, og hvad der ikke skal, inden spørgeguiden eller testopsætningen bygges.

En løst defineret målgruppe giver samme type fejl: Forsøger du at ramme "alle", bliver udvalget sammensat af vidt forskellige grupper, og de forskelle, du måler, kan stamme fra gruppesammensætningen snarere end fra det, du testede. En gennemgang af almindelige markedsføringsfejl anbefaler at bruge tid på at undersøge og analysere målgruppens demografi, psykografi, smertepunkter og præferencer, før man går videre. Det giver dig konkrete kriterier at rekruttere efter og de ord og situationer, spørgsmålene skal bygges op omkring.

Stil spørgsmål, der ikke leder eller misforstås

Metodeguiden på Aarhus Universitet peger på fire fejlkilder, der rammer selve spørgsmålet: dårligt formulerede spørgsmål, måden spørgsmålet bliver stillet på, misforståelser mellem interviewer og informant og hukommelsesproblemer hos den interviewede. Alle fire har samme effekt: Svaret afspejler formuleringen, situationen eller hukommelsen i stedet for den holdning eller adfærd, du ville måle. Et spørgsmål om "hvor ofte" kan fx give et tal, der bygger på et gæt, hvis informanten ikke har noget at holde tallet op imod.

Afprøv spørgeguiden på et lille antal personer fra den definerede målgruppe, før feltarbejdet starter. Læs spørgsmålene op, som de skal stilles, og bed deltagerne forklare med egne ord, hvad de tror, der bliver spurgt om – uenighed mellem din hensigt og deres læsning er præcis den misforståelse, Metodeguiden nævner. Ret derefter formuleringer, der er tvetydige eller ledende, og lås guiden, så alle interviews gennemføres med samme ordlyd og rækkefølge. Spørgsmål, der hviler på hukommelsen, bør have et konkret holdepunkt – en periode, en situation eller en liste af svarmuligheder – så svaret ikke bliver et løst overslag.

Styr registrering, sampling og svarprocent

Metodeguiden på Aarhus Universitet nævner fejl associeret med sampling og måden, informationerne optages/registreres på, som selvstændige fejlkilder ved siden af de spørgsmålsrelaterede. Systimes lærebog nævner for lav svarprocent som eksempel. Den er farlig, fordi den ikke bare giver færre svar – den ændrer sammensætningen af svar. Dem, der ikke svarer, adskiller sig typisk fra dem, der gør, og jo lavere svarprocenten er, jo større bliver det mulige spring mellem det målte gennemsnit og den gruppe, du faktisk ville undersøge.

Modvirk det med ensartede procedurer: fast skema for, hvordan besvarelser registreres og kodes, samme instruks til alle, der indsamler data, og en dokumenteret vej fra rå besvarelse til analysefil. Rekrutter målrettet mod den definerede målgruppe i stedet for at tage de første, der er tilgængelige, følg op på frafald undervejs, og registrér grunden, når nogen falder fra eller afviser. Opgør til sidst svarprocent, frafald og bortfald, og læg tallene frem sammen med resultatet, så læseren kan vurdere, hvor meget vægt konklusionen kan bære.

Behandl kreativt indhold som en aktiv variabel

Alexander Faxø, head of impact hos Robert/Boisen & Like-minded, kalder det i et debatindlæg i markedsforing.dk (23. september 2025) en falsk modsætning, at strategi, kreativ udvikling og produktion omtales som "non-working spend", mens medieindrykninger får prædikatet "working spend". Hans pointe er, at udviklingen af indholdet behandles som en udgift i stedet for som en investering – og at det koster på effekten. Som belæg henviser han til data fra EatBigFish og Peter Field: En typisk britisk TV-kampagne baseret på kedelige, rationelle argumenter skal bruge 10 mio. pund mere i medieinvestering for at opnå samme effekt som en mere interessant, følelsesmæssigt engagerende kampagne. Fænomenet kalder de "the extraordinary cost of dull".

Samme debatindlæg citerer britisk IPA (Institute of Practitioners in Advertising) fra 2016 for, at brands med positiv excess share of voice – altså en share of voice større end deres share of market – stod til at vokse i markedsandel, i gennemsnit 0,5 procentpoint pr. 10 procentpoint excess share of voice på tværs af kategorier, mens kreativt stærke kampagner kunne forvente 5,5 % vækst i markedsandele pr. 10 procentpoint excess share of voice. Data fra System1 og Effie viste ifølge samme indlæg, at kampagner, der vækkede stærke følelser, outperformede kampagner uden stærke følelser målt på kommercielle resultater. For et markedseksperiment betyder det, at den kreative udførelse og den følelsesmæssige appel skal indgå som en variabel, der varieres kontrolleret – ikke som en fast kulisse omkring det, du tester. Skal du måle effekten af medieinvestering, så hold udførelsen ens; skal du måle udførelsen, så hold medievægten konstant og sammenlign et rationelt opbygget budskab med et følelsesmæssigt engagerende, så prisforskellen på effekten bliver synlig i dit eget talmateriale.

Effekt af kreativt vs. rationelt budskab – data fra britiske kampagner

Undgå AI-middelmådighed og fejltolkning i analysen

Alexander Faxø fremhæver i markedsforing.dk, at AI kommer til at producere mere og mere indhold – hurtigere og billigere, men også ofte mere ensartet – og at risikoen er et hav af middelmådighed, hvor brands drukner i generiske budskaber. Den risiko rammer også eksperimentet selv: Består teststimuli af flere varianter af det samme generiske budskab, måler du variation mellem udgaver, der ikke adskiller sig på det punkt, der driver effekt. Læg derfor mindst én markant anderledes udførelse ind som benchmark i designet, så forskellen mellem det generiske og det særkende bliver målbar frem for antaget.

Metodeguiden på Aarhus Universitet oplister fejl og mangler ved analyse og fortolkning af data som en selvstændig fejlkilde efter indsamlingen. Håndter den ved at skrive antagelser, afgrænsninger og beslutningsregler ned, før du ser resultaterne – eksempelvis hvilken forskel der skal til, før du kalder et udfald en effekt. Undersøg alternative forklaringer på det fundne mønster, før du forkaster dem, og vær tilbageholdende med at konkludere på små eller skævt sammensatte delgrupper, hvor enkelte svar kan flytte gennemsnittet. Redegør samtidig for svarprocent, frafald og usikkerhed, så læseren kan se, hvor meget af konklusionen der hviler på data, og hvor meget der hviler på antagelser.