Test og forsøg: opbyg eksperimenter med dokumenteret effekt

Hvorfor teste og eksperimentere?

Test og forsøg skal ikke skabe aktivitet, men dokumentation. Forskellen er, om man kan sige »vi gjorde noget«, eller om man kan sige »vi gjorde noget, og vi kan vise, at det flyttede noget«. Den forskel er afgørende, hvad enten det drejer sig om undervisning, en indsats på en arbejdsplads eller et praktisk forsøg i et faglokale.

I undervisningen er den eksperimenterende tilgang et mål i sig selv. I »Eksperimenter i madkundskab«, skrevet af Camilla Damsgaard og Susanne Tønneskov Hansen, skriver forfatterne i forordet, at »at eksperimentere bidrager til, at eleverne gennem deres undersøgelser tilegner sig viden og erfaringer, de kan anvende og overføre til andre sammenhænge«. Anmeldelsen nævner også, at eksperimenter indgår i Fælles mål for valgfaget. Forfatterne mener desuden, at en eksperimenterende tilgang kan styrke den enkelte elevs engagement og nysgerrighed.

Vil man vide, om en indsats faktisk virker, er det ikke nok at beskrive, hvad man gjorde. Så kommer effektundersøgelsen ind. Holger Juul, lektor ved Center for Læseforskning på Københavns Universitet, formulerer det sådan, at effektundersøgelser på undervisningsområdet indebærer, at man sammenligner mindst to grupper. Først da kan man tale om en effekt og ikke bare om en oplevet fremgang.

Fra spørgsmål til hypotese

Et forsøg starter ikke med udstyr, men med et spørgsmål, der kan besvares. Spørgsmålet skal være så konkret, at man kan forestille sig et resultat, der ville tale imod ens egen forventning. Ellers risikerer man bagefter at læse ethvert udfald som en bekræftelse.

Før forsøget skal forventningen formuleres og skrives ned. Materialet om eksperimenter i madkundskab beskriver, at eleverne skal forstå konceptet »at danne sig en hypotese«, og at de allerede inden forsøget skal kunne drøfte, hvad de forventer, der sker. Hypotesen er derfor ikke en facitliste, men et kvalificeret bud, som forsøget skal udfordre.

Lige så vigtigt er det at skabe rum for tanke og refleksion over det undersøgte. Ifølge materialet er det afgørende for, at eleverne får optimalt udbytte af undervisningen. I praksis betyder det, at man planlægger et fast punkt i forløbet, hvor deltagerne vender tilbage til hypotesen: Holdt den? Hvad overraskede? Hvad ville vi gøre anderledes næste gang?

En hypotese bør formuleres, så den kan testes med de målinger, man faktisk har adgang til. Kan man ikke måle det, hypotesen handler om, må man enten ændre hypotesen eller finde en anden målemetode, før forsøget begynder.

Design med sammenligningsgruppe

Grundprincippet i en effektundersøgelse er enkelt: Man skal have noget at sammenligne med. Holger Juul beskriver, at effektundersøgelser indebærer, at man sammenligner mindst to elevgrupper – en gruppe, der har fået en bestemt slags undervisning, og en sammenligningsgruppe, som i samme periode har fået en anden slags undervisning, eller som eventuelt slet ikke er blevet undervist.

Konklusionen hviler på forskellen mellem grupperne. Hvis de underviste elever går mere frem end sammenligningsgruppen, dokumenterer det en positiv effekt – forudsat at undersøgelsen ikke er fejlbehæftet. Findes der ingen forskel i forhold til sammenligningsgruppen, er der ikke dokumentation for nogen effekt.

Det sidste forbehold er ikke en formalitet. Hele konklusionen afhænger af, at de to grupper er sammenlignelige, at de måles på samme måde, og at der i perioden ikke er sket noget andet med den ene gruppe, som den anden ikke har været udsat for. Derfor bør man på forhånd beskrive, hvordan grupperne er dannet, hvad hver gruppe får, og hvordan man måler.

I praksis kan sammenligningsgruppen antage flere former: Den kan få en anden, velbeskrevet indsats af samme omfang, eller den kan fortsætte som hidtil. Det afgørende er, at forskellen mellem grupperne er tydeligt beskrevet, så andre kan vurdere, hvad der egentlig blev sammenlignet.

Mål det, der skal ændre sig

Før forsøget skal man beslutte, hvad der skal måles, og hvordan. Målingen skal kunne foretages både før og efter indsatsen og på samme måde i alle grupper; ellers kan fremgangen ikke sammenlignes. Det er også en fordel at bruge samme opgaver eller samme vurderingsskema i alle grupper og at blive enige om bedømmelsen, inden man ser resultaterne.

Stavning er et godt eksempel på, hvordan man kan undersøge, om en bestemt undervisning gør en forskel sammenlignet med en anden gruppe. I artiklen »Om effekten af at undervise i stavning« tager Holger Juul udgangspunkt i den udbredte opfattelse, at traditionel staveundervisning ikke har nogen effekt. Han citerer blandt andet DPU-forskeren Simon Skov Fougt, der i Weekendavisen den 29. april 2016 siger: »Der foreligger massiv forskning siden 1897, som dokumenterer, at man ikke lærer at stave gennem gentagen træning ude af kontekst. Man lærer at stave ved at skrive og læse i kontekst«. Juul nævner også et blogindlæg af en anden DPU-forsker, Jeppe Bundsgaard, med overskriften »Staveundervisning er spild af tid«, hvor der henvises til en amerikansk undersøgelse af J. M. Rice fra 1897.

Juuls egen konklusion er den modsatte: at lærere, der underviser i stavning, er i god overensstemmelse med moderne forskning. Samtidig oplyser han, at han er forfatter til en række staveundervisningsmaterialer, hvilket kan tænkes at påvirke hans dømmekraft, men at artiklen udelukkende bygger på andres forskning. Eksemplet viser, hvorfor målinger og sammenligningsgrupper er nødvendige: Uden dem bliver diskussionen en meningsudveksling mellem positioner.

Vælg et lille antal indikatorer, som direkte afspejler det, indsatsen skal ændre – ikke alt, hvad man kunne ønske sig at vide. Noter samtidig, hvornår målingen er taget, hvem der har taget den, og hvordan den er bedømt. Den slags oplysninger gør det senere muligt at vurdere undersøgelsen.

Forskelle mellem traditionel og kontekstbaseret staveundervisning

Forsøg i praksis: gær og rødkål

Et forsøg kan bygges op efter samme skabelon, hvad enten det foregår i et klasselokale eller i et faglokale: først en hypotese, så selve forsøget og til sidst en refleksion over, hvad der skete i forhold til forventningen. Det er netop den rækkefølge, materialet om eksperimenter i madkundskab følger. Materialet består af to dele – en teoribog til læreren og en ressourcebog, hvor siderne er beregnet til elevernes skriftlige opdagelser – og det indeholder 10 forskellige emner. Det første emne handler om forsøg med gær, og det andet om rødkål og pH-værdi. Ifølge anmeldelsen af materialet minder gærforsøget meget om et lignende forsøg, som Clio har haft på deres portal i flere år.

Forfatterne bag materialet understreger, at teori og praktisk arbejde ikke konkurrerer. For at eleverne kan opnå de rette kompetencer, skal teorien ifølge bogen højnes og kvalificeres på lige fod med det praktiske arbejde i faget. Samtidig fremhæves det, at teorien ikke tilegnes alene ved at læse bøger eller lytte til oplæg – den sker i høj grad gennem undersøgende og eksperimenterende tilgange, som åbner for fordybelse, variation og alsidige læreprocesser.

I praksis betyder det, at det praktiske forsøg og den faglige forklaring skal følges ad. Et gærforsøg giver kun fagligt udbytte, hvis eleverne ved, hvad de forventer, hvad de observerer, og hvordan observationerne kan forklares med fagets begreber. Det samme gælder arbejdet med rødkål og pH-værdi, hvor den faglige forklaring også er nødvendig.

Uanset emne bør læreren på forhånd have besluttet, hvad der skal skrives ned undervejs, og hvordan resultaterne skal fastholdes. Ressourcebogens sider til elevernes skriftlige opdagelser er netop et svar på det behov: Dokumentationen opstår, mens forsøget foregår, og ikke som en eftertanke bagefter.

Data over tid og statistisk usikkerhed

En enkelt måling er sjældent nok til at dokumentere en effekt. Resultater svinger af grunde, der ikke har noget med indsatsen at gøre – hvem der tilfældigvis var til stede, hvordan dagen forløb, hvordan opgaven blev opfattet. Derfor bør man følge udviklingen over tid og gentage målingen, før man konkluderer.

Når man arbejder med skolers resultater, er det god praksis at se på resultater fra eksempelvis de sidste tre år, før man begynder at drage konklusioner om skolens resultater. I den sammenhæng nævnes også statistisk signifikans. Pointen er den samme, uanset om man ser på en skoles resultater eller på et enkelt forsøg: Man skal ikke lægge for meget i ét enkelt års tal.

Statistisk usikkerhed betyder ikke, at man skal undlade at konkludere. Det betyder, at konklusionen skal stå i forhold til datagrundlaget. Med få deltagere og én måling er der grund til forsigtighed; med flere grupper, gentagne målinger og ensartede betingelser bliver grundlaget stærkere.

I praksis kan man planlægge sig ud af en del af usikkerheden ved på forhånd at beslutte, hvor mange gange der skal måles, hvornår målingerne falder, og hvad der skal ske, hvis resultaterne peger i hver sin retning. Beslutninger truffet før forsøget er mere troværdige end beslutninger truffet, efter man har set tallene.

Tolkning, fejlkilder og fravær af effekt

Der er en vigtig grænse for, hvad en undersøgelse kan vise. Holger Juul illustrerer den med en sammenligning: Man kan ikke dokumentere, at Loch Ness-uhyret ikke findes. Uanset hvor længe og hvor grundigt man har trawlet Loch Ness igennem, kan man aldrig være helt sikker på, at der ikke var noget, man overså – men man kan rapportere, at man trods alle anstrengelser ikke har fundet noget uhyre.

Tilsvarende kan man ikke som sådan dokumentere, at en bestemt form for undervisning er virkningsløs. Man kan gennemføre undersøgelser af undervisning og rapportere, om man fandt en effekt eller ej. At man ikke har fundet en forskel, er altså ikke det samme som bevis for, at der ingen effekt er. Det er en rapport om, hvad undersøgelsen viste.

Derfor er fejlkilder centrale for tolkningen. Juuls konklusion om positiv effekt gælder kun »forudsat at undersøgelsen ikke er fejlbehæftet«. Man bør derfor systematisk gennemgå, om grupperne var sammenlignelige ved start, om begge grupper blev målt på samme måde, om der skete noget andet med den ene gruppe i perioden, om nogen faldt fra undervejs, og om den, der målte, var påvirket af at vide, hvem der havde fået hvad.

Et ærligt forbehold styrker formidlingen. Det er bedre at skrive, at man ikke fandt en effekt, og hvilke usikkerheder der var, end at konkludere, at indsatsen ikke virker. Sidstnævnte er en konklusion, som undersøgelsens design sjældent kan bære.

Rapportering og formidling

Dokumentationen skal skrives ned, så andre kan læse den. En brugbar opbygning følger forsøgets gang: Hvad var hypotesen, hvordan blev forsøget designet, hvordan blev deltagerne fordelt i grupper, hvordan blev der målt før og efter, og hvad blev konklusionen. Hver del bør være så konkret, at en anden kan gentage forsøget eller vurdere det.

Forbeholdene hører med i rapporten, ikke i en fodnote. Læseren skal kunne vurdere, om undersøgelsen er fejlbehæftet, og om der er dokumentation for positiv effekt. Det betyder, at man skal oplyse, hvordan grupperne blev dannet, hvornår målingerne fandt sted, hvor mange deltagere der var med hele vejen, og hvordan resultaterne blev bedømt.

Åbenhed om interesser er en del af troværdigheden. I sin artikel oplyser Holger Juul, at han er forfatter til en række staveundervisningsmaterialer, hvilket kan tænkes at påvirke hans dømmekraft, og at artiklen dog udelukkende bygger på andres forskning. Den slags oplysninger hjælper læseren med at vurdere, hvordan konklusionen skal læses.

Endelig bør man skelne skarpt mellem resultater og fortolkning. Rapportér først, hvad der blev målt, og hvilken forskel der blev fundet – eller ikke fundet. Formulér derefter, hvad man mener, det betyder, og hvad man ikke kan sige på det foreliggende grundlag. En undersøgelse, der ikke fandt en effekt, skal formidles som netop det, og ikke som et bevis for, at indsatsen er virkningsløs.