Valg af data til videnskabelige undersøgelser

Hvilke data skal man bruge for at lære noget nyt om en empirisk problemstilling? Skal man bruge spørgeskemaer, feltobservationer eller blodprøver for at få sine svar? Hvem og hvor mange skal man spørge, observere eller stikke for at få overbevisende svar? Det er vigtigt, at man vælger sine data godt, så man kan overbevise sine kolleger om resultaternes gyldighed.

I en undersøgelse forsøger man at nå frem til ny viden om en problemstilling ved at studere data, der på en eller anden måde kan bruges til at belyse problemstillingen. Data er empirisk materiale, der er indsamlet og ordnet på en måde, så det kan indgå i en analyse, og data er selvsagt blandt de vigtigste præmisser for en undersøgelses konklusioner. Gyldigheden af en undersøgelses konklusioner kan udfordres, hvis det er uklart, hvordan data siger noget om problemstillingen, eller hvis det er uklart, hvordan undersøgeren har tilvejebragt data til sin undersøgelse.

Når man designer en undersøgelse, er det derfor vigtigt at gøre sig klart, hvilken type data der kan sige noget om problemstillingen, og hvordan man får fat i et passende udvalg af disse data. Det er væsentligt for en undersøgelses troværdighed, at valget af data eksplicit begrundes, så læseren bliver i stand til at kigge undersøgeren over skulderen og evaluere undersøgelsesprocessen og undersøgelsens konklusioner.

Artiklens fokus

I denne artikel vil vi redegøre for tre centrale problemstillinger knyttet til valg og udvælgelse af empirisk materiale til en undersøgelse. Vi behandler disse problemstillinger i artiklens tre dele. Vi sondrer mellem valg af bestemte typer af data og udvælgelse af konkrete data eller datakilder til en analyse. Det gør vi, fordi disse to valg sker på forskellige tidspunkter i undersøgelsesprocessen, og fordi de hver for sig har afgørende indflydelse på undersøgelsens konklusioner (se boks 1 herunder).

I første del af artiklen redegør vi for de overvejelser, der må gå forud for valget af en bestemt type af data. Vi vil påpege, at en undersøgelses gyldighed er afhængig af en teoretisk velbegrundet sammenhæng mellem problemstillingen og den valgte type datamateriale. I anden del af artiklen præsenterer vi forskellige principper for udvælgelse af konkrete data til en undersøgelse. Vi vil argumentere for, at der ikke findes et universelt princip for udvælgelse af datamateriale, men at udvælgelse må tage højde for undersøgelsens overordnede problemstilling og design samt de konkrete muligheder og begrænsninger i undersøgelsessituationen. I tredje del af artiklen argumenterer vi for, at en kritisk analyse af undersøgelsens udvalg og frafald kan styrke en undersøgelses troværdighed. Vi vil løbende præsentere sundhedsvidenskabelige undersøgelser for at eksemplificere centrale pointer.

Valg af en bestemt type empirisk materiale

Udviklingen af en problemstilling og et forskningsdesign foregår som en dynamisk proces mellem litteratursøgning, det praktisk og etisk mulige samt undersøgerens målsætning og teoretiske verdenssyn (1). Dette indledende arbejde fører til valget af en bestemt type datamateriale. Formuleringen af en problemstilling og designet af en undersøgelse lægger på forskellige måder op til forklaring, beskrivelse, forståelse og/eller forandring af en problemstilling og lægger samtidig op til en indsamling af bestemte typer af data, f.eks. tekster, interviewudsagn, feltobservationer, målinger mv.

I forhold til valget af en bestemt type empirisk materiale er det vigtigt at redegøre teoretisk for, hvordan det empiriske materiale siger noget om problemstillingen. Hvis man f.eks. arbejder ud fra problemstillingen: "Er der en sammenhæng mellem personlighed og angstsymptomer hos angstpatienter?" må man først afklare teoretisk, hvad angstpatienters "symptomer" og "personlighed" er. Hvis man vælger at bruge spørgeskemaer udviklet til at indsamle data om disse begreber, er der en direkte sammenhæng mellem problemstillingen og valget af denne type data. Der findes ofte flere forskellige typer data, der kan sige noget relevant om en given problemstilling, og undersøgeren i dette eksempel må afgøre, om det ville være mere relevant at erstatte nogle af spørgeskemaerne med semi-strukturerede interview, der også adresserer angstpatienternes symptomer og personlighed.

En anden problemstilling kunne være: "Hvilke sundhedsopfattelser har mandlige patienter?" Ligesom i det foregående eksempel må der ske en teoretisk afklaring af, hvad en "sundhedsopfattelse" er, så man er sikker på at indsamle data, der rent faktisk omhandler sundhedsopfattelser. Det kan være, at man vælger at indsamle data ved hjælp af et spørgeskema eller et interview. Det synes intuitivt korrekt at vælge at indsamle data fra mandlige patienter, og der er ikke noget i problemstillingen, der afgrænser, hvilke mandlige patienter der skal udvælges.

Det kan synes indlysende at vælge en type empirisk materiale, der belyser en problemstilling direkte, men af og til indgås der så mange kompromiser undervejs i udviklingen af et forskningsdesign, at sammenhængen mellem problemstillingen og det empiriske materiale forskydes og bliver mindre tydelig. Der kan være mange forskellige grunde til sådanne forskydninger, men de er for det meste forbundet med en uvillighed hos undersøgeren til at redefinere sine planer, når de ønskede vilkår for undersøgelsen ikke er til stede.

At besvare det forkerte spørgsmål

F.eks. er det ofte mere besværligt (etisk og praktisk) at undersøge patienter end sygeplejepersonale, og det er derfor ikke usædvanligt at se en undersøgelse, hvor mandlige patienters sundhedsopfattelser er undersøgt ved at spørge de sygeplejersker, der plejer dem. Der kan måske argumenteres for, at det er teoretisk muligt at undersøge en persons sundhedsopfattelse ved at spørge en anden person, men det giver ikke intuitivt mening at lede efter svar på problemstillingen på denne indirekte måde. Der begås med andre ord en "Type III-fejl", som det hedder i forskerjargon: Nemlig, at man i sin undersøgelse besvarer det forkerte spørgsmål (2). Hvis det af praktiske grunde ikke er muligt at spørge de mandlige patienter om deres sundhedsopfattelser, kunne problemstillingen skrives om til "sygeplejerskers opfattelser af indlagte mænds sundhedsopfattelser." Dette ville sikre en direkte sammenhæng mellem problemstillingen og datamaterialet, men vil samtidig gøre det tydeligt, at det måske ikke er helt så relevant at lave undersøgelsen.

I mange studier bruges den indledende afklaring af, hvilken type data der skal arbejdes med, også til at definere en ideel population. Den ideelle population består af alle potentielle data (eller kilder til data) af den rigtige type. Hvis man f.eks. vil arbejde med angstpatienters symptomer, kunne data, som beskrevet tidligere, bestå af spørgeskemabesvarelser. Den ideelle population vil her være alle angstpatienter, som er den potentielle kilde til disse data. I praksis kan det imidlertid være vanskeligt at få adgang til den ideelle population, og man nøjes i de fleste studier med en mindre studiepopulation, som er de data (eller kilder til data), som undersøgeren i praksis får adgang til og kan udtale sig om efterfølgende. Studieudvalget er den del af studiepopulationen, som undersøgeren ved hjælp af forskellige udvælgelsesstrategier lader indgå i studiet. Hele studieudvalget indgår ikke nødvendigvis i en undersøgelse, da der af forskellige grunde kan ske et frafald under dataindsamlingen, og udvalget er den del af studieudvalget, der faktisk indgår i studiets analyse (se boks 2).

Tag med ud og fisk

Udvælgelse kan med en metafor beskrives som at fiske. Den valgte type af data svarer til en særlig slags fisk, og den ideelle population er enhver af denne slags fisk. En undersøgelsespopulation kan sammenlignes med at fiske i et akvarium. Et akvarium kunne være alle patienter i et bestemt geografisk område, en selvhjælpsgruppe, en hospitalsafdeling, en region osv. Det er vigtigt, at undersøgeren fisker efter sit udvalg i et relevant akvarium, og at vedkommende fisker med et redskab, så netop de ønskede fisk fanges.

Der er altid metodologisk teori knyttet til konkrete udvælgelsesmetoder, men de forbliver ofte implicitte, når studiet afrapporteres. I det følgende afsnit beskriver vi de overordnede strategier for udvælgelse af konkret empirisk materiale inden for hhv. den kvantitative og kvalitative forskningstradition.

Udvælgelse af empirisk materiale

Inden for sundhedsvidenskabelig forskning skelnes normalt mellem repræsentativ udvælgelse og formålsrettet udvælgelse. Repræsentativ udvælgelse anvendes i kvantitative studier, hvor udvælgelse handler om at finde frem til en tilstrækkeligt stor stikprøve, der ikke er "skæv" (biased) af sociale forhold ved undersøgelsen. Der er derfor udviklet en række metoder til at sikre og kontrollere, at stikprøven er repræsentativ, og at resultaterne ved hjælp af statistiske beregninger kan generaliseres til en større population. Formålsrettet udvælgelse bruges i kvalitative studier og handler om at undersøge et for undersøgelsen relevant og informationsrigt udvalg. Det formålsrettede udvalg skal sikre, at der arbejdes med et datamateriale, der kan føre til en væsentlig og dybere forståelse af et fænomen. Generalisering af kvalitative resultater er hyppigst analytisk og baseret på en assertorisk logik, dvs. at undersøgeren skal kunne argumentere for, hvordan og i hvilket omfang resultaterne kan overføres til andre sammenhænge (3).

Vi anerkender de fundamentale forskelle mellem udvælgelsesstrategierne i de videnskabelige traditioner, men vil i det følgende påpege en glidende overgang mellem traditionernes strategier for udvælgelse. Vi har valgt at benævne de ting, der udvælges, som elementer. Det gør vi for at pointere, at der kan være tale om alle mulige typer af data, f.eks. tekststykker, observerede handlinger eller blodprøveværdier, og datakilder, f.eks. sygehusafdelinger, familier eller individer.

Det er meget vanskeligt at bruge litteraturen til at nå frem til en række gode og dækkende termer for de forskellige måder, udvælgelse foregår på. Termer som f.eks. "formålsrettet", "kriteriebestemt" og "bekvemmelighedsudvælgelse" bliver defineret vidt forskelligt af forskellige forfattere (4,5). Endvidere er oversigter sjældent logisk sammenhængende, da der f.eks. ikke skelnes mellem principper for udvælgelse og udvælgelsesmetoder. I det følgende forbinder vi repræsentativ udvælgelse og formålsrettet udvælgelse med tre overordnede typer af udvalg og påpeger, at der er et vist overlap mellem de to videnskabelige traditioner. Vi forklarer forskellene mellem de tre typer udvalg ved at gøre rede for de grundlæggende principper, der styrer dem, og vi beskriver nogle af de mest almindelige metoder til udvælgelse (se boks 3).

Fra stikprøve til studiepopulation

Det centrale formål ved repræsentative udvalg er, at man ved hjælp af statistiske metoder kan generalisere fra en stikprøve (udvalget) til den studiepopulation, hvorfra stikprøven er trukket (se boks 3).

I de statistiske beregninger tages der højde for usikkerhed forbundet med stikprøvens størrelse. For at kunne generalisere statistisk er det afgørende, at den naturligt forekommende variation i stikprøven og populationen er den samme. For at undgå at udefrakommende faktorer spiller ind på stikprøvens sammensætning, udtrækkes stikprøven tilfældigt og/eller med forskellige systematikker.

• Tilfældige stikprøver: Her har alle populationens elementer samme sandsynlighed for at blive udtrukket til stikprøven. Stikprøven udtrækkes som i et lotteri.
• Systematiske stikprøver: Her er princippet at udtage stikprøven med en systematik. Forudsætningen er, at der er register over populationen, hvorfra man typisk udtager hvert n'te element, f.eks. hvert femte element i registeret.
• Stratificerede stikprøver: Når man udtager en stratificeret stikprøve, har man en viden om populationen i forvejen, som man vil bruge i udvælgelsen. Hvis man ved, at en population fordeler sig i flere grupper (strata), sørger man for, at stikprøven indeholder relativt lige mange elementer fra hver gruppe i populationen. Hvis en population f.eks. indeholder 54 pct. kvinder, vil en stratificeret udvælgelse betyde, at man udvælger en stikprøve med 54 pct. kvinder. Det betyder, at man med større sikkerhed kan udtale sig om de undersøgte grupper.

Kriteriumudvalg

I en kriteriumudvælgelse udvælger man elementer ud fra veldefinerede kriterier (se boks 3). Formålet er at sige noget generelt om den afgrænsede studiepopulation, som elementerne er udvalgt fra. Der kan generaliseres statistisk til en studiepopulation på grundlag af et kriteriumudvalg. Der vil imidlertid ofte være betydelig statistisk usikkerhed knyttet til disse generaliseringer, og det adskiller et kriteriumudvalg fra et repræsentativt udvalg. Kriteriumudvælgelse kan styrke en analytisk generalisering, da de klare kriterier kan styrke udviklingen af begreber og lette sammenligninger med eksisterende teori.

Man kan opstille kriterier alt efter undersøgelsens formål. Der er stor forskel på, om man vil undersøge variationen af et fænomen eller det typiske ved et fænomen, og det skal kriterierne afspejle. Man kan ønske et udvalg med typiske elementer, hvor man opstiller kriterier for de mest normale elementer. Der kan fokuseres på afvigende elementer, hvor man opstiller kriterier, der identificerer de unormale elementer. Med et homogent udvalg tilstræber man at få en gruppe af ensartede elementer, og modsat kan der fokuseres på maksimal variation, hvor man tilstræber at få den mest forskelligartede gruppe af elementer.

Der findes to overordnede principper i forhold til at foretage kriteriumudvalg. Det pragmatiske princip betyder, at man udvælger blandt dem, der opfylder de opstillede kriterier ud fra et pragmatisk hensyn, f.eks. økonomiske, tidsmæssige og andre ydre omstændigheder. Ud fra et systematisk princip udvælger man elementerne ud fra en fastlagt systematik eller fremgangsmåde. Ud fra en blanding af disse principper kan man benytte forskellige metoder til udvælgelsen. Der kan være forskellige metoder i spil i samme udvælgelsesstrategi (se boks 4 ).

• Forskerselektion vs. selvselektion: I en forskerselektion er det forskeren, som på baggrund af sine kriterier identificerer elementerne. I selvselektionen er det elementerne, i dette tilfælde informanter, der identificerer sig selv ved at respondere på en indbydelse til at deltage, f.eks. via et opslag eller en annonce.
• Gruppeudvælgelse vs. kædeudvælgelse: Under en gruppeudvælgelse udvælger forskeren selv de elementer, der opfylder kriterierne. I en kædeudvælgelse hjælper det ene element aktivt undersøgeren med at finde det næste.
• Kvotaudvælgelse: I denne metode udvælger man elementer, der passer til de demografiske data. Dvs. at hvis man vil interviewe depressive mennesker og ved, at dobbelt så mange kvinder er depressive som mænd, ønsker man ligeledes denne fordeling i udvælgelsen (se boks 4).

Progressive udvalg

Det centrale formål ved progressive udvalg er, at udvælgelseskriterierne er fleksible og forandres i takt med, at man får større viden og erfaring i dataindsamlingen og -analysen (se boks 3). Princippet er opportunisme, da man konstant lærer nyt om feltet og bruger indsigten til aktivt at søge de elementer, der bedst beskriver den foranderlige målsætning for den fortsatte analyse. Progressive udvalg bruges primært i eksplorative feltstudier, hvor undersøgeren har en længerevarende kontakt med feltet (se boks 5).

• Udvælgelse af nøgleelementer er en metode, hvor man ved at arbejde i et felt finder frem til nøgleelementer, som har særlig indsigt, erfaring eller egenskaber, der kan give undersøgeren særlig viden om problemstillingen. Hvis elementet er en person, kan vedkommende eventuelt fungere som en gate-keeper og give adgang til andre personer.
• Teoretisk udvælgelse er en metode, der benyttes inden for Grounded Theory. I takt med at der i analysen genereres nye kategorier, udvælges elementer, så kategorierne kan udforskes i forskellige sammenhænge (se boks 5).

Et centralt spørgsmål i forbindelse med udvælgelse er: "Hvor mange er der brug for?"

Der findes intet entydigt svar på spørgsmålet, da det kommer an på en række forhold i undersøgelsens design og problemstilling. I alle undersøgelser må udvalgets størrelse afvejes i forhold til de tilgængelige ressourcer.

I en kvantitativ undersøgelse, hvor målet er at lave en statistisk generalisering af resultaterne, er størrelsen af et udvalg afhængig af, hvor stor usikkerhed man vil acceptere i sine konklusioner. De vigtigste faktorer er:

1. Variationen i datamaterialet. Hvis datamaterialet er uensartet, er det sværere at identificere forskelle, og derfor er der brug for et større udvalg.
2. Stikprøvens størrelse i forhold til studiepopulationen. Når størrelsen på en stikprøve øges, øges muligheden for at identificere forskelle i datamaterialet.
3. Størrelsen på det fænomen, man ønsker at identificere. Hvis man ønsker at kunne identificere relativt små forskelle, er der brug for et større udvalg (6).

Der er ingen regler for et udvalgs størrelse i en kvalitativ undersøgelse. Størrelsen af et udvalg er afhængig af undersøgelsens formål, og hvad der vil virke troværdigt (4). Hvis formålet med en undersøgelse f.eks. er at vise, hvordan et socialt fænomen kan erfares, kan et singlecase-design være tilstrækkeligt, fordi et enkelt informationsrigt eksempel kan give indsigt i denne erfaring. Gyldigheden af en kvalitativ undersøgelse er knyttet mere til kvaliteten af datamaterialet og undersøgerens analytiske kompetencer end til udvalgets størrelse.

Vi har nu argumenteret for, at der findes tre overordnede typer af udvælgelse og har forbundet dem med forskellige forskningstraditioner. I det følgende redegør vi for, hvordan man kan analysere og reflektere over udvalgets og frafaldets karakteristika som et led i en validering af undersøgelsen.

Analyser af udvalg og frafald

Når dataindsamlingen er afsluttet, er det relevant at analysere udvalgets karakteristika ved at sammenligne dem med den eksisterende viden om den ideelle population og studiepopulationen. Disse sammenligninger handler ikke nødvendigvis om at påpege ugyldige eller utroværdige udvalg, men om at gøre undersøgeren bevidst om særlige forhold ved studiets udvælgelsesstrategier. Målet er at blive i stand til at udlægge resultaterne troværdigt og argumentere for resultaternes generalisérbarhed/overførbarhed.

I langt de fleste situationer, hvor der arbejdes med en veldefineret studie-population, vil det være muligt at indhente generel baggrundsviden om den ideelle population, som kan sammenholdes med udvalgets karakteristika. Det kan være i form af demografiske beskrivelser eller viden om en sygdoms prævalens og incidens, og det kan f.eks. vise sig, at der i et udvalg indgår overraskende og usædvanligt mange unge mennesker. Sammenligningen kan på den måde inspirere undersøgeren til at reflektere over, hvordan det kan være, at der er disse forskelle, og hvordan resultaterne skal tolkes på den mest afbalancerede måde.

I mange situationer har undersøgeren en mere detaljeret viden om studiepopulationen. Hvis der er tale om en undersøgelse af en patientgruppe på en hospitalsafdeling, vil det være relativt enkelt at få adgang til basale ikke-personhenførbare data om hele studiepopulationen, f.eks. diagnose, køn og alder på alle patienter indlagt i studieperioden. En sammenligning af (studie-)udvalget og studiepopulationen vil kunne give et præcist billede af forskellene og pirre undersøgeren til at reflektere videre over udvalgets karakteristika (se boks 6). 

Udtrykt med akvarium-metaforen har vi i dette afsnit beskrevet, at undersøgeren med fordel kan sammenligne sin fangst med alle de andre fisk i havet og i akvariet. I det følgende vil vi lægge op til en ekstra undersøgelse af de fisk, der ikke bed på krogen trods undersøgerens anstrengelser.

De fisk, der ikke bed på krogen

Frafald er en betegnelse for de elementer, der skulle have været en del af analysen, men som af forskellige årsager ikke blev det. Et udvalg vil nemlig altid få bestemte karakteristika som følge af selve udvælgelsesproceduren, og det er vigtigt at reflektere over, hvilke konsekvenser det har for undersøgelsens fund. Hvis man f.eks. inviterer en gruppe personer til at deltage i et interviewstudie, vil der være grupper af personer, som typisk vil vælge at deltage, og nogle, som typisk vælger sådan et studie fra.

Invitationen til at deltage i interviewundersøgelsen fører med andre ord til to grupper, og det er undersøgerens opgave at undersøge det særlige ved grupperne ved også at analysere dem, der ikke ville være med i studiet.

Det kan være, at en frafaldsanalyse viser, at betydelige dele af en studiepopulation ikke blev undersøgt, fordi de ikke orkede at deltage i studiet, eller at en gruppe informanter ikke var med, fordi indbydelsen var formuleret kryptisk og for svær at forstå (se boks 7).

Det kan med andre ord give indsigt at analysere undersøgelsens udvalg og frafald, efter at dataindsamlingen er afsluttet.

Man skal reflektere systematisk over udvalget

Vi har argumenteret for, at der findes nogle få overordnede principper for valg og udvalg af materiale til empiriske undersøgelser, og at disse principper må være i overensstemmelse med undersøgelsens design og problemstilling. Hvis principperne ikke matcher undersøgelsens design og problemstilling, vil der blive rejst tvivl om undersøgelsens gyldighed og troværdighed samt mulighederne for at generalisere/overføre fundene til lignende sammenhænge. Det bliver med andre ord uklart, i hvilken grad undersøgelsen siger noget om undersøgelsens problemstilling, og i hvilket omfang fund kan sige noget alment om de undersøgte fænomener.

Der er forskellige traditioner for, hvor meget en undersøger skal reflektere over, begrunde og analysere sit udvalg. Vi har her lagt op til generelle analysestrategier, hvor undersøgeren som minimum reflekterer systematisk over sit udvalg og de konsekvenser, udvalgets karakteristika kan have for analysens resultater.

Niels Buus er postdoc i humanistisk psykiatriforskning ved Forskningsenheden Helbred, Menneske, Samfund, Institut for Sundhedstjenesteforskning, Syddansk Universitet.

Camilla Blach Rossen og Ellen Boldrup Tingleff er adjunkter ved VIA University College, Sygeplejerskeuddannelsen Silkeborg.
Lisbeth Rostgaard er postdoc ved Forskningsenheden
Helbred, Menneske, Samfund, Institut for Sundhedstjenesteforskning, Syddansk Universitet.

Litteratur

1. Buus N, Kristiansen HM, Tingleff EB, Rossen CB. Litteratursøgning i praksis - begreber, strategier og modeller. Sygeplejersken 2008;(10): Indstik1-8.
2. Maxwell JA. Qualitative research design. An interactive approach. 2 ed. Thousand Oaks: SAGE; 2005.
3. Kvale S. InterView. En introduktion til det kvalitative forskningsinterview. København: Hans Reitzels Forlag; 1997.
4. Patton MQ. Qualitative research and evaluation me--thods. Thousand Oaks: Sage; 2002.
5. Kruuse E. Kvantitative forskningsmetoder. 6 ed. København: Dansk psykologisk Forlag; 2007.
6. Bernard HR. Research methods in anthropology. Walnut Creek: Rowman & Littlefield; 1995.
7. Kramundersøgelsen. København: Statens Institut for Folkesundhed; 2009 [cited 2009 1 marts].
8. Karp DA. Speaking of sadness. Depression, disconnection, and the meaning of illness. Oxford: Oxford University Press; 1996.
9. Tingleff EB. En kvalitativ undersøgelse af nyuddannede sygeplejerskers oplevelser af overgangen fra studerende til nyuddannet i psykiatrien. Århus: Aarhus Universitet; 2008.