Erfaringer med systematisk brugerevaluering

Herlev Sygeplejeskole fik bevilget midler til at udvikle evalueringssystemet. Foto: Søren Svendsen.

Hvad enten man kan lide tanken eller ej, ser det ud til, at en systematisk evaluering bliver et krav til sygeplejeskolerne rundt om i landet. Evalueringerne ønskes gennemført efter fastlagte metoder, således at skolernes studienævn og ledelse kan anvende indsamlede data til kvalitetssikring af uddannelsen.

På Københavns Amts Sygeplejeskole i Herlev er vi to sygeplejelærere, der i samarbejde med studerende, kollegaer og ledelse har udviklet et systematisk evalueringsredskab til brug i sygeplejerskeuddannelsen af 1990, som kan danne grundlag for en kvalitetsudvikling af uddannelsen.

Evaluering er ikke et nyt fænomen. På vores sygeplejeskole har der altid været tradition for at evaluere. Denne har hidtil foregået som en intern proces mellem de studerende og lærerne på de enkelte hold, men i bestræbelserne på at få øget styringsredskaberne i kvalitetsudviklingen savnedes en øget systematisering og synliggørelse af resultaterne. I foråret 1993 indledte vi et udviklingsprojekt om evaluering (1). Behovet for et evalueringsredskab blev dengang understøttet af publikationer fra evalueringscentret, hvorfra vi også modtog vejledning.

Sidenhen har udviklingen vist behovet for den systematiserede brugerevaluering, bl.a. på evalueringscentrets konference om Kursusevaluering afholdt den 20. maj 1996 (2), samt i Undervisningsministeriets evalueringsrapport vedrørende sygeplejerskeuddannelsen. I den indledende projektfase søgte vi med held Københavns Amts Udviklingspulje, hvor vi fik bevilget 60.000 kroner til projektet. Pengene er blevet anvendt til Magisterforeningens kurser i spørgeskemaundersøgelse og kurser om kvalitative undersøgelser, samt til indkøb af edb-udstyr og databearbejdningsprogrammer.

Spørgeskemaets opbygning

Udviklingsprojektets endelige produkt er tre standardiserede spørgeskemaer, som de studerende anonymt besvarer efter 1., 2. og 3. uddannelsesafsnit. Hvert uddannelsesafsnit består af teori og praktik. Spørgeskemaet er delt op i syv hovedområder:

1. Uddannelsens opbygning: Her ønskes en evaluering af den indlæringsmæssige værdi i forhold til uddannelsesafsnittets opbygning og mål.
2. Pædagogiske principper: Her ønskes en evaluering af projektarbejdsformen, projektarbejdets kombination med diverse undervisningsoplæg og deltagerstyring.
3. Din egen indsats i forhold til...: Her ønskes refleksion over egen indsats.
4. Undervisning/Vejledning (Faglærere/sygeplejelærere): Her ønskes en evaluering af undervisningsplanlægning og undervisningsindholdets relevans, undervisernes faglige og pædagogiske formidling ved vejledning/undervisning samt udbyttet af egne og andres fremlæggelser af opgaver og projekter, samt lærernes evalueringer af disse.
5. Studiemiljø: Introduktionen på skolen, biblioteket, studievejledningen, tryghed i klassen m.v.
6. Praktikken: Studieværdien af praktikdelen hvad angår samarbejde med kontaktsygeplejerske, sygeplejelærer og afdelingen som helhed.
7. Ekstern prøve. Tilfredshed med eksaminators og censors funktion.

Svarkategorierne er udformet som en intervalskala, med fem svarmuligheder, henholdsvis 'Særdeles tilfreds', 'meget tilfreds', 'Delvis tilfreds', 'Meget utilfreds' samt 'Særdeles utilfreds' (3). Hvert område indeholder 6-10 hovedspørgsmål, og der er ikke mulighed for skriftlige kommentarer.

Side 31

Der er afsat en time af undervisningstiden til afkrydsning af spørgeskemaet, hvilket hidtil har medført en svarprocent på ca. 80-95 pct.

Svarbearbejdelsen

Efter at skolens sekretærer har håndtalt data, opgøres disse procentvis, dels for det enkelte hold, dels for det samlede indtag (3-4 hold). Disse visualiseres ved hjælp af søjlediagrammer. Der er udarbejdet vejledninger til, hvorledes svarene kan krydstabuleres dvs. kobles på forskellig vis for at perspektivere og nuancere de enkelte områder. Svarene fra samme uddannelsesafsnit kan sammenlignes fra semester til semester, dog med visse undtagelser, da ændringer i uddannelsens opbygning eller indhold automatisk vil kræve en ændring af dele af spørgeskemaet.

Kvalitativ uddybelse

Resultaterne fra spørgeskemaerne fra hvert indtag, bestående af 3-4 hold, drøftes blandt de forskellige holds undervisere med fokus på forskelle og ligheder. Den bearbejdede evaluering fra et hold sygeplejestuderende bruges derefter som udgangspunkt for en fremadrettet og konstruktiv dialog mellem de studerende og de involverede undervisere, for at forbedre og udvikle undervisningen på det enkelte hold. Besvarelserne viser tendenser, som sjældent er entydige, og derfor savnes en uddybelse. Fx viser svarene i figur 1 en overvejende tilfredshed med sygeplejelærernes vejledning i forhold til projekt, men der er en dog en vis del, som er delvis tilfredse, og nogle som er særdeles utilfredse. Hvad ligger der til grund for disse svar? Her er den kvalitative uddybning af den kvantitative evaluering væsentlig, da spørgeskemaundersøgelsen ikke i sig selv angiver ændringer eller nye muligheder.

Hensigten med et standardiseret spørgeskema er, at den systematiske evalueringsmetode bruges som basis for udvikling af uddannelsens opbygning og indhold; dette sker via sygeplejeskolens organisatoriske udvalg. Det samlede indtags resultater forelægges i et Teori og Praktik-koordinationsudvalg, samt i et Forskning og Udviklings-udvalg. De enkelte holds resultater videregives til skolens ledelse, og resultaterne kan herefter indgå i drøftelser i forbindelse med medarbejdersamtaler.

Side 32

Anmærkning: Besvarelserne, der er opgjort i procent, baserer sig på henholdsvis 15 (hold A), 21 (hold B) og 19 (hold C) antal besvarelser af spørgeskemaet.

Mange overvejelser

Processen har ikke været enkel, og til de sygeplejeskoler, der nu er eller skal i gang med at skabe lignende evalueringsredskaber, kan vi sige, at det kræver langvarige diskussioner. Vi har haft mange overvejelser angående fordele og ulemper ved kvalitative kontra kvantitative metoder. Resultatet blev, at vi kombinerede de to metoder. I de indledende faser udførte vi et kvalitativt pilotprojekt for at kortlægge evalueringsvariablerne. Vi ønskede at finde ud af, hvad der var behov for at evaluere både fra den studerendes, lærernes og ledelsens side. Heri indgik mange overvejelser om, hvad der ville være spændende at vide kontra hvad der ville være nødvendigt at vide. Spørgsmål blev sorteret ud fra kriterier om, hvorvidt det, vi spurgte om, var til at ændre, da evaluering må være et forsøg på at sikre eller udvikle, og dermed et spørgsmål om at bevare eller at ændre. Dette førte til udformningen af det ovenfor beskrevne kvantitative spørgeskema, som via svar, som viser tendenser, skaber udgangspunkt for en kvalitativ uddybelse i de enkelte klasser.

Men dermed er processen jo ikke afsluttet. Det videre arbejde med resultaterne afføder nye spørgsmål. Eksempler på dette er bl.a.: Kan besværet med at bearbejde spørgeskemaerne stå mål med udbyttet, og hvem skal fortolke svarene? Skal den enkelte lærer foretage udvælgelsen af emner til uddybelse i klassen? Skal denne uddybelse fastlægges efter en bestemt metode, eller skal det være op til de enkelte undervisere?

Brugerevaluering belyser de studerendes syn på kvaliteten i uddannelsen. Hvordan kommer den enkelte lærer til orde, kan evalueringen stå alene og med hvilke konsekvenser? For at nuancere billedet af, om der er overensstemmelse mellem målsætning og konkret praksis, er vi på nuværende tidspunkt i gang med at udarbejde et systematisk spørgeskema, som skal besvares af underviserne.

Fremtiden

Produktet viser primært nogle generelle tendenser, såsom at der er et stort indlæringsmæssigt udbytte af projektarbejde, men udsiger ikke noget specifikt om fx undervisningen i tredje uge af et semester. Man kunne i fremtiden overveje at supplere metoden med nogle mere specifikke kursusevalueringer, hvilket for nogle få, mere afgrænsede undervisningsområder, allerede er iværksat, fx det teoretiske introduktionsmodul for meritstuderende.

Siden påbegyndelsen af dette projekt har revideringen af uddannelsen medført, at teoriafsnittene i højere grad er opbygget i moduler, hvilket vi kan se som en stor fordel i relation til kursusevaluering. Men vi mener dog, at kombinationen af evaluering efter hvert uddannelsesafsnit og kursusevaluering på sigt vil være det mest udbytterige, da man her evaluerer på både helheden og på enkeltdelene.

Litteratur

1. Projektbeskrivelse. Klinisk Sygepleje nr. 1, 1993.
2. Konference om kursusevaluering. Evalueringscentret. Center for kvalitetsudvikling og evaluering af de videregående uddannelser, 1996.
3. Alreck, Pamela L. og Settle, Robert B.: Survey research. Richard D. Irwin Inc., 1995.

Forfatterne arbejder på København Amts Sygeplejeskole.

Nøgleord: Brugerevaluering, evaluering, København Amts Sygeplejeskole, uddannelse.