Notat om offentliggjøring av resultater fra nasjonale prøver 2004

Nasjonalt kvalitetsvurderingssystem
Nasjonalt system for kvalitetsvurdering har som mål å føre til kvalitetsutvikling på alle nivåer i grunnopplæringen. Kontinuerlig kvalitetsvurdering og kvalitetsutvikling er en forutsetning for å nå både nasjonale og lokale mål for opplæringen. Skoleporten.no og nasjonale prøver er viktige deler av dette nasjonale systemet for kvalitetsvurdering.

Gjennomføring av nasjonale prøver
De første nasjonale prøvene ble gjennomført våren 2004 med lesing og matematikk på 4. og 10. trinn og engelsk lesing og skriving på 10. trinn. Prøven i engelsk lesing ble gjennomført som en elektronisk prøve.

I forbindelse med gjennomføringen av prøvene, ble det besluttet å gjennomføre flere undersøkelser i etterkant av prøvene. Formålet med disse undersøkelsene skulle være å evaluere gjennomføringen av prøvene, vurdere hvor godt prøvene fungerte i forhold til hensikten, få grunnlag for å vurdere hvilke rapporteringskategorier det kan forsvares å publisere i skoleporten.no, samt få kunnskap som kan forbedre oppgaveutviklingen og prosedyrer for gjennomføring og vurdering av neste og senere års prøver.

Beslutningen om publisering av resultatene er tatt på bakgrunn av følgende dokumenter:

1) ”Rektorers og læreres erfaringer med de nasjonale prøvene 2004, TNS Gallup juni 2004.”

2) ” Erfaringsrapport IKT-baserte nasjonale prøver i engelsk” fra Universitetet i Bergen, Intermedia juni 2004

3) ” Nasjonale prøver på prøve” Rapport fra en utvalgsundersøkelse for å analysere og vurdere kvaliteten på oppgaver og resultater til nasjonale prøver våren 2004. Svein Lie, ILS, Universitetet i Oslo og Julius K. Bjørnsson Educational Testing Institute, Reykjavik

4) Kommentarer til ”Nasjonale prøver på prøve” fra fagmiljøene som har utarbeidet oppgavene.

5) ” Ekspertvurderernes erfaringer med de nasjonale prøvene 2004”, TNS Gallup

I tillegg har både Utdannings- og forskningsdepartementet og Utdanningsdirektoratet mottatt konstruktive innspill til forbedringer fra lærere, skoleledere og andre interessenter.

Resultatene fra Gallup-undersøkelsen blant lærere og skoleledere viser at selve gjennomføringen av prøvene har gått bra, men lærere og rektorer opplever at arbeidsbyrden rundt vurdering og koding av prøvene har vært for stor. Nær alle lærerne har deltatt i opplæring i vurdering av prøvene, men mange peker på mangler ved opplæringen. Samtidig peker undersøkelsen på at tilretteleggingen for arbeidet med prøvene bør forbedres. Et klart flertall av lærerne mener at resultatene fra prøven i noen eller stor grad kan gi informasjon om hva som bør styrkes undervisningen av den enkelte elev. Blant lærere med erfaring fra matematikkprøven i 4. klasse, svarer hele 9 av 10 lærere at prøvene i noen eller stor grad ga informasjon om hva som bør styrkes i undervisningen. Denne undersøkelsen peker på klare forbedringspunkter som skal følges opp i det videre arbeidet.

Faggruppen bak rapporten ”Nasjonale prøver på prøve” understreker at det er gjort et omfattende og grundig arbeid med utformingen av prøvene, men samtlige prøver har forbedringspotensiale i forhold til å fungere helt etter hensikten. Det fremheves at matematikkprøvene inneholder mange svært gode oppgaver som hver for seg kan gi viktig diagnostisk informasjon om enkeltelevers forståelse av grunnleggende matematiske begreper. Faggruppen mener likevel at opplegget er for ambisiøst, særlig fordi lærerne må bruke mye tid på retting. Prøven på 10. trinn har vært vanskelig, men faggruppen stiller seg uforstående til kritikken av vanskelighetsgraden på 4. trinn, og mener det kan tyde på lave forventninger til elevene blant lærerne. Leseprøven for 10. trinn har vært noe for lett. Også leseprøven på 4. trinn har blitt kritisert for å være for vanskelig, men faggruppen mener dette bør diskuteres nøye i lys av ambisjonen om å heve elevenes kompetanse i leseferdighet og ikke minst i lys av at dagens læreplaner ikke definerer noe nivå for hva elevene skal kunne på 4. trinn.

Både for leseprøvene ne og matematikkprøvene anfører faggruppen at de planlagte kategoriene som skulle danne grunnlag for rapportering på profiler ikke har god nok reliabilitet til å rapporteres, og at de ikke er tilstrekkelig forskjellige til at de hver for seg inneholder verdifull informasjon. De anbefaler derimot å kombinere delresultatene til et generelt resultat for henholdsvis matematikk- og lesekompetanse. Disse skalaene har høy reliabilitet og validitet og kan derfor gi en meningsfull verdi for enkeltelever og skoler.

Engelskprøvene for 10. klasse besto av tre ”essay-oppgaver” som skulle vurderes ut fra en helhetlig vurdering, altså ikke oppgave for oppgave. Faggruppen finner at sensorreliabiliteten er på 0,66, og at noen skoler systematisk overvurderer sine elever. Faggruppen anbefaler derfor å ikke publisere resultater fra engelsk. Fagmiljøet som har utarbeidet prøven, støttet av språkforskere, har en annen oppfatning og mener at resultatene er reliable nok for publisering. De begrunner dette med at det er svært vanskelig å oppnå høy reliabilitet på åpne oppgaver hvor vurderingen er sensorbasert, og at resultatet er overraskende bra til å være første gang lærerne vurderer nasjonale prøver. For prøver som rettes av sensorer, er det svært vanskelig å oppnå reliabilitetsestimat på over 0.70, selv om man bruker vurderingskriterier og sensorer som har fått gjentatt sensoropplæring.

Miljøet som har vurdert de IKT-baserte leseprøvene i engelsk lesing anbefaler at det ikke publiseres resultater fra denne prøven fordi ca 20% av elevene ikke fikk fullført prøven på grunn av tekniske og administrative problemer på skolene eller i kommunene.

Beslutning om publisering
Resultatene fra de nasjonale prøvene våren 2004 publiseres i skoleporten.no på følgende måte:

Lesing 4. og 10. trinn: en skåre
Matematikk 4. og 10. trinn: en skåre
Engelsk 10. trinn:
Skriving: en skåre
Lesing: ingen publisering

Begrunnelse for beslutningen:
De faglige rådene har veid tungt og følges i det store og hele. På ett punkt hvor de faglige rådene ikke er sammenfallende, har det måttet foretas en avveining og et valg mellom de to. Dette gjelder engelsk skriving, der anbefalingen fra ”Nasjonale prøver på prøve” er ikke å publisere fra engelsk skriving fordi reliabiliteten er for lav, mens fagmiljøet støttet av språkforskere mener at resultatene er reliable nok for publisering. UFD har samlet sett kommet til at det er riktig å publisere resultater fra engelsk skriving, bl.a. fordi det er viktig å videreutvikle vurderingskompetansen på denne typen oppgaver i skolen. Ved publiseringen av resultatene fra engelsk skriving vil Utdanningsdirektoratet også publisere forklaringer om begrensningene i datagrunnlaget.

I henhold til anbefalingene er det valgt å publisere en samlet skåre framfor profiler, der også underliggende delkompetanser ville kommet fram. Imidlertid har den enkelte skole mulighet til å benytte seg av profilene for tilpasset opplæring i den grad de finner det hensiktsmessig.

Målsettingene med de nasjonale prøvene
De nasjonale prøvene skal fylle to hovedmålsetninger; prøvene skal være et pedagogisk redskap og hjelpemiddel i læring og opplæring og samtidig skal de gi informasjon til elever, lærere, skoleledelse, skoleeier, nasjonale myndigheter og allmennheten som grunnlag for dialog og kvalitetsutvikling. I forbindelse med vurderingen av prøvene satses det på skolering av alle lærere som har ansvar for gjennomføringen av prøvene. Denne skoleringen skal gjennomføres hvert år, og på sikt vil dette heve vurderingskompetansen i hele landet.

Det er utviklet dataverktøy som gjør det mulig å følge den enkelte elev over tid, og å følge tilstanden i norsk skole på regionalt og nasjonalt nivå.

Prøvenes utforming
Fagmiljøene som utformer prøvene vil få i oppdrag å følge opp anbefalinger som har fremkommet gjennom de ulike undersøkelsene, og det vil legges vekt på å redusere lærernes arbeidsbyrde med vurdering i tråd med lærernes tilbakemeldinger i Gallup-undersøkelsen. Oppgavetypene må være varierte for at det skal være mulig å vurdere ulike kompetanseområder innenfor grunnleggende ferdigheter, det vil si både flervalgsoppgaver og åpne oppgaver. Bruk av åpne oppgaver utgjør en sentral del i opplæringen, og derfor er det viktig at denne oppgavetypen også er representert i nasjonale prøver. Dette stiller imidlertid store krav til utarbeiding og vurdering av oppgavene. Fagmiljøene som har fått i oppgave å lage prøvene, skal foreta grundig pilotering for å sikre kvaliteten, og det satses sterkt på skolering i vurdering av prøvene. Det skoleres ”ekspertvurderere” for hver prøve, og deres oppgave er igjen å skolere lærerne. De lærerne som har ansvaret for å gjennomføre prøven, får hvert år skolering i vurdering og pedagogisk bruk av prøveresultatene. På sikt vil dette heve vurderingskompetansen i hele landet. Det skal i tillegg utarbeides veiledningsmateriell.

Tiltak for forbedringer

På bakgrunn av erfaringene med de første prøvene og opplysninger fra undersøkelsene vil det bli satt i verk følgende tiltak for å bedre kvaliteten på nasjonale prøver:

På kort sikt:

• Endring av prøvetidspunkt for prøvene 2005. Prøvene er så langt det er mulig lagt tidligere i vårhalvåret for å ta hensyn til arbeidsbelastningen særlig på 10. trinn og for at prøvene lettere kan brukes i elev- og foreldresamtaler
• Vurdere vanskegraden på prøvene
• Økt vekt på informasjon
• Innføre graderte svaralternativ på leseprøvene for 4. og 7. trinn. Det vil si at elevene kan krediteres for delvis forståelse – dette vil gi enda bedre opplysninger til pedagogisk bruk av resultatene
• Enklere vurdering, særlig for matematikk
• Økt vekt på pilotering av prøvene (for å øke reliabiliteten)
• Sterkere vekt på skolering av ekspertvurderere
• Klarere mål for opplæringen av lærerne, med vekt på vurdering av prøvene og opplæring i pedagogisk bruk av resultatene
• Kvalitetssikring av vurderingen – nytt system for ekstern vurdering: Uttrekket til ekstern vurdering reduseres til et stratifisert utvalg fra hele landet, dvs 1000 –2000 elevsvar per prøve som vurderes av to eksterne vurderere. Ut fra dette utvalget lages det en ”norm”. Videre velges det ut egnede elevsvar som blir vurdert ut fra gitte kriterier, og som det gis kommentarer til. Resultatene fra denne eksterne vurderingen sendes ut til alle skoler til hjelp i lærernes vurderingsarbeid.
• Utvikling av veiledningsmateriell i vurdering
• Styrking av samarbeidet mellom fagmiljøene og testteoretisk kompetanseutvikling

På lengre sikt:

• Vurdering av prøvetidspunkt, både trinn og tid på året
• Tilpassing til nye læreplaner
• Utvikling av flere elektroniske prøver
• Større samordning når det gjelder utformingen av prøvene som oppgaveformater, vurderingskriterier og rapporteringsskaler
• Utvikling av et rammeverk med klarere målsetninger og som inneholder kompetanse- og nivåbeskrivelser på ulike klassetrinn for alle prøvene