10 Kvalitet og læringsutbytte

Utvalget mener det er viktig at MOOC-tilbud som utvikles i Norge holder høy kvalitet. I utvikling av MOOC-tilbud er det mye å lære av det systematiske arbeidet med kvalitet som gjøres i tilknytning til utviklingen av fleksibel utdanning og nettbaserte tilbud.

Utvalget mener samtidig at det er noen nye utfordringer og muligheter som er spesifikke for å sikre kvalitet i MOOC-tilbud.

10.1 Kvalitet i nettbasert høyere utdanning

10.1.1 NOKUTs kvalitetssikringsarbeid

De senere årene har NOKUT arbeidet med kvalitetssikring av nettbasert høyere utdanning. Dette knytter seg særlig til søknader om akkreditering av nettbasert høyere utdanning. NOKUT har i 2013 revidert veilederne for søknad om akkreditering, hvor krav til kvalitet i nettbaserte utdanninger er synliggjort.1 I det følgende gis det en beskrivelse av disse kravene.

Læringsmål, innhold og oppbygging

I Bologna-prosessen ble det vedtatt et overordnet europeisk kvalifikasjonsrammeverk for høyere utdanning, jf. kapittel 9. Kvalifikasjonene en kandidat oppnår ved fullført studium, skal beskrives som kunnskap, ferdigheter og generell kompetanse.2 Beskrivelsene er et viktig utgangspunkt for vurdering av kvaliteten i et nettbasert studium. Studieplanens læringsutbyttebeskrivelser vil også være sentrale for nettstudenters forberedelser og forventninger, noe som også er viktig for kvaliteten. NOKUT ber videre om en redegjørelse for studiets innhold og oppbygging, inkludert dets faglige bredde, dybde og sammenheng. Det må framkomme hvilke deler av studiet som støtter utviklingen av de kvalifikasjonene som er beskrevet i læringsutbyttet.

Arbeidsomfang

NOKUT krever at det redegjøres for arbeidsomfanget i et nettbasert studium, herunder oversikt over hvor mange timer undervisning og veiledning det legges til rette for. I tillegg må det foreligge en beskrivelse av forventet omfang på selvstudium og eksamensforberedelser. Spesielt viktig for nettstudenter er omfang på veiledning og oppfølging fra faglærer.

Undervisningsformene og de pedagogiske begrunnelsene

Arbeids- og undervisningsformene i et nettbasert studium kan omfatte ulike pedagogiske virkemidler og bruk av et vidt spekter av teknologier. Arbeids- og undervisningsformene må, som ved andre utdanninger, velges med utgangspunkt i hva det er studentene skal lære.3 Det betyr at læringsutbyttebeskrivelsene er basis for den pedagogiske tenkningen rundt valg av nettbaserte undervisningsformer og verktøy. NOKUT krever at det reflekteres over valg av teknologiske verktøy, og valgene skal begrunnes ut fra pedagogiske og faglige hensyn, hva studentene skal lære og hvilken type studenter en tar sikte på å rekruttere. Tilretteleggingen for kommunikasjon og samarbeid er også en viktig del av den pedagogiske tilretteleggingen av et nettbasert studium, der det faglige innholdet og læringsutbyttebeskrivelsene må være førende.4

Det faglige innholdet må tilrettelegges for nett i digitale læringsressurser som er hensiktsmessige for det studentene skal lære. Utvalg, produksjon og tilpasning av det faglige innholdet og de pedagogiske og teknologiske metodene for å presentere dem, blir avgjørende for kvaliteten, sammen med valg av digital læringsplattform.5

Digital kompetanse

NOKUT vektlegger at fagmiljøets sammensetning, størrelse og samlede kompetanse skal være tilpasset studiet slik det er beskrevet i studieplanen. Samtidig skal fagmiljøet også være stort og robust nok til å ivareta forskning og faglig utviklingsarbeid. I tillegg til at faglærere må ha generell pedagogisk kompetanse, skal de også ha en tilfredsstillende digital kompetanse.6 Med det menes kunnskaper om og erfaring med nettpedagogikk og ferdigheter i bruk av aktuelle teknologiske verktøy. Dette gjelder ikke bare faglærere, men alle ansatte som er involvert.7 Størrelsen på den faglige staben er også av stor betydning. Det må sikres at det er nok lærere tilgjengelig for å undervise og veilede studenter på nett, og at lærerne får anledning til å sette av nok tid til oppfølging av studentene.8 Studentene må også få opplæring i studieteknikk på nett og bruk av digitale verktøy.

Rekruttering av studenter

Hvordan studenter rekrutteres og opptak gjennomføres er av stor betydning for tilretteleggingen av et godt studiemiljø på nett. I nettbaserte studier er det viktig for studiemiljø, kollokvieaktiviteter og andre faglige aktiviteter som krever samarbeid, å sikre at studentene har noenlunde samme faglige utgangspunkt og progresjon. NOKUT vektlegger derfor at institusjonene sikrer at rekrutteringen av studenter styrker og fremmer et godt studiemiljø.9

10.1.2 Kvalitetsnormer for nettbasert utdanning

I tillegg til NOKUT er det flere andre aktører i Norge som arbeider med kvalitet i nettbasert utdanning, blant annet Fleksibel utdanning Norge og Norgesuniversitetet. Begge institusjonene har samarbeidet med NOKUT og gitt innspill i arbeidet med å utvikle krav i forbindelse med vurderingen av nettbaserte studier.

Erfaringer fra fleksibel utdanning

Fleksibel utdanning Norge (FUN) er en nasjonal medlemsorganisasjon for institusjoner som tilbyr fleksibel utdanning i form av nettstudier, nettstudier kombinert med samlinger og andre fleksible tilpasninger.10 FUN har utarbeidet kvalitetsnormer for nettbasert utdanning.11 Normene ble sist reviderte i 2011, og utgjør et sett av krav til kvalitet som FUN mener det er rimelig å stille til tilbydere av nettbasert utdanning. Normene er detaljerte og grupperte i følgende overordnete elementer: kvalitetsledelse og kvalitetsarbeid, studieutvikling, informasjon og veiledning og studiegjennomføring. Målet er at normene skal bidra til å utvikle kvaliteten i utdanningene, parallelt med og i samsvar med kvalitetssikringsarbeidet til NOKUT.

Erfaringer fra Norgesuniversitetets arbeid

Forankring i institusjonen, ressursbruk og «hybridkompetansen»

Norgesuniversitetet (NUV) er et forvaltningsorgan under Kunnskapsdepartementet. NUV skal bidra til å fremme utviklingen av IKT-støttet læring og fleksibel utdanning i høyere utdanning og samarbeid mellom høyere utdanningsinstitusjoner og arbeidslivet. Norgesuniversitetet finansierer blant annet utviklingsprosjekter ved universiteter og høyskoler knyttet til utvikling og bruk av teknologi for læring og fleksibel utdanning.12 På samme måte som NOKUT, vektlegger Norgesuniversitet fokus på læringsmål, valg av verktøy, pedagogiske begrunnelser og digital kompetanse. Norgesuniversitetet er opptatt av at strategi, ledelsesfokus og organisering har betydning for kvalitet. Undersøkelser fra Norgesuniversitetet viser at det har betydning for kvalitet i nettbasert utdanning at aktivitetene er forankret og støttet av ledelsen ved institusjonene og omtalt i institusjonenes strategier og planer. Ledelsens fokus på, oppfølging av og vilje til å satse på denne typen utdanninger har stor betydning.13

Det er også viktig for kvaliteten at utviklingsarbeidet og drift av utdanningstilbudene har en stab med ulik, men komplementær kompetanse. Fagmiljøet bør bestå av fagansatte, studieadministrativt personale og representanter fra IT-avdeling eller ansatte med annen teknologisk eller digitalfaglig støttekompetanse. Bred deltakelse kan bidra til en bedre forståelse både av hva teknologien kan bidra med og av de pedagogiske og faglige utfordringene forbundet med utviklingen av et nettbasert studium. Kompetanse i skjæringspunktet mellom pedagogikk, administrasjon og teknologi betegnes i enkelte sammenhenger som «hybridkompetanse», og beskrives som uunnværlig i arbeidet med utvikling og drift av fleksible utdanninger.14

Evaluering og dokumentasjon, åpenhet og deling

Norgesuniversitetet mener det er viktig å dokumentere og evaluere prosessene underveis i arbeidet med innovasjon i utdanningene, og i utviklingen og gjennomføringen av fleksible studier. Mulighetene for refleksjon rundt erfaringer og utvikling av egen kunnskap om utdannings- og utviklingsarbeid kan bidra til en kvalitetskultur og bedre kvalitet i utdanningene.15

Åpenhet og deling kan være kvalitetsfremmende. Bruk av teknologi i utdanningene kan bidra til en åpenhet som både studenter, fagansatte og institusjonen kan nyte godt av. Innsyn åpner opp utdanningen for omverdenen. Den må kunne tåle sammenligning, den må være faglig og oppdatert. Dette skjerper kvalitetstenkingen.16

Norgesuniversitetets ekspertgruppe for kvalitet

Norgesuniversitetet har de siste tre årene hatt en ekspertgruppe for kvalitet i IKT-støttet og fleksibel utdanning.17 Ekspertgruppens arbeid skal, sammen med arbeidet gjort på feltet ellers, danne grunnlaget for utvikling av kriteriesett for arbeid med kvalitet i nettbasert utdanning. Utgangspunktet for arbeidet er at både nasjonale premissleverandører, høyere utdanningsinstitusjoner, ansatte og studenter kan bidra for å sikre kvalitet i fleksibel utdanning. Arbeidet i ekspertgruppen videreføres i 2014 med fokus på detaljering og spesifisering av kriteriesettene, samt tilgjengeliggjøring av kriteriene og grunnlagsmaterialet for arbeidet.

10.2 Pedagogiske muligheter i MOOC

Historisk sett har de pedagogiske perspektivene på medie- og teknologiutviklingen vært preget av både optimistiske visjoner og dyp skepsis til de konsekvensene denne utviklingen representerer for endringer av utdanningsinstitusjoner og pedagogisk praksis. En pragmatisk holdning har preget aktører innen fleksibel utdanning, som hele tiden har tatt nye medier i bruk som kanaler for formidling av undervisingsopplegg. Innen utdanningssystemet for øvrig har det de siste hundre årene vært visjoner og forventninger om endring av pedagogisk praksis uten at dette har slått til.18 Det gjelder blant annet hvordan film, undervisningsfjernsyn, video, datamaskin, CD-ROM, og andre medieformer kun har fungert som supplement til etablert pedagogisk praksis med læreren og læreboka som sentreringspunkt. Også de siste femten årene har det vært en rekke kritiske røster om misforholdet mellom teknologiske visjoner og bruk av nye medier i den pedagogiske praksis.19 Foreløpig har utdanningsinstitusjoner i liten grad maktet å endre den pedagogiske praksisen med bruk av teknologi fra en tradisjonell, formidlingsorientert modell for nettbasert utdanning, til å utnytte mulighetene som digitale medier gir for studenters engasjement i egen læring og den sosiale, samarbeidsorienterte dimensjonen ved læring.

Mange hevder at dette nå er i ferd med å endre seg, ikke minst innen høyere utdanning. Dette dreier seg først og fremst om hvordan teknologiutviklingen skaper nye muligheter for bruk av digitale medier i pedagogisk sammenheng. Én mulighet ligger i skalering av tilbud, nasjonalt og globalt, og hvordan tilgang til teknologi og antall brukere i digitale nettverk har økt betydelig de senere årene. En annen mulighet ligger i integrering av ulike teknologiformer, slik som videoformater, sosiale medier og nye læringsplattformer.

I mange MOOC-tilbud er oppmerksomheten i stor grad rettet mot deltakerne som aktører i egen læring, samtidig som den tradisjonelle rollen som underviser er endret. Læreren inntar for eksempel en tilretteleggerrolle i form av støtte for samarbeid og interaksjon mellom deltakerne. Kommunikasjonen og samarbeidet foregår på andre måter, blant annet gjennom sosiale medier. Teknologi kan utnyttes for å støtte lærende ut fra behov, evner og interesser. Dette kan skje ved å samle inn og analysere data fra studentenes læring, for så å legge opp undervisningsløp og læringsressurser basert på den aktuelle deltakerens framgang og andre studenters bidrag. I noen tilbud vil den sosiale samhandlingen mellom deltakerne være en viktig komponent. I andre tilbud vil hovedfokus kunne være på individualiserte, skreddersydde læringsprosesser gjennom adaptiv læring, det vil si systemer som sjekker hva en deltaker kan om et emne, henter relevante læringsobjekter fra en database, sjekker måloppnåelse og viser læringsframgang over tid.

Flipped classrom innebærer at studentene går gjennom fagstoff utenfor klasserommet, for eksempel gjennom videoforelesninger, og bruker tiden i klasserommet til studentaktive læringsaktiviteter som framlegg, seminarer, øvinger og refleksjon. Blended learning henviser til pedagogiske opplegg med en variasjon i læringsaktiviteter som kombinerer både nettbasert undervisning og campusundervisning. Blended learning og flipped classroom er ikke noe nytt som er kommet som følge av MOOC-utviklingen. Framveksten av MOOC-tilbud gir imidlertid studenter og utdanningsinstitusjoner tilgang til et langt større antall tilbud enn tidligere til bruk i slike pedagogiske opplegg.

De siste årene er det tatt flere nasjonale initiativ for å ta i bruk digital eksamen i høyere utdanning.20 Arbeidet viser at digitalisering av eksamen fører med seg en rekke muligheter og utfordringer, blant annet knyttet til pedagogiske, administrative, tekniske og juridiske perspektiver. Utdanningsutvalget i Universitets- og høgskolerådet (UHR) og Norgesuniversitetet har i samarbeid etablert en ekspertgruppe som vil jobbe videre med det juridiske perspektivet, samt vurdere muligheter for framtidige digitale vurderingsformer.21 Stadig flere faglærere og fagmiljøer har de senere årene benyttet den digitale teknologiens muligheter til å vurdere studenter på nye måter. Gevinsten av digitale vurderingsformer kan for eksempel være mer tilbakemelding til faglæreren om studentens læring, økt tilbakemelding til studenten om forståelsen av faget og spart tid for faglæreren i sensureringsprosessen.22 Utviklingen av MOOC har aktualisert spørsmålet om hvordan teknologi kan stimulere til nye og effektive vurderingsformer for et stort antall nettstudenter, og hvordan digitalisering av vurdering kan bidra til å videreutvikle kvaliteten i høyere utdanning. I MOOC-tilbud har egenvurdering (self assessment) og medstudentvurdering (peer assessment) blant annet fått mye oppmerksomhet internasjonalt.23 Forskning tyder på at det er et samsvar mellom medstudentvurdering og lærervurdering. Det er mindre kunnskap om det vil være et tilsvarende samsvar mellom medstudentvurdering og lærervurdering i et MOOC-tilbud, og om medstudentvurdering vil bidra til økt læringsutbytte.24

10.3 Læringsanalyse

I litteraturen om MOOC trekkes læringsanalyse stadig fram som en av de mest sentrale endringene heldigitale studietilbud vil føre med seg. Slike analyser samler data fra ulike nivå på måter som tidligere ikke har vært mulig: makronivå (internasjonalt, regionalt, nasjonalt), mesonivå (institusjon) og mikronivå (deltakere og deltakergrupper). Spesielt gjelder dette høyere utdanning, hvor man har manglet data på mikronivå.

Sammenstilling av slike data omtales gjerne som datautvinning (data mining), og har som mål å identifisere og prøve ut ulike læringsmønstre. Denne kunnskapen brukes til å utvikle modeller for å forutsi hvordan ulike deltakergrupper lykkes med studiene, hvordan de lærer og hvilke behov de har. Når denne kunnskapen integreres med analyse av «læringshistorien» til den enkelte deltaker (mikro), vil de selv kunne følge sin egen studieframgang i tillegg til at det kan gis individuell og relevant oppfølging. I litteraturen er det gjerne denne siste prosessen som omtales når man benytter begrepet learning analytics.

Det er vanlig å skille mellom fem ulike former for læringsanalyse, men feltet er i rask utvikling.

Det man omtaler som grunnleggende læringsanalyse innebærer å benytte analysefunksjonene som ligger innbakt i de fleste læringsplattformene som benyttes i dag. En enkel visualisering av datalogger kan gi den enkelte deltaker et raskt overblikk over sine egne resultater sammenlignet med andre, og gi læreren et overblikk over deltakernes aktivitet. NOKUT peker på at enkle former for læringsanalyse allerede er i bruk i Norge, gjennom at læringsplattformene som benyttes gir muligheter for å visualisere datalogger og synliggjøre aktivitet. NOKUT viser videre til at noen av de norske lærestedene også kobler sammen studentdata fra flere systemer (for eksempel LMS og Felles studentsystem) for å gi et bredere bilde av studentaktiviteten.25

En mer avansert form er den som omtales som prediktiv analyse. Denne dreier seg om å kombinere statiske data, for eksempel demografi og tidligere studieresultater, med dynamiske data, for eksempel innloggingsmønstre på læringsplattformer, hvilke dokumenter deltakerne arbeider med eller omfanget av deltagelse i nettdiskusjon. Målet er å forutsi hvordan det kommer til å gå for hver enkelt deltaker, identifisere karakteristiske læringsmønstre for ulike grupper og sette inn relevante tiltak på et tidlig tidspunkt. De som befinner seg i en antatt risikogruppe kan tilbys ekstra oppfølging, og spesielt dyktige deltakere kan motiveres til ytterligere innsats ved at de får ekstra utfordringer. Innenfor prediktiv analyse tenker man seg også at det skal være mulig å forutsi hva slags læringsaktiviteter som har best effekt for den enkelte.26 Selv om prediktiv analyse foreløpig befinner seg i startgropen, finnes det flere eksempler på at slik analyse er tatt i bruk. I «School of one», et matematikkprogram innført i offentlige skoler i New York City, benyttes læringsalgoritmer til å analysere elevenes læringsstil og matematikkferdigheter. Algoritmen produserer en personlig «lærings-play-list» i matematikk for hver elev, som følger den progresjonen som er beregnet å være optimal for hver enkelt. I dette programmet er den prediktive analysen ment som supplement, og ikke som erstatning for, læreroppfølging.27

Adaptiv læringsanalyse bygger modeller av deltakernes forståelse av spesifikke tema. Det gjør det mulig å automatisere individuelle tilbakemeldinger til deltakerne, for eksempel hvilke deler av pensum de har forstått og hvilket nivå forståelsen ligger på. Dette kan integreres i læringsplattformer slik at deltakerne kontinuerlig presenteres for lærestoff som er tilpasset deres faglige nivå.

Analyse av sosiale nettverk brukes for å synliggjøre relasjoner. Målene kan være å identifisere deltakere som ikke er sosialt og faglig integrert, eller om lærernes interaksjon med deltakerne er for ensidig rettet mot deler av en deltakergruppe. The Social Networks Adapting Pedagogical Practice (SNAPP) er et eksempel på hvor man har tatt i bruk teknologi for å analysere atferd i læringsøyemed. SNAPP analyserer sosiale nettverk og forumaktivitet i LMSer, og gir undervisningspersonalet diagnostiske instrumenter til å evaluere den digitale deltakeraktiviteten opp mot læring. Slike analyser finner støtte i nyere forskning som viser at det er sterk korrelasjon mellom «offline-aktivitet», det vil si samarbeid med andre kursdeltakere eller med andre som kjente fagområdet godt, og testresultat. Deltakere som samarbeider med andre oppnår bedre resultater enn de som arbeidet alene.28

Diskursanalyse anses gjerne som den mest kompliserte formen for læringsanalyse. Her skal systemene ikke bare kunne loggføre og synliggjøre deltakernes og lærernes bidrag eller aktiviteter, men også kvaliteten på det som blir skrevet. Systemet vil da kunne gi spesifikke tilbakemeldinger til lærere og deltakere om kvaliteten på deres bidrag. Selv om det allerede finnes teknologi som kan analysere visse kvalitative sider av en tekst, er de ikke gode nok for avanserte læringsformål.29

Læringsanalyse, og da særlig de mest krevende formene for slik analyse, er fortsatt i en startfase. Forskere ved HarvardX og MITx, som har analysert data fra institusjonenes MOOC-tilbud på edX i 2012 og 2013, hadde ambisjoner om å avdekke hvilke læringsmønstre som ga gode resultater for kursdeltakerne. I sine første rapporter konkluderer de imidlertid med at slike mønstre foreløpig ikke kan identifiseres:

Everything predicts MOOC performance, because doing anything in this space separates you from the thousands of people who are doing relatively little – thus doing anything predicts doing anything else.30

På tross av at forskerne sitter på data fra nesten 850 000 deltakere, forklarer de problemene med å finne slike mønstre med at de foreløpig ikke har nok data. Fordi læring i MOOC antar så mange former, trengs enda større datamengder for å identifisere læringsmønstrene. En viktig konklusjon i prosjektet er at læringsanalyse ser ut til å kreve omfattende samarbeid mellom de mange institusjonene som eier data fra MOOC. Forskerne mener at institusjonene må inngå forpliktende samarbeid og dele data mellom seg for at potensialet som ligger i læringsanalyse skal bli realisert.31

10.4 «MOOC for IKT i læring» ved Høgskolen i Sør-Trøndelag

Et eksempel på hvordan vurderinger av kvalitet kan gjøres i utviklingen av MOOC, er tilbudet «MOOC for IKT i læring» ved Høgskolen i Sør-Trøndelag (HiST). HiST har fått midler fra Norgesuniversitetet til utvikling av tilbudet.32 Formålet med prosjektet er å gjøre om det eksisterende nettbaserte faget «IKT i læring» til en MOOC som kan tilbys gratis og i stor skala til norske lærere, samt utvikle en modell for hvordan norske aktører kan tilby kurs og utdanningsløp i form av MOOC som både er økonomisk bærekraftig og har høy faglig og pedagogisk kvalitet.

Når det gjelder det konkrete innholdet i selve MOOC-tilbudet, handler det som nevnt om å utvikle en modell for hvordan norske aktører kan tilby MOOC. Læringsmålene i kurset er beskrevet i form av hvilke utfordringer en institusjon som ønsker å tilby MOOC kan møte av pedagogiske, vurderingsmessige, administrative, teknologiske og økonomiske utfordringer. Når det gjelder pedagogiske utfordringer, pekes det blant annet på behovet for å vurdere egnede undervisningsmetoder som sikrer et godt læringsmiljø og læringsutbytte. Design av både lærestoff og læringsaktiviteter omtales som sentralt for å lykkes. Videre trekkes det fram problemstillinger knyttet til valg av egnede IKT-verktøy og tjenester for å skape god læring i ulike MOOC-oppsett og for ulike fagområder. Kurset vil gå nærmere inn på hvordan motivere deltakerne i MOOC, hvordan redusere frafall og sikre godt læringsutbytte, den sosiale interaksjonen mellom deltakerne, samt bruk av personlige læringsmiljøer og læringsnettverk.

Prosjektet «MOOC for IKT i læring» gir god innsikt i problemstillinger knyttet til det HiST kaller å «moocifisere» et nettbasert fag, og i hva som er særpreget for utviklingen av MOOC-tilbud. I prosjektet har HiST valgt ut noen kriterier som de mener må få spesiell oppmerksomhet i utvikling av MOOC-tilbudet. I boks 10.1 er det gjengitt hvilke kriterier for kvalitet som vektlegges. HiST peker videre på at for hvert enkelt kriterium må det lages en beskrivelse av hvordan oppgaven er tenkt løst og en målsetning for hvordan virkningen skal være. Dette må kunne etterprøves og evalueres.

Videre beskrives de læringsaktivitetene som vil bli benyttet i tilbudet, de teknologiske løsningene, organisering og gjennomføring, hvilke læringsressurser som vil benyttes, hvordan erfaringene fra kurset kan brukes videre og hvordan det skal evalueres. Det vises til at planlegging, utvikling og gjennomføring av MOOC-tilbud krever en gjennomtenkt bruk av teknologi. I prosjektet legges det opp til å bruke teknologi for å effektivisere samarbeidet med ulike aktører, minimere tid til reising, og ikke minst for å produsere resultater av god kvalitet. Teknologien skal legge til rette for oppdeling av lærestoff i mindre enheter, med en blanding av tekst, video, avstemminger og flervalgsspørsmål, samt muligheten for diskusjon knyttet til hver innholdsblokk. Prosjektet ved HiST synliggjør også behovet for å tilpasse lærestoff til teknologien som benyttes.

10.5 Utvalgets vurderinger

10.5.1 Kvalitet i MOOC

Utvikling og tilbud av MOOC i Norge krever etter utvalgets vurdering et grundig arbeid ved institusjonene for å sikre god kvalitet i tilbudene. Etter utvalgets vurdering vil mye av kvalitetsarbeidet knyttet til campusutdanning generelt og nettbasert utdanning spesielt være svært relevant også for arbeid med kvalitet i MOOC. Dette er et poeng som også trekkes fram av Storbritannias Quality Assurance Agency for Higher Education (QAA). QAA mener at Storbritannias «Quality Code for Higher Education»er et godt grunnlag for høyere utdanningsinstitusjoners arbeid med kvalitetssikring også av MOOC.33 Utvalget mener at institusjonene bør trekke lærdom av det generelle kvalitetsutviklings- og kvalitetssikringsarbeidet når de utvikler, tilbyr og vurderer MOOC-tilbud.

Et eksempel på hvordan slike vurderinger kan gjøres i utviklingen av MOOC, er tilbudet «MOOC for IKT i læring» ved HiST, jf. kapittel 10.4 over.

Utvalget mener at prosjektet ved HiST på en god måte illustrerer hvordan erfaringer og kvalitetsvurderinger fra nettbasert utdanning kan brukes i utvikling av MOOC, men at de må tilpasses MOOC-formatet.

Utvalget mener at læringsmål må danne utgangspunktet for kvalitetsarbeidet. Dette vil være relevant for alle typer MOOC-tilbud, enten det er tilbud med et tydelig definert læringsutbytte eller tilbud med mer overordnede tema hvor mer konkrete læringsmål defineres av deltakerne underveis. Læringsaktivitetene må utformes med henblikk på at de skal være verktøy for å nå læringsmålene. Det samme gjelder valg av teknologiske løsninger. Utvalget mener følgelig at det må være en tydelig sammenheng mellom formålet med tilbudet, valg av læringsaktiviteter og valg av teknologiske løsninger. Det er også viktig med en god vurdering av organiseringen og gjennomføringen av tilbud, for eksempel knyttet til grad av deltakelse, lærerens rolle, kommunikasjonsformer og samhandlingsformer. Oppfølging av deltakerne og et godt læringsmiljø vil også være viktig. Valg av læringsressurser må tilpasses det øvrige pedagogiske opplegget. Evaluering og erfaringsdeling bør brukes aktivt, blant annet som et ledd i å videreutvikle tilbud.

Utvalget mener at MOOC har et potensial for å styrke både tilgangen til og kvaliteten på høyere utdanning for personer med nedsatt funksjonsevne, og på den måten gjøre det mulig for flere å velge høyere utdanning. Det forutsetter imidlertid at potensialet som ligger i MOOC utnyttes på riktig måte, og at det tas hensyn til mangfoldet i studentmassen i den videre utviklingen. En forutsetning for at MOOC kan gjøre utdanning mer tilgjengelig for alle, er at teknologi og innhold er av høy kvalitet og følger prinsipper om universell utforming. Utvalget mener videre at det er viktig at institusjonene har nødvendig kunnskap om universell utforming når man utvikler MOOC, både når det gjelder hvilke behov som finnes og hvordan tilbud kan utformes for best mulig å ta hensyn til disse behovene.

10.5.2 Vurdering, eksamen og identitetskontroll

Utvalget mener at digitale verktøy bidrar til nye muligheter når det gjelder vurdering og eksamen.34 For det første vil digitale medier kunne lette gjennomføringen av prøver med et stort antall brukere, og på den måten effektivisere vurderingsformer. For det andre gir digitale verktøy, for eksempel gjennom simuleringer, nye muligheter for å vurdere kompetanser som tradisjonelt har vært vanskelige å vurdere. Det kan for eksempel gjelde samarbeid, problemløsning og kreativitet. For det tredje kan det innebære at nye kompetanseområder vurderes, blant annet digital kompetanse.

Utvalget mener at i utviklingen av norske MOOC-tilbud må det rettes stor oppmerksomhet mot eksamens- og vurderingsordninger som understøtter det øvrige arbeidet med kvalitet i tilbudene. Dersom kursbevis fra MOOC-tilbud skal ha godt gjennomslag i arbeidslivet, er det også nødvendig med ordninger som har troverdighet i samfunnet.

Utvalget ser det som viktig at institusjonene vurderer og følger opp tilrådningene som blir gitt av nasjonale arbeidsgrupper som utreder pedagogiske, administrative, tekniske og juridiske sider ved digital eksamen.

I kapittel 8.4 er det vist til utfordringer med å sikre at MOOC-deltakeres identitet er korrekt. Utvalget er opptatt av at det finnes systemer for å kontrollere identiteten til norske studenter som tar både utenlandske og norske MOOC. En slik identitetskontroll er blant annet avgjørende for at utenlandske MOOC-tilbud skal kunne innpasses som del av en grad, eller ved opptak til studier ved norske institusjoner. En sikker identitetskontroll er også svært viktig dersom en arbeidssøker ønsker å bruke MOOC som ledd i dokumentasjon av kompetanse ved søknad på en stilling. Utvalget mener det er avgjørende at det arbeides videre for å utvikle gode løsninger som kan sikre identiteten til personer som tar MOOC. Utvalget anbefaler at man i forbindelse med utredningsarbeid knyttet til digital eksamen i universitets- og høyskolesektoren også inkluderer spørsmål om identitetshåndtering i MOOC.

10.5.3 Virkemidler og premisser for kvalitetsutvikling

For at norske utdanningsinstitusjoner skal kunne ta i bruk de pedagogiske mulighetene ved MOOC, mener utvalget at det er behov for strategiske grep på flere områder: strategisk forankring gjennom nasjonale rammebetingelser og god utdanningsledelse ved institusjonene, insentiver for utvikling av kvalitet i undervisning, videreutvikling av digital kompetanse blant ansatte og studenter i sektoren, samt kunnskapsutvikling og kunnskapsdeling om de læringsmessige aspektene ved teknologiutvikling.

Strategisk forankring

Dersom strategier for bruk av teknologi i læring og for utvikling av MOOC skal være bærekraftige, må de være forankret og støttet av ledelsen ved institusjonene og være del av institusjonenes strategier og planer. Gode strategier handler om klar og tydelig utdanningsledelse på alle nivåer ved den enkelte institusjon. Samtidig må strategier for utvikling av MOOC også forankres på nasjonalt nivå. Nasjonale myndigheter må legge til rette for rammebetingelser og insentiver som støtter opp om institusjonenes arbeid. De anbefalingene utvalget kommer med til nasjonale myndigheter i denne innstillingen, skal bidra til nettopp det.

Insentiver for utvikling av kvalitet i undervisning

Universitets- og høyskolesektoren bruker i begrenset grad insentiver på individnivå rettet mot utvikling av kvalitet i undervisning. Insentivene for forskning er langt sterkere. Dette er ikke unikt for Norge. I en ny, svensk rapport blir svenske institusjoner sammenlignet med Stanford og Berkeley. Sammenligningen viser at svenske universiteter og høyskoler har et betydelig forbedringspotensial, særlig når det gjelder undervisningens rolle. Rapporten konkluderer med at undervisningens rolle i en forskerkarriere må styrkes, blant annet gjennom tydelige karriereveier for dem som kombinerer forskning og undervisning av høy kvalitet og gjennom systematiske evalueringer av kvalitet i undervisningen.35

Utvalget mener at en tilsvarende analyse som den svenske er høyst aktuell i Norge. Slik utvalget ser det er det ingen insentiver i retning av pedagogisk utviklingsarbeid utover minstestandarder. I Universitets- og høyskolerådets veiledende retningslinjer om opprykk til professorkompetanse for flere fagområder, er det kun satt minstekrav om pedagogisk kompetanse for å undervise i de enkelte fagene.36 Manglede insentiver virker ikke stimulerende og motiverende for at den enkelte vitenskapelige ansatte skal engasjere seg i utvikling av kvalitet i undervisning. Utvalget mener at dagens minimumskrav til pedagogisk kompetanse i universitets- og høyskolesektoren ikke vil være tilstrekkelig for å sikre pedagogisk utviklingsarbeid og heller ikke for å følge med i den utviklingen som skjer innenfor teknologi og nye læringsformer. Utvalget mener at det er behov for bedre insentiver for økt kvalitet i undervisning og for mer innovative læringsformer. Målene for kvalitet i undervisning må være langt mer ambisiøse. Utvalget anbefaler at virkemiddelapparatet og insentivordninger for utdanningsområdet gjennomgås, både på individ-, institusjons- og nasjonalt nivå. Virkemidler og insentiver må henge tydelig sammen og virke i samme retning.

Digital kompetanse

Digital tilstand 2011 viser at institusjonene foreløpig bruker lite ressurser på å utvikle ansattes kompetanse i variert bruk av IKT for å fremme studentenes læring.37 For å ta i bruk teknologi i undervisning og læring mener derfor utvalget at det er behov for en systematisk og varig kompetanseheving av personalet i universitets- og høyskolesektoren.

Utvalget mener det er helt nødvendig å styrke den digitale kompetansen knyttet til undervisning for personalet i universitets- og høyskolesektoren. Utvalget er opptatt av at bruk av teknologi i læring skaper behov for bredt sammensatt kompetanse av pedagogisk, teknologisk og administrativ karakter. Det er nødvendig med teambasert organisering av læringen. Det er viktig at faglig ansatte får erfaring med å utvikle pedagogiske opplegg med bruk av teknologi som stimulerer til gode læringsaktiviteter og økt studiekvalitet. Det må utvikles kunnskap og erfaring i å ta i bruk digitale verktøy, ressurser og tjenester. Utvalget mener at institusjonene må ta et helhetlig, organisatorisk grep ved å prioritere midler til utvikling av sammensatt kompetanse og støttefunksjoner rundt det pedagogiske utviklingsarbeidet. Utvalget mener at behovet for slik kompetanseutvikling er svært stort, og at ikke alle institusjoner er i stand til å etablere slike tjenester i egen regi. Utvalget mener derfor at nasjonale myndigheter må ta et overordnet ansvar ved å tydeliggjøre forventninger overfor institusjonene om utvikling av digital kompetanse, men også ved å bevilge midler for å få i gang den ønskede utviklingen. Når det gjelder behovet for og omfanget av nødvendige støttetjenester for utvikling av MOOC, mener utvalget at dette må kartlegges nærmere. Forholdet mellom institusjonenes eget ansvar for slike tjenester og behovet for nasjonale tiltak på dette området må vurderes i en slik kartlegging.

Samtidig mener utvalget at det er viktig at studentene har god digital kompetanse. Utvalget mener det er viktig at hele utdanningsløpet, fra grunnopplæring til høyere utdanning, henger sammen. Elever fra grunnopplæringen må ha tilegnet seg kompetanse om og ferdigheter i digitale verktøy og metoder som er nødvendige for å gjennomføre MOOC. Digitutvalget anbefalte en større satsing på dette området. Utvalget mente at det bør stilles krav til at høyere utdanningsinstitusjoner må gå gjennom læringsutbyttebeskrivelser i alle studieprogram for å sikre at digital kompetanse gjenspeiles i utdanningsløpet.38 MOOC-utvalget støtter behovet for styrking av studentenes digitale kompetanse.

Forskning om pedagogiske muligheter og læringsaktiviteter

Etter utvalgets vurdering er det et stort behov for mer forskning om de pedagogiske og læringsmessige aspektene ved teknologiutviklingen i høyere utdanning. Det er viktig med en systematisk og forskningsbasert kunnskapsutvikling både for å bidra til gjensidig læring på tvers av institusjoner og fagmiljøer, og for at faglige og økonomiske ressurser blir utnyttet best mulig.

Utvalget mener at det er en rekke utfordringer knyttet til kvalitet i MOOC og bruk av teknologi i læring som må vurderes. Utvalget mener det er behov for en strategisk satsing i form av midler til forskning og kunnskapsutvikling på dette området. Relevante temaer handler blant annet om hvilken effekt MOOC har på utdanningskvaliteten, læringsutbyttet av å delta i ulike typer MOOC, om alle studentgrupper vil håndtere nye læringsformer like godt, hvordan en kan tilrettelegge for dem som vil møte utfordringer, hvorvidt digitale læringsformer og MOOC-tilbud kan fungere like bra innen alle fagområder, og nye vurderingsformer slik som for eksempel peer review og digital eksamen. Et annet viktig tema er anvendelse og effekt av MOOC sammen med andre læringsaktiviteter på campus, i ulike former for blended learning og flipped classroom.

Læringsanalyse som virkemiddel for kvalitetsutvikling

De formene for læringsanalyse som kan ha størst potensial for kvalitetsutvikling befinner seg fortsatt i en startfase. Det er knyttet usikkerhet til hvor krevende analysene vil være og hvor stort utbytte man vil ha av dem. Det stilles også spørsmål ved om den store datamengden som genereres og lagres for bruk i læringsanalyse er problematisk i forhold til personvernet. Dette er også et sentralt tema i diskusjonen om big data.

Eierskap og lagring av data er et annet tema som må adresseres. Et aktuelt spørsmål er hvordan sikre at store mengder data som genereres i læringsplattformer og blir lagret av kommersielle selskap som eier plattformene, ikke selges videre til andre aktører. Et annet spørsmål er hvordan sikre at logger over deltakeres aktivitet gjøres tilgjengelig for forskning i format som trygger anonymitet, gjenbrukbarhet av data og passelig aggregeringsnivå. For at man skal kunne gjennomføre avanserte former for læringsanalyse, fordrer det tilgang på data fra flere kilder. I kontraktene institusjonene inngår med de store MOOC-leverandørene er det nedfelt at dataene ikke kan gis videre til tredjepart uten institusjonens samtykke.

Oppsummert synes det å være flere uavklarte spørsmål, blant annet med hensyn til hvor lett det vil være å få tilgang til data til forskningsformål, og hvorvidt ulike lands regelverk er tilstrekkelig harmoniserte. Det finnes heller ingen standardiserte formater for dataene. Det er med andre ord noen prinsipielle spørsmål og enkelte uavklarte faktorer knyttet til personvern, datalagring og utnyttelse av dataene som bør problematiseres i tilknytning til læringsanalyse.

Den andre hovedutfordringen er om læringsanalyse kan si noe substansielt om kvalitet. Det er nødvendig å vite hva dataene sier noe om, og like viktig hva de ikke sier noe om. En annen åpenbar problemstilling er at dataene ikke er nøytrale. De gir rom for feiltolkninger. For sterk vekt på resultatene fra læringsanalyse kan også medføre at fokus i læringsprosessen flyttes over på enkelte områder på bekostning av andre, altså at analysene blir styrende for læringen. Det er med andre ord også prinsipielle og uavklarte faktorer knyttet til læringsanalyse og kvalitet som bør problematiseres.

Utvalget vurderer det slik at læringsanalyse har et betydelig potensial som verktøy for kvalitetsutvikling i høyere utdanning. Dette fordrer imidlertid at de mange utfordringene omtalt over, vurderes på en god måte. Utvalget mener derfor det er avgjørende å styrke kunnskapsgrunnlaget på dette feltet.

Utvalget mener at bruk av læringsanalyse må inngå som del av det pedagogiske utviklingsarbeidet og oppbyggingen av digital kompetanse ved institusjonene. Samtidig ser utvalget at det vil være behov for at noen tar et særskilt ansvar for å bygge opp kompetanse på dette området og bidrar til at kompetansen spres og tas i bruk i sektoren. Utvalget mener derfor at det bør etableres et miljø for læringsanalyse. Miljøets struktur og form må vurderes opp mot dagens aktører og virkemiddelapparat.

Miljøet bør få i oppdrag å drive systematisk og forskningsbasert kunnskapsutvikling om læringsanalyse, og gjennom utviklingsarbeid og kunnskapsoverføring bidra til at læringsanalyse utvikles og tas i bruk i Norge. Dette kan for eksempel innbefatte kartlegging av globale prosjekter og teknologier, samt anvendelse og utprøving av egnede teknologier. Miljøet må være praksisnært og knytte til seg relevante aktører. Kunnskapsoverføring vil være viktig for institusjonenes vilje og evne til å utvikle tilbud og ta i bruk de mulighetene som læringsanalyse kan gi for å videreutvikle kvalitet i høyere utdanning.

10.6 Utvalgets anbefalinger

• Utvalget anbefaler at erfaringer og kunnskap fra arbeidet med kvalitet i fleksibel og nettbasert utdanning anvendes ved utviklingen av MOOC.

• Utvalget forutsetter at institusjonene legger prinsipper om universell utforming til grunn ved utvikling av MOOC.

• Utvalget anbefaler at institusjonene prøver ut nye pedagogiske vurderings- og eksamensformer i MOOC.

• Utvalget anbefaler at man i utredningsarbeid om digital vurdering og eksamen også inkluderer spørsmål om identitetshåndtering i MOOC.

• Utvalget mener at det er behov for å styrke den digitale kompetansen hos ansatte i universitets- og høyskolesektoren. Omfanget må først kartlegges nærmere. Utvalget anbefaler at det bevilges midler til å styrke den digitale kompetansen.

• Utvalget anbefaler at institusjonene videreutvikler de ansattes kompetanse i bruk av teknologi i undervisning.

• Utvalget anbefaler at institusjonene tar ansvar for å videreutvikle studentenes digitale kompetanse.

• Utvalget mener det er behov for sterkere insentiver for økt kvalitet i undervisning og for mer innovative læringsformer. Utvalget anbefaler derfor at virkemiddelapparatet og insentivordninger på utdanningsområdet gjennomgås, både på individ-, institusjons- og nasjonalt nivå.

• Utvalget anbefaler en systematisk satsing på forskningsbasert kunnskapsutvikling om bruk av teknologi i høyere utdanning.

• Utvalget anbefaler å etablere et miljø for forskningsbasert kunnskapsutvikling, utviklingsarbeid og kunnskapsdeling knyttet til læringsanalyse.