AI:s största utmaning för universitetet är kanske inte att den gör examinationen svårare. Den gör den formativa bedömningen svårare, eftersom den minskar lärarens möjlighet att se hur studentens förståelse utvecklas.
I debatten om AI har fokus flyttats allteftersom tekniken och dess användning har utvecklats. Från att handla om fusk handlar det nu mer om hur vi kan använda tekniken på bästa sätt. En fråga rör examinationen och hur vi ska veta vad studenterna egentligen har lärt sig. Här dyker begreppet formativ bedömning upp som ett alternativ.
Man kan tycka att det är ett märkligt begrepp. Men idén är enkel, formativ bedömning handlar inte om att avgöra vad en student kan när kursen är slut, utan handlar om att förstå hur studentens kunskap utvecklas medan kursen fortfarande pågår.
Men frågan är om detta verkligen är ett alternativ, det kan även här finns en utmaning med AI. Hur hjälper man någon att lära sig om man inte längre kan vara säker på att man kan se hur lärandet ser ut?
Vad händer när de ofärdiga tankarna försvinner
Som undervisare handlar det egentligen inte så mycket om att hitta det som är rätt eller färdigt. Det handlar om att hitta det som studenten inte har förstått. När en student lämnar in ett utkast är det sällan jag ser efter perfektion. Det viktiga är att förstå hur studenten tänker. Vad hittar hen för samband, Är det begrepp som inte används rätt och finns det missförstånd som håller på att ta form?
Ofta är inte de textmässigt bästa underlagen de mest användbara för formativ bedömning. Det är de som avslöjar mest.
När en student felaktigt förklarar tyngdlöshet med att det inte finns gravitation i rymden, är det pedagogiskt värdefullt, för då vet jag direkt vad vi behöver prata om. En student som blandar ihop korrelation med kausalitet avslöjar ett missförstånd som går att arbeta vidare med. Det är i dessa små sprickor som förståelsen blir synlig. Det är här man kan ge en återkoppling som gör skillnad för förståelsen.
AI och texter
Med AI får vi en paradox. Hotet ligger inte i att AI ger hjälp med att skriva, utan det ligger i att studenterna får hjälp att skriva bättre.
Detta kan visas som att de missförstånd studenten har maskeras av bättre formuleringar. Resonemanget som förs fram kommer att bli mer sammanhängande. Språk och logik blir bättre. Missförstånd formuleras elegantare. Detta är en fantastisk utveckling om målet är att producera en text av hög kvalitet.
Men nu är målet att förstå hur studenten tänker, vilket gör bilden mer komplicerad. När de spår av osäkerhet, trevande förståelse och en begynnande insikt som tidigare var synliga och lätta att hitta riskerar att döljas bakom en välformulerad yta, vad händer då?
Det vi vinner språkligt förlorar vi i information. Vi får en bättre produkt, men en som inte är lika användbar. Då själva grunden för formativ bedömning är rätt information.
Ett allvarligt mätproblem
I ett tidigare inlägg i AI och Universitetets idé och Universitetens framtid och AI argumenterade jag för att AI främst utgör ett mätproblem snarare än ett fuskproblem.
Ser vi på det, så har den färdiga texten länge fungerat som ett slags mätinstrument. Mätningen består i att vi har läst rapporter, inlämningar och projektarbeten och använt dem för att dra våra slutsatser om studenternas förståelse. Inte därför att texterna varit perfekta representationer av kunskap, utan för att de varit tillräckligt informativa.
Men med AI verkar instrumentet fungera annorlunda. När studenterna får hjälp med formuleringar, disposition och argumentation kommer det att bli svårare att kunna avgöra vad det är som faktiskt reflekterar studentens förståelse och vad som reflekterar verktygets kapacitet.
Problemet är då inte att studenterna fuskar, utan att läraren får svårare att tolka signalen.
Vad händer med återkopplingen
Ser vi på examinationen, så är den viktig därför att ett betyg är synligt. Det är något konkret.
Men formativ bedömning är mer abstrakt. Men samtidigt är den vi är på många sätt viktigare. Här ser man inte på ”produkten” utan på processen, där lärandet påverkas och utvecklas. Här kan studenten få hjälp att utveckla sitt resonemang. Här kan missförstånd upptäckas och förhindras från att befästas.
Om bruk av AI gör det svårare att finna ut hur studenten tänker, riskerar vi att förlora något betydligt mer värdefullt än möjligheten att sätta rätt betyg. Vi kan förlora möjligheten att ge rätt återkoppling, vilket i förlängningen gör lärandet till en ensam aktivitet utan ett kognitivt stöd.
Muntlig examination
Här möter vi en lösning som dyker upp i många diskussioner om AI. Muntlig examination, men inte för att de är perfekta, utan för att de ger tillgång till något som är svårare att observera, själva tankeprocessen.
I en situation där en student måste förklara sitt resonemang, hantera följdfrågor och försvara sina slutsatser blir förståelsen synlig igen. Men det som är viktigt här är att det inte handlar enbart om att kontrollera, utan om att det ligger mer bakom. Det handlar om att få insyn i hur studenten tänker, att se hur tankarna rör sig, själva processen.
Samtidigt är det knappast realistiskt att framtidens universitet ska bestå av oändliga muntliga examinationer. Man måste ställa frågan: hur lång tid behövs för att se om studenten har god nog förståelse? För stora kurser är det svårt att genomföra, med en komplicerad logistik. I tillägg måste man ta hänsyn till att en muntlig examen kan vara mer stressande än en skriftlig och att många studenter uttrycker sig bättre i skrift än i tal.
Processen, processen, processen
I inlägget AI gör läxorna. Men vem lär sig något? Frågade jag vem som egentligen lär sig något när AI hjälper till med läxorna. Men frågan kan omformuleras: Hur kan läraren se vem som lär sig något?
Detta är ytterligare en fråga som AI tvingar fram. Det kan vara så att vi behöver intressera oss mindre för den färdiga produkten och mer för vägen fram till den. Vi kan behöva; fler utkast, reflektioner och samtal. Ett ökat fokus på beslut, omprövningar och resonemang, kan vara vägen framåt.
Mindre fokus på perfekt formulerade slutversioner.
Lärande är en process, vilket gör att bedömningen måste handla om processen och inte bara om slutresultatet.
Den stora frågan om…
När jag ser tillbaka på inlägg som AI och Universitetets idé , Universitetens framtid och AI och AI gör läxorna. Men vem lär sig något? slås jag av att de egentligen kretsar kring samma tema från olika håll.
Vad är det studenterna ska göra själva? Vad är det som universitetet ska bedöma? Och hur kan vi veta att lärande faktiskt har ägt rum?
AI utmanar examinationen, men den största utmaningen ligger kanske i att den gör lärandet svårare att observera medan det pågår. Detta leder till en mer grundläggande fråga: Hur hjälper vi människor att lära sig när de spår av tänkande som vi tidigare använde för att förstå deras lärande blir allt svårare och otydligare att se?
Detta är en fråga som jag inte tror att vi kommer att kunna besvara på ett enkelt sätt och som kommer att vara aktuell långt efter att dagens AI-verktyg har ersatts av nästa generation.