Stikkord: Kunskapsmål

Kategorier
Examen Fysik Lärande Undervisning

Kan ChatGPT få godkänt på en fysikexamen?

ChatGPT har sedan introduktionen skapat en debatt om dess potential för bruk i undervisning. Frågan är om den kan få godkänt på en fysik-examen. Jag visar att det är teoretiskt möjligt men inte praktiskt på en skriftlig examen. Dock erbjuder ChatGPT möjligheter att kunna användas som ett hjälpmedel i examenskonstruktion.

År 2022 lanserade OpenAI ChatGPT-3.5 (Generative Pre-Trained Transformer) vilket har väckt en intensiv debatt om dess potentiella påverkan på utbildning och examination både på gymnasial och universitetsnivå. Denna diskussion är särskilt motiverad med tanke på OpenAIs tekniska rapport om GPT-4 som visade att den presterare på samma nivå som de 10% bästa mänskliga examinanderna på en simulerad advokatexamen. OpenAI hävdar att GPT-4 har förmågan att lösa svåra problem med högre noggrannhet, tack vare dess breda allmänna kunskap och problemlösningsförmåga. Det finns redan artiklar som (Rudolph et al. 2023) har bidragit till den övergripande diskussionen genom att ge en tidig recension och rekommendationer till studenter, undervisare och universitet om lämpliga strategier för bruk av ChatGPT.

Det bör noteras att ChatGPT bygger på ett neuralt nätverk som genererar resultat baserat på sannolikheter från inmatad information, vilket ofta kallas för en «Large Language Model (LLG)». Det innebär att ChatGPT är främst inriktad mot textbaserade tillämpningar och inte har faktisk kognition bakom de producerade svaren; de är helt beroende av den information som den tränats på. Följaktligen kan ChatGPTs påverkan vara särskilt tydlig inom textbaserade vetenskaper där den fått uppläring. Däremot uppstår frågor om hur ChatGPT presterar inom ämnen som fysik, där förmågan att lösa problem värderas högt. Exempelvis kan man fråga sig om ChatGPT kan klara en fysikexamen på universitetsnivå. Detta är av intresse då fysik i huvudsak inte handlar om att ge textbaserade svar utan handlar mer om problemlösning och att applicera fysiska principer på ett matematiskt sätt. Det vill säga att en ren språkmodell inte borde ha möjlighet att producera resultat som är giltiga i ett fysikperspektiv. Dock kan den ha tränats på utarbetade lösningar och kan generera svar som är korrekta.

Det har i två nyliga studier (Xuan-Quy et al., 2023), för Vietnamiska Nationella High School examen, och i en fysikkurs (Kortemeyer, 2023), undersökts hur en AI som ChatGPT klarar dessa. Båda visade att det var fullt möjligt.

Det är viktigt att notera att fysikkursen baserades på användning av mer formativa metoder som hemuppgifter, «klicker»-frågor, en mitt-terminsexamen och en slutlig examen.

Även om frågorna i den Vietnamiska examen motsvarar frågor på gymnasienivå och examinationen i fysikkursen skiljer sig från examinationsformerna i Skandinavien är dessa resultat inte direkt överförbara till en skandinavisk kontext, där formativ värdering är mer sällsynt. Frågan blir då om en mer summativ examen i form av en slutexamen, gör det svårare för ChatGTP att få godkänt.

För att undersöka detta har jag använt ChatGPT-3.5 (version July 20, 2023 och May 24, 2023) för att undersöka om den kan klara en fysikexamen. När jag förfrågade ChatGPT svarade den: När man ställer denna fråga till ChatGPT blir svaret: «Som en AI-språkmodell utan medvetande eller förståelse på samma nivå som en människa, kan jag inte genomföra en fysikexamen på universitetsnivå eller någon annan form av examen. Jag har inte förmågan att lösa komplexa uppgifter eller tillämpa fysiska principer på samma sätt som människor.

Vad jag kan göra är att ge information, förklara fysikaliska koncept och svara på fysikrelaterade frågor baserat på den kunskap jag har tränats med. Jag kan även hjälpa till med att lösa enklare problem inom fysik, men min prestation och förmåga har sina begränsningar.

Fysikexamen på universitetsnivå kräver djup förståelse, analytiskt tänkande och förmåga att tillämpa koncepten på avancerade problem. Det är utmaningar som en AI som jag ännu inte kan möta på samma nivå som en kvalificerad mänsklig student.«

Då ChatGPT har en sannolikhetsbaserad generering av svar, innebär det att den kan generera olika svar för identiska inmatningar. Så samma fråga matades in flera gånger och se om svaren var konsekventa och om den kunde ge rätt svar vid upprepade försök.

Den simulerade examen som jag använde var baserad på en skriftlig examen som gavs under den första fysikkursen i en fysikutbildning och omfattade ämnen som mekanik (kinematik och dynamik), grundläggande vågrörelselära och relativitetsteori. Examen bestod av 40 flervalsfrågor med 5 svarsalternativ. För att bli godkänd krävdes 41% rätta svar (ca 17 rätta svar). Medelbetyget på examen för studenterna var ett D (53-64%).

Eftersom fysikexamina ofta inkluderar figurer, syntolkades dessa för att ChatGPT skulle kunna lösa uppgifterna relaterade till respektive figur. Uppgifter som byggde på varandra gavs samtidigt i serie. Frågorna formulerades så att ChatGPT skulle ge svaret som ett av de givna svarsalternativen (A-E). Genom chat-funktionen möjliggjordes en dialogliknande diskussion, vilket gjorde det möjligt att se resonemanget och stegen i beräkningarna när sådana utfördes.

Vid första inmatningen gavs rätt svar för 15 frågor med 24 maj-versionen och 18 frågor med 20 juli-versionen. Vid på följande inmatningar gavs både nya rätta och felaktiga svar. Om man endast räknar med det första tillfället skulle ChatGPT (24 maj) få 37,5% och därmed inte bli godkänd, medan ChatGPT (20 juli) skulle få 45% och därmed bli godkänd.

Om man i stället summerar alla rätta svar, vilket har en sannolikhet att inträffa med slumpvis genererade svar, visar det sig att ChatGPT (24 maj) skulle få 25 rätta svar eller 62,5%, medan ChatGPT (20 juli) skulle få 22 rätta svar eller 55%. Båda versionerna skulle därmed kunna få betyget D.

Detta indikerar att en språkmodell-AI som ChatGPT kan få godkänt på en fysikexamen utan att ha någon reell förståelse för fysiska principer. Detta kan förklaras av flera faktorer. För det första använder ChatGPT en databas med inlärd information och sannolikhetsberäkningar för att generera svar, vilket gör att det är möjligt för den att hitta liknande frågor och svar om formuleringarna liknar de som finns där. För det andra kan examensuppgifterna vara utformade så att de inte testar en högre grad av komplex problemlösning, där flera fysiska principer och ekvationer måste användas på ett kreativt sätt. Frågor som testar mer komplex problemlösning är troligtvis inte vanligt det inlärda materialet än.

Även om studenter inte kan använda ChatGPT under en skriftlig examen visar studien på en svaghet i validiteten för tolkningen av resultatet på examen. Med andra ord, vad är det examen skall mäta och mäter examen det som den skall göra? Resultatet på en examen tolkas så att det omvandlas till ett betyg, som bör vara kopplat till lärandemål eller någon form av uppställda kriterier. Om ChatGPT kan få godkänt innebär detta att studenter potentiellt kan få godkänt utan en verklig förståelse av kursinnehållet. Då ChatGPT:s problemlösningsstrategi liknar en receptliknande metod, där man listar givna storheter, den sökta storheten och försöker hitta en passande ekvation med dessa storheter för att beräkna svaret, betyder detta att man får möjlighet att utvärdera graden av komplexitet när det gäller problemlösning i en examen med hjälp av ChatGPT. Strategin som ChatGPT använder fungerar bra för enklare uppgifter där en formel räcker, men fungerar inte när det krävs användning av flera fysiska principer (flera ekvationer) behövs eller när irrelevant information inkluderas i uppgiften.

Detta innebär att det är möjligt att evaluera hur både förståelse och problemlösningsförmåga testas på en examen genom att använda ChatGPT. Med andra ord om uppgifterna som ges har en lämplig nivå av komplexitet och bedöma utfallet på en examen som helhet för en simulerad student med begränsad förståelse. Med andra ord kan det vara möjligt att öka validiteten för en examen för dessa kriterier.

Slutsatsen man kan dra är att teoretiskt sett skulle det vara möjligt för ChatGPT att få godkänt på en fysikexamen. Jag kan visa att AI:n kan ge svar som ligger nära eller över gränsen för godkänt betyg på en fysikexamen. Dock är det inte sannolikt att ChatGPT faktiskt kommer att användas som ett hjälpmedel eller för fusk under en skriftlig examen. Det som är viktigare är att  ChatGPT kan användas som ett hjälpmedel vid uppgiftskonstruktion, där den kan fungera som en simulerad student för att få en uppfattning om vilka svar som kan förväntas ges utan en djupare kognitiv förmåga. ChatGPT kan vara ett användbart verktyg för att utvärdera och justera examina för att säkerställa en passande nivå av komplexitet och svårighetsgrad med avseende på förståelse och problemlösning.

Sammanfattningsvis har jag visat på ChatGPT:s möjligheter och begränsningar för en fysikexamen, men det finns ingen anledning till oro för att den kommer att användas för fusk under en skriftlig sals-examen. Teknologin kan dock vara användbar som ett hjälpmedel i undervisning och uppgiftskonstruktion, där den kan ge insikter om möjliga svar och komplexiteten i uppgifterna.

Jag har valt att inte ange vilken examen jag har använt för att skydda anonymiteten hos examinatorn. Examensuppgifterna och konversationerna med ChatGPT kan dock erhållas från mig.

Referenser

Kortemeyer, G. (2023). Could an artificial-intelligence agent pass an introductory physics course? Physical Review Physics Education Research, 19(1), 010132. https://doi.org/10.1103/PhysRevPhysEducRes.19.010132

Xuan-Quy, D., Ngoc-Bich, L., Xuan-Dung, P., Bac-Bien, N., & The-Duy, V. (2023). Evaluation of ChatGPT and Microsoft Bing AI Chat Performances on Physics Exams of Vietnamese National High School Graduation Examination. arXiv preprint arXiv:2306.04538. https://doi.org/10.48550/arXiv.2306.04538

Kategorier
Examen Lärande Undervisning

Undervisarens drömmar 2: Första året

Målet med en utbildning handlar om att skaffa sig kunskaper och färdigheter som skall (förhoppningsvis) ge ett jobb efter examen. Detta gör att det finns ett antal mål som utbildningen skall uppnå. I många fall är dessa mål tydliga och i andra fall inte fullt så synliga. I tillägg till dessa övergripande mål finns mål för varje enskild kurs, ibland överlappande med utbildningens mål. Detta gör att kurserna kan sättas in i ett större sammanhang. Men hur är det med de kunskaper och färdigheter som man skaffar sig under utbildningen. Ofta (men inte alltid) handlar det första året (åren) om att skaffa sig grunden som man bygger vidare på. De skall fungera som grundfundamentet till kunskapshuset. Men hur djupt sitter egentligen dessa grundläggande kunskaper?
Vi vet att en djupinlärning ger ett ökat långsiktigt lärande. Så logiskt borde vi se till att studenterna under det första året får en djupinlärning. Men ger vi studenterna den?

Övergången till universitet kommer att vara ett stort steg för en majoritet, för många det första steget att klara sig själv och utan det stöd man vant sig till. Den (semi-)formativa värderingen har nu ersatts av en värdering som baseras på i många fall ett examenstillfälle. Något som jag skrivit om tidigare ex: https://www.ntnu.no/blogger/fysikkforfakirer/2018/10/05/paniklasning/ Detta har ett antal mindre lyckade konsekvenser, bland annat ökad stress. Men vi kan även få en ineffektiv studieteknik/studiemetod genom panikläsning och prokrastinering. Det finns en överhängande risk att vi omedvetet tvingar studenterna till en ineffektiv inriktning. Lägger vi till betygsjakt finns det en stor risk att man läser till examen och inte för att lära sig.

Hur kan man lösa detta dilemma? Tar man konsekvenserna av att det första året skall ge en god och djup grund, kan man överväga att ta bort graderingen och ersätta med Godkänd/Icke godkänd och en formativ värdering. Detta sätter dels större fokus på senare kurser som i mångt och mycket är mer arbets-relevanta och dels på ett fokus på grundläggande kunskaper och färdigheter som ger en bättre grund för kommande kurser.

Med en dikotom betygsättning, kan man sätta upp tydligare arbetskrav och kontinuerlig examination. Man ges möjligheten att anpassa undervisning och examination till olika grupper baserat på nivå och intresse. Genom att minimera panikläsning och extrem tidspress kan bättre studiemetoder och studiemiljö skapas. För duktiga studenter finns möjlighet till fördjupning och för svagare möjlighet att få hjälp att klara kraven.

Resultatet kan bli:

  • Bättre studieteknik
  • Mindre stress
  • Färre avhopp
  • Djupinlärning
  • Bättre resultat på högre kurser
  • Bättre förberedda studenter

Men detta är bara en undervisares drömmar…

Kategorier
Examen Lärande Undervisning

Kan man ge för många «A»?

I examenstider sliter studenterna med att läsa så mycket att de klarar examen, samtidigt förbereder sig examinatorerna på att rätta uppgifterna. Något som en kollega beskrev som en aktivitet som bäst ägnade sig i ett stängt rum med «Torture never stops» med Frank Zappa från högtalarna. Alla som undervisat har gått igenom detta, när man inser att studenterna inte lärt sig det dom borde. Men samtidigt så har man också upplevt att studenterna gör betydligt bättre än man räknat med.

När man skriver en examen så försöker man (eller borde) hitta uppgifter som så långt som möjligt speglar lärandemålen för kursen och fyller examen med dessa. Sedan skall man värdera varje uppgift och se hur mycket var och en skall räknas till totalen och de fastställda betygsgränserna. Lösningsförslag skall utarbetas och i förkommande fall rättningsprotokoll där avdrag för olika fel dokumenteras. Så det ligger ganska mycket arbete bakom en examen.

Så, några dagar (eller timmar) efter examen får man ett paket med svar som skall rättas. Här avgörs betygen för första gången och förs in i poäng-protokollet. Här kan man se hur resultatet föll ut och se hur fördelningen är. Här kan man också titta hur många studenter som ligger nära en av betygsgränserna, vilket då gör att man tittar en gång till på deras svar för att kvalitetssäkra rättningen.

I detta läget skall man se hur betygen fördelat sig. Betygen skall enligt Bologna vara «absoluta» i förhållande till kursplanen och dess mål. Med andra ord det finns inget som säger att inte alla kan få A (eller F). Betygen skall enbart bero på hur väl studentens färdigheter och kunskaper svarar mot kursplanen. Något som jag diskuterat tidigare https://www.ntnu.no/blogger/fysikkforfakirer/2018/02/20/vad-ar-malet-for-en-utbildning/ på bloggen.

Men samtidigt är det sagt att medelbetyget skall vara C?!?

Medelbetyg är det bara giltigt att tala om i det fallet vi har en relativ bedömning och inte en absolut. Detta är ett mysterium och svårt att förstå. Om vi tittar på en population så säger man att egenskaperna hos denna skall vara normalfördelad, men om man haft en (eller flera) urvalsprocesser är populationen fortfarande normalfördelad? Det vi har på universiteten med begränsad antagning är inte direkt normal-fördelat med en  skev-fördelning där medel och median inte är lika, dvs medel kan vara större och motsvara ex. ett «B».

Detta är en paradox inom utbildningen och något man måste få bort. Det är målen som skall vara uppfyllda och inte målet att få ett medel på «C».

Så svaret på frågan om man kan ge för många «A», så är svaret nej om man går efter lärandemålen, men Ja, om man har en relativ bedömning.

Men man måste också fråga sig hur man skall kunna evaluera studenternas mål-uppnåelse. Och hur väl är målen uppsatta och diskuterade? Och är målen som dom står överhuvudtaget möjliga att «mäta» eller bedöma?

Kategorier
Examen Lärande Undervisning

Undervisarens drömmar 1: examen

En examination skall vara knuten till de lärandemål som är definierade i kursplanen. Dessa mål skall då vara uppfyllda till olika grader, efter den gradering som är fastställd. Om man drar konsekvenser av detta och ser var detta leder kan man kanske hitta något nytt…

…. om man utgår från en muntlig examen där en expert kan testa och utforska gränserna för kandidatens kunskaper och överför detta till en automatisk dator-baserad värdering, vad blir resultatet?

Med en dator-baserad värdering är det möjligt att kandidaten att se hur det går i realtid. Med andra ord man får reda på resultatet direkt. Men man behöver med detta inte vara begränsad till ett fast set av spörsmål. Man kan tänka sig att man har ett stort antal frågor som dels testar olika delar av pensum (p-dimensionen) och frågor med olika grader av mästring/kunskap (m-dimensionen). Detta gör att för att få godkänt, det vill säga uppnått lärandemålen (p-) och deras gradering (m-), måste man uppfyllt hela eller delar av p-dimensionen, med minst den lägsta graden i m-dimensionen.

På samma sätt som i fallet med en muntlig examen kan man då börja med att testa den lägsta graden i m-dimensionen med ett antal frågor. Klarar kandidaten dessa kan man gå över i den nästa m-dimension. Vid fel svar på ett spörsmål, kan nya spörsmål på den m- (eller p-)nivån ges tills man hittat gränserna.

Genom att samtidigt meddela när/om kandidaten klarat första betygsnivån (godkänd) kan ev. nervositet avta och man kan gå vidare på ett mer avslappat sätt. Detta gör då att kandidaten kan avbryta examinationen när önskat betyg uppnåtts. Men det innebär också att den som sliter ges en chans att utforskas så att det blir möjligt att se var gränserna går. Har man haft otur och fått frågor på de saker man inte förstått riktigt, ges man en ny möjlighet, något som inte är fallet med vanlig examen med ett begränsat antal frågor.

Progressionen gör även att de kandidater som önskar högsta betyg, kan se hur det går. Det finns en hel del fördelar med ett sådant system, men givetvis även en hel del nackdelar.

Det finns ingen garanti att alla kandidater får exakt samma spörsmål, vilket kan ses som orättvist. Men samtidigt får alla en ny chans och möjlighet att revanschera sig, vilket gör det mer rättvist. Examen är i tillägg utan mänsklig påverkan, annat än när det gäller frågebanken.

Systemet som skall hantera detta kommer av naturliga skäl att var ganska avancerat programmeringsmässigt, det liknar till en del automatiska system inom computer aided assessment, men ligger på en högre nivå. Detta samtidigt som man behöver säkerställa mot fusk.

Men det största problemet ligger troligen hos lärandemålen i kursplanerna som inte är formulerade på så sätt att de kan överföras till en reell utvärderingssituation baserat på ett sådant system. Lärandemålen (p-dimensionen) och graderingen (m-dimensionen) måste vara mycket väl uppbyggda och frågan är om det är möjligt att göra detta. I många ämnen och kurser är inte detta möjligt då olika färdigheter ingår i lärandemålen som  kan vara svåra att testa med ett automatiserat system.

Den tekniska lösningen och möjligheterna är fullt genomförbara, det handlar kanske mer om den mänskliga delen av problemet.

Men är det detta vi vill ha….

Kategorier
Examen Lärande Undervisning

Vad är målet för en utbildning?

Tänk dig en student som ska börja på en utbildning, full av förväntan möter studenten upp på första föreläsningen tillsammans med över 100 studenter. Föreläsaren kommer in och startar föreläsningen på följande sätt: ”Ni skall veta att bara 50% av er kommer att klara den här kursen”. Detta är något som jag hoppas att du som läsare tycker är helt förkastligt. Men tänk dig nog om, har du på något sätt själv bidragit till denna hållingen. Det som är intressant är egentligen vad är det som ligger bakom detta. Vad är det för inställning som en slik föreläsare har till sin undervisning och sina studenter. Vad är egentligen det övergripande målet med undervisning?

Svaret på den frågan borde vara att så många som möjligt av studenterna skall uppnå kunskapsmålen i den utbildning som dom genomgår. Detta medför då att högskolans mål skall vara att så många som möjligt skall klara sina kurser, uppnå kunskapsmålen. En examination skall då gå ut på att testa dessa kunskapsmål på bästa möjliga sätt, inte att få ett visst antal att misslyckas. Det handlar om att man skall utbilda och inte sortera.

Betyder detta att alla skall få godkänt? Nej, utan det handlar om att sätta upp tydliga kunskapsmål, baserade på de färdigheter kursen skall ge i förhållande till påföljande kurser och framtida yrkesroll. Dessa kunskapsmål ger då tydliga kriterier för examinationen. Undervisningen bör då inriktas på kunskapsmålen och nödvändiga kunskaper och färdigheter.

Här stöter vi på ett stort hinder, hur kan vi ”mäta” uppfyllelse av kunskapsmålen? Finns det ett bra sätt att evaluera uppställda kunskapsmål? Här finns egentligen inget entydigt svar, då detta kommer att vara beroende på kursen och kursinnehållet. Men det ”bästa” är troligen en klassisk examination med skriftligt test i kombination med en muntlig examination, där det är möjligt att testa gränserna. Detta är dock av praktiska skäl bara möjligt för en liten studentgrupp. Har man en stor grupp så är det mer ekonomiskt att bara ge ett skriftligt test, men hur väl kan ett test som varar maximalt 5 timmar och omfatter runt 10 frågor testa alla kunskapsmålen?

Ett sätt att komma runt detta och testa en större del av kunskapsmålen, är att använda sig av flervals-spörsmål, det vill säga testa en större del av kunskapsmålen. Men detta är i sig inte oproblematiskt, rör det sig om ett fag där räknefärdigheter och problemlösning är en del av kunskapsmålen, så är det svårt att testa dom med flervalsfrågor. I tillägg kommer problemet med fråge-konstruktion och val av felaktiga alternativ, något som inte är enkelt. Här måste man även se till att frågorna har en rimlig svårighetsgrad och att dom är tillräckligt diskriminerande. Även poängsättningen ger upphov till ganska svåra frågeställningar. Hur skall ett felaktigt svar poängsättas i förhållande till rätt svar eller ett blankt svar. Om inte fel svar ”bestraffas” uppmuntras gissningar. Så fel svar och blankt bör inte ge samma poäng. Skall man välja en skala 3, 0, -1 eller 1,0, -1, för rätt, blank, fel. Detta för att undvika rena gissningar.

Det är ganska uppenbart att en enda skriftlig test inte är ett bra sätt att testa kunskapsmålen, men det är det bästa vi har (möjlighet till). Detta är den verklighet vi och studenterna lever med och anpassar oss till. Det är väldigt lätt att man istället för att fokusera på kunskapsmålen fokuserar på examen, detta gäller både studenter och föreläsare. Det är väldigt viktigt att inse att kunskapsmål och examen inte är ekvivalenta, ett bra examensresultat behöver inte betyda att man uppfyllt kunskapsmålen. Undervisningen och studierna riskerar med andra ord att bli examensfokuserade Plötsligt blir inte lärandet det viktigaste utan det blir examen som är målet.

Finns det i tillägg en hålling att bara dom bästa skall klara sig så kan lätt situationen bli kritisk. Det är då lätt att målet blir att så och så många skall få underkänt på en kurs. Det finns anekdoter om hur institutledare har kallat till sig föreläsare som inte underkänt tillräckligt många för en ”luttvagning”, detta gäller ganska många universitet. Men även det motsatta förekommer. Men, det är viktigt att komma ihåg att dom bästa finns redan hos oss, och vad vi som lärare borde göra är att se till att vår undervisning blir sådan att så många av studenterna som möjligt skall få godkänt. Det är sant att den egna insatsen som student är den viktigaste faktorn för lärande, men det betyder inte att undervisningen och studiemiljön är utan betydelse. Vi bör vara medvetna om hur vi undervisar och hur man skall få en så bra lärandemiljö som möjligt.

Men en sortering innebär att man sorterar ut dom ”bästa”, men vad menar vi med dom bästa. Charles Darwin (egentligen Herbert Spencer, men Darwin tog till sig uttrycket) formulerade det som: ”survival of the fittest”. Här kommer betydelsen att vara beroende på den aktuella kontexten. I detta fall innebär det att dom bästa (fittest) blir dom som är bäst på att skriva ett test på 4-6 timmar, inte hur väl man uppnått kunskapsmålen, inte den som fungerar bäst i arbetslivet, inte den som kan applicera sina kunskaper på bästa sätt. Det finns dock en korrelation men den är inte absolut. Här måste vi också titta på arbetsmetoderna i det framtida yrkeslivet. Majoriteten av studenterna kommer inte att bli forskare, dom kommer inte att arbete ensamma. Samarbete, ny kunskap, innovativt tänkande och problemlösning är saker som kommer att bli viktiga.

För att få till en bra undervisning måste vi sätta in oss själva och våra kurser i ett större sammanhang. Vi behöver titta på vad som är målet med utbildning, det vill säga lärandet och hur vi skall öka lärandeutbytet hos studenterna. Har vi målet klart för oss och kan se helheten måste vi ställa oss samma frågor som vi gör i vår forskning, och inte ta någonting för givet. Bara för att man lämnar labbet och går in i föreläsningssalen så skall man inte stänga av sitt kritiska tänkande och reflektera över undervisningen. Det finns massor av forskningsbaserade undervisnings och examinationsformer, det är dags att börja använda dom.