Eksamener og AI: Hjemmeeksamener kan være fortid
For få år siden dumpede chatbots eksamensopgaver, nu kan de levere besvarelser til topkarakter. AU-lektor Carsten Bergenholtz har fulgt udviklingen tæt og er nået dertil, hvor han fraråder klassiske hjemmeeksamener.
Hvad er GAI?
GAI står for generative artificial intelligence og er i daglig tale kendt som chatbots, der er i stand til at generere et resultat baseret på de spørgsmål eller opgaver, man stiller den. Det kan den gøre, fordi den er baseret på store sprogmodeller, der trækker på allerede eksisterende eksempler på tekst, mønstre eller strukturer.
Da Carsten Bergenholtz for første gang testede en chatbot på sit eksamenspensum i sit bachelorfag og videnskabelige metodefag var konklusionen klar.
”De kan ikke noget, de dumper,” fortæller Carsten Bergenholtz, som er lektor ved Institut for Virksomhedsledelse på Aarhus BSS. Det var i marts 2022, og konklusionen blev sendt til instituttets uddannelseschef, Christian Waldstrøm. Men få måneder senere måtte han til tasterne igen.
"Du skal ignorere alt det, jeg tidligere har skrevet. Nu er den faktisk begyndt at bestå nogle af mine eksamensspørgsmål,” siger Carsten Bergenholtz, der også har været med i den arbejdsgruppe, som har været med til at udarbejde AU’s officielle retningslinjer for brug af GAI. Derudover har han fulgt forskningen på området tæt, og har været med til at udgive en videnskabelig artikel om GAI’s indflydelse på studerendes præstation i en eksamenssituation.
I dag er udviklingen nået så langt, at de bedste chatbots konsekvent og kun ved hjælp af et enkelt spørgsmål, kan levere eksamensbesvarelser på 10- og 12-talsniveau i mange standardfag, beretter han.
”Man skal være meget forsigtig med at sige, at GAI ikke kan X per definition," siger Carsten Bergenholtz
”Man skal være meget forsigtig med at sige, at GAI ikke kan X per definition. De sidste par år har vist, at grænsen hele tiden bliver flyttet,” påpeger Carsten Bergenholtz og fortsætter:
”Vi er ikke ude i, at du med ét enkelt prompt kan skrive et bachelorprojekt på nuværende tidspunkt. Men vi er ude i, at dygtige folk kan skrive et speciale på nogle timer eller en dag,” beretter han.
Mellemlange hjemmeeksamener hører måske fortiden til
GAI’s indtog har allerede fået konsekvenser på Institut for Virksomhedsledelse, hvor Carsten Bergenholtz og hans kolleger underviser studerende i erhvervsøkonomi. Her har man nedprioriteret, og stort set fjernet, de længere hjemmeeksamener på mellem tre til syv dage.
”Man kan godt have en fire-dages hjemmeeksamen, som en chatbot ikke kan løse i dag. Men spørgsmålet er, om den kan om halvandet år. Det er ikke en risiko, jeg selv ville turde tage,” understreger Carsten Bergenholtz med henvisning til, at undervisere typisk planlægger kurser og eksamensformer 1 til 1,5 år i forvejen. Det er en anbefaling, han også giver videre til sine kollegaer på andre institutter.
Løsningen er dog ikke at slå op i banen og udlevere pen og papir suppleret af de klassiske rene hukommelsesprøver. Der er stadig en del knapper, som kan skrues på, ifølge lektoren.
”Vi har forskellige eksamensformer, og hvis man har en divers eksamensportefølje på den givne uddannelse, så mener jeg også, at vi til rimelighed kan teste, hvad de studerende kan både med og uden brug af AI,” påpeger han.
Det vil sige korte stedprøver, hvor de studerende har adgang til deres noter, men ikke til AI. Større projektopgaver, som kobles tættere til undervisningen gennem vejledning og aktiviteter undervejs. Og mundtlige forsvar af opgaver, hvor de studerende kan demonstrere, at de forstår det arbejde, som de har afleveret.
Især bachelorprojekter og specialer giver anledning til overvejelser for fremtiden ifølge Carsten Bergenholtz.
"Tre kvarter til forsvar af et bachelorprojekt er ikke længere helt tilstrækkeligt,” siger Carsten Bergenholtz
”Jeg er noget bekymret for vores bachelorprojekter og specialer, taget i betragtning, at en meget stor del af opgaven kan løses og skrives af GAI. Men vi har på vores institut et princip om, at vi har mundtligt forsvar. De skal muligvis være længere, hvor tre kvarter til forsvar af et bachelorprojekt ikke længere er helt tilstrækkeligt,” siger han.
Chatbots ved ikke selv, om den er god eller ej
Selvom det kan lyde som om, at AI kan løse næsten alle opgaver, er det dog Carsten Bergenholtz’ erfaring, at det langt fra er tilfældet. AI er stadig bedst på områder, hvor den kan trække på store mængder eksisterende viden, vurderer han.
”Den er god i matematik, fordi den har læst en masse matematiske tekster og i øvrigt er det også et område ligesom programmering, hvor den umiddelbart kan finde ud af, om noget fungerer eller ej,” beretter Carsten Bergenholtz.
Omvendt bliver resultaterne fra chatbots hurtigt mere usikre, når teknologien skal bruges på nye fænomener eller komplekse problemstillinger, hvor der ikke findes meget tidligere forskning eller klare kriterier for, hvad der anses for at være en god løsning.
"Hvis der ikke findes tidligere litteratur, og hvis der ikke findes en måde at vurdere kvaliteten på, som er standardiseret, så er en chatbot bare generelt dårligere," siger Carsten Bergenholtz og nævner i den sammenhæng humaniora eller andre steder, hvor man undersøger fænomener, der ikke er så velbelyst, eller hvor man undersøger ud fra en vinkel, der ikke er skrevet om før.
Han understreger samtidig, at AI heller ikke er god til at vurdere sine egne begrænsninger.
”En AI er ikke god til selv at vurdere, hvornår den har brudt grænsen. Så når jeg siger, at den kan rigtig mange ting, skal det absolut tages med forbehold,” påpeger han.
GAI må ikke erstatte læring
Selvom Carsten Bergenholtz generelt er optimistisk omkring GAI, advarer han mod at forveksle teknologien med læring. For at læse en chatbot-genereret tekst og kopiere den ind i en eksamensopgave, er ikke det samme som selv at opbygge en forståelse af stoffet, understreger han.
”At en GAI har produceret en sides tekst, hvorefter man kigger lidt på teksten, skimmer den og copy-paster den – og bagefter tænker, at det giver mening, jeg har forstået det,” siger han og fortsætter:
”Det er slet ikke samme form for læring og opbygning af indre mentale modeller. Uddannelserne skal sikre sig, at de studerende ved, hvad det vil sige at lære, og hvilken påvirkning GAI kan have på læring,” afslutter han.
Jeg må bruge GAI i mit studiearbejde og til eksamen – men bør jeg?