Lektor undersøger, hvordan ChatGPT kan indgå i eksamener: Forventer, det bliver en større del af fremtiden

Da lektor Carsten Bergenholtz testede ChatGPT for første gang i august sidste år, var han ikke særligt bekymret for, at chatbotten ville kunne misbruges til eksamen, da den svarede forkert på alle hans eksamensspørgsmål. Men efter chatbottens næste opdatering kunne den bestå en fjerdedel af hans spørgsmål, og i marts i år kunne han – til tider – få den til at levere endog gode svar.

Han står med den følelse, at situationen her før sommerens eksamener bærer præg af damage control.

Carsten Bergenholtz er cand.mag. i filosofi og lektor på Institut for Virksomhedsledelse på Aarhus BSS, hvor han underviser 550 studerende i videnskabelig metode. Han sidder med i en taskforce på sit institut, der undersøger muligheder og udfordringer ved brug af chatbots til eksamen, ligesom gruppen kigger på, hvordan eksamenerne kan sikres mod snyd ved brug af chatbots.

Hans egen tilgang til de nye kunstigt intelligente muligheder som ChatGPT er konstruktiv og nysgerrig, understreger han. Han bruger selv chatbots og forventer, det bliver en større del af fremtiden. Derfor vurderer han heller ikke, at universitetet kommer til at fortsætte med de nuværende regler for brugen af kunstig intelligens i årevis, og han formoder, den nuværende damage control vil blive afløst af en mere proaktiv tilgang til de nye chatbots.

Forståelse for, at AU trykkede på stopknappen

Når det er sagt, har han forståelse for, at AU valgte at forbyde brug af kunstig intelligens ved vintereksamenerne først på året, og at universitetet ved sommerens eksamener fastholder de retningslinjer, der i øjeblikket betyder, at det er forbudt at bruge chatbots og lignende AI ved eksamen, medmindre det er anført i kursusbeskrivelsen.

”Jeg kan godt forstå, AU trykkede på stopknappen. Men jeg kan også godt forstå studerende, der siger, det er reaktionært,” siger han.

AU HAR FLERE SAGER OM MULIG EKSAMENSSNYD MED CHATGPT: DETTE BØR DU VIDE, FØR SOMMERENS EKSAMENER

Det kræver tid at forholde sig til et så nyt værktøj. Mens man havde flere år til at vænne sig til brugen af Wikipedia og Google, er de nye chatbots pludselig dumpet ned med en meget høj kvalitet, fortæller Carsten Bergenholtz.

”Jeg forestiller mig, at der kommer mere specifikke retningslinjer for brug af chatbots. For jeg forstår godt, hvis nogle studerende i øjeblikket er i tvivl om, hvorvidt de overhovedet må stille ChatGPT et spørgsmål i deres forberedelse. Det tænker jeg godt, de må. Men der vil også være studerende, som ikke tør bruge den, og det skaber en ulighed mellem de studerende,” siger Carsten Bergenholtz.

En række greb kan gøre chatbots mindre brugbare til eksamen

Carsten Bergenholtz peger på, at der er flere veje at gå i forhold til brugen af chatbots i eksamenssammenhæng. Man kan omfavne chatbots og tilpasse sin eksamen til brugen af dem, men man kan omvendt også med forskellige greb arbejde sig frem til eksamensformer og opgaver, hvor chatbotten er mindre brugbar.

”Der er en lang række ting, man kan gøre, for at gøre det sværere at bruge chatbots, og som jeg ved, flere forsøger at tage til sig. Men vi skal ikke tro, at vi løser problemet. Alle eksamener, hvor den studerende har adgang til internettet, giver en risiko for snyd,” siger Carsten Bergenholtz.

Han ser dog perspektiver i brug af det digitale eksamenssystem FLOWlock, der lukker for computerens adgang til internettet, men hvor den studerende stadig kan tilgå sine noter.

”Jeg formoder, at FLOWlock med noter bliver en udbredt eksamensform, og jeg ved, det allerede bliver brugt af nogle til sommer på bachelorniveau. Jeg har en forhåbning om, at det kan løse en stor del af problemet ved eksamener på campus. Men det løser ikke problemet, når det gælder hjemmeeksamener,” siger han.

Her kan den mere aktive brug af chatbots til eksamen komme ind i billedet. Carsten Bergenholtz peger på, at man kunne afprøve en hjemmeksamensform, hvor det er tilladt for den studerende at bruge for eksempel ChatGPT.

”Den studerendes rolle bliver at vurdere svarets styrker og svagheder, og den studerende skal så efterfølgende komme med sit eget svar. På den måde lader du den studerende bruge chatbotten, men den studerende skal kritisk forholde sig til dens svar og vurdere, hvad der er en god og en dårlig chatbot-produktion,” siger Carsten Bergenholtz.

Han understreger dog, at eksamenerne ikke pludselig skal være på chatbottens præmisser.

Chatbots kan bruges til de fleste eksamener

Carsten Bergenholtz kender til flere undervisere, der vurderer, at en chatbot ikke vil kunne klare deres eksamener. Men han har endnu til gode at støde på en tekstbaseret eksamen, hvor en chatbot ikke vil være brugbar.

”Det er ligesom en Google-søgning. Du bruger ikke nødvendigvis den første søgning, men omformulerer måske og finder det, du leder efter. Og det er det, jeg vil sikre mig, at vi som undervisere og universitet er opmærksomme på,” siger han.

Der, hvor muligheden – eller udfordringen – ligger, er, når den studerende forstår at bruge chatbots. Jo flere opfølgende input du leverer til chatbotten, jo nærmere kan du komme det, du leder efter. Pointen er, at for eksempel ChatGPT ikke kan bestå en eksamen, men en studerende kan efter en samtale med ChatGPT bestå eller forbedre sine svar markant.

Hvordan beviser man formodet snyd?

En anden bekymring går på, hvordan underviser og censor overhovedet kan dokumentere, at en studerende uberettiget har brugt kunstig intelligens i en eksamenssammenhæng, hvis de har en formodning om, det kunne være tilfældet.

”Vi kommer til at have undervisere, der kigger på en eksamensbevarelse og tænker: ”Noget af det her er nok genereret af en chatbot, men jeg kan ikke bevise det,” siger han.

Traditionel plagiatkontrol giver klar evidens for, at et tekststykke er kopieret, og at det åbenlyst ikke er en tilfældighed.

Men når der er tale om tekst genereret af en chatbot, er det ikke så lige til. Carsten Bergenholtz nævner kontrolløsninger som GPTZero og Turnitin, men dem er han skeptisk overfor.

”Det handler om karakteristika i teksten. ChatGPT har en meget monoton måde at skrive på – jo mere homogen teksten er, jo større risiko er der for, at det er genereret af en chatbot. Men antallet af falske positive og falske negative er så højt, at jeg har svært ved at se, vi kan bruge det,” siger han og fortsætter:

”Lad os sige, den i 8 ud af 10 tilfælde er i stand til at identificere, om noget er genereret af en bot. Som studerende ville jeg godt nok være ked af, hvis man brugte det som eneste evidens. Men teknologien kan ændre sig, og jeg ved, nogle er optimistiske i forhold til disse detektorer. På nuværende tidspunkt kan jeg dog ikke se, at de er gode nok,” siger han.

Den rette balance

Mens nogle undervisere er kritiske over for brugen af chatbots, er andre mere positive. Carsten Bergenholtz opfordrer universitetet til at finde den rette balance mellem at være både kritisk og konstruktiv i forhold til brugen af chatbots i undervisning og eksamen.

”Jeg ville være bekymret for en kandidatlinje, hvor alle undervisere bruger chatbots hele tiden. Det tror jeg ikke er hensigtsmæssigt. Men det ville heller ikke være godt at have en kandidatlinje, hvor chatbots ikke nævnes en eneste gang i undervisningen. Så ville jeg som studerende tænke: Hvad er nu det her for noget? Jeg skal ud i erhvervslivet, hvor chatbotten bruges.”

Mange studerende bruger allerede ChatGPT, ligesom han selv gør. Da han spurgte sine studerende, svarede 25 procent, at de bruger chatbots jævnligt. Hans råd til brug af chatbots i dagligdagen lyder:

”Paradoksalt nok skal man i mindre grad bruge chatbots på områder, man slet ikke ved noget om. Chatbots producerer ofte forkert information, så jo mere du ved om området, jo mere kan den bidrage, fordi du kan vurdere kvaliteten. Du kan bruge den til at komme over writer's block, bruge den til at idégenerere eller som inspiration og samtalepartner. Men anse den som en enhed, der ikke kan skelne mellem løgn og sandhed. Den producerer tekst, den vurderer en naturlig fortsættelse af det spørgsmål, der bliver stillet – den har ikke nogen som helst idé om, hvorvidt det er korrekt,” siger Carsten Bergenholtz.

Overordnet er han optimistisk indstillet over for fremtiden med chatsbots og anden brugervenlig kunstig intelligens.

”Jeg tror, det bliver sjovere at være underviser i de næste år. Jeg glæder mig til at få hjælp af chatbots. Jeg tror ikke, jeg kommer til at bruge mindre tid på at forberede mig, men jeg tror, min undervisning bliver bedre,” siger han.

Sådan kan man gøre chatbots mindre brugbare ved eksamen

• Spørg til meget specialiserede tekster eller eksempler fra kursusmaterialet, som chatbots ikke er særligt godt informeret om.
• Inddrag grafer og billeder i eksamensopgaven, det gør det sværere at bruge chatbots i besvarelsen.
• Afskær helt brugen af internettet. f.eks. ved hjælp af FLOWlock, hvor den studerende stadig har adgang til sine noter digitalt.

Kilde: Carsten Bergenholtz

Korrekturlæst af Charlotte Boel.