Ann-Marie Pendrill beskriver chattbottens svar som motsägelsefulla och opålitliga med brister vad gäller fakta. Det som är korrekt blandas med direkta felaktigheter. För att inse vad som är rätt och vad som är fel krävs en hel del kunskap i ämnet.
Språkligt däremot, var svaren näst intill fulländade, enligt författarna.
– Jag tror det hänger ihop med att den har tränat sig på texter på nätet, inklusive texter i fora där många skriver även om de inte kan fysik. Ord i fysiken har ofta en väldigt exakt betydelse, som dessutom kan skilja sig från hur orden används i vardagen, säger Ann-Marie Pendrill.
Inte att lita på
Att ChatGPT inte går att lita på är tydligt, menar hon. Vid ett tillfälle bad hon den att generera en flervalsfråga och frågade sedan vilket svar som var rätt. När hon bad den att svara en gång till så valde den ett annat alternativ.
Utan framgång försökte författarna vid ett antal tillfällen förmå chattbotten att rätta felen den gjort och undvika motsägelser.
– När vi konfronterade den gav den allt längre svar där korrekt information blandades med felaktigheter. Vi upplevde att den reproducerade vanliga missuppfattningar.
Bra på vissa saker
Ann-Marie Pendrill menar att chattbotten kan vara en bra ingång till ett nytt område inom fysiken och ge en överblick. Den kan fungera för att få till en första version av en text, en version som måste bearbetas och granskas kritiskt. Om ChatGPT används på det sättet kan den vara till nytta både för lärare och studenter, anser hon.
– Det kan vara användbart att prata om olika svar från ChatGPT och om de är fel eller rätt eller någonstans mitt emelllan. Inte minst kan det vara till nytta inom lärarutbildningen för att diskutera vanliga problem som kan uppstå.
Råder alla att testa
Ann-Marie Pendrills råd är att alla bör testa ChatGPT eller någon annan chattbot. Den snabba utvecklingen inom AI försvårar upptäckten av plagiat och svar som konstruerats av en chattbot, varnar hon. För att ha en chans att avslöja fusk krävs att lärare följer studenternas process noggrant och vet hur chattbotten fungerar.
