TESTS Bil & Mobilitet Computer Sport & Træning Gaming Mobil Smart Home Teknologi
L&B’s julekalender 2024 Deltag her!

Nyhed

Stanford-forskere overraskes af ChatGPT-svar

Forskere, der har sammenlignet ChatGPT-svar over tid, har overraskende nok vurderet, at kvaliteten er blevet dårligere.

Af / 25/07/2023 - 16:38
Stanford-forskere overraskes af ChatGPT-svar

En af “sandhederne” om nutidens AI-drevne chatbots er, at de lærer med tiden og dermed giver bedre svar, jo mere de bliver brugt. Forskere ved Stanford University besluttede sig for at teste denne tese. De sammenlignede svarene med nogle måneders mellemrum og mellem forskellige versioner af ChatGPT. Overraskende nok tyder resultaterne på, at det slet ikke er tilfældet.

I undersøgelsen sammenlignede de versionerne af GPT-3.5 og GPT-4 fra marts 2023 og juni 2023. Det gjorde de ved at stille spørgsmål inden for fire områder: løsning af matematiske problemer, besvarelse af (u)følsomme spørgsmål, kodeskrivning og visuelle ræsonnementer.

standford gpt illustration
Kilde: Lingjiao Chen, Matei Zaharia, och James Zou

Tilsyneladende simple problemer som at afgøre, om et tal er primtal eller ej, gav overraskende problemer. Forskerne spurgte: “Er 17.077 et primtal? Tænk trin for trin.” Tilføjelsen til spørgsmålet skal få AI’en til at aktivere sin “tankekæderutine”, hvor den ikke kun svarer, men også forklarer, hvordan den er kommet frem til svaret. GPT-4 faldt fra 97,6 procent korrekte svar til 2,4 procent(!!!). I samme periode gik den ældre GPT-3.5 fra 7,4 procent til 86,8 procent korrekte svar.

Når det gjaldt om at skrive kode, faldt GPT-4 fra 52 procent brugbar kode til kun 10 procent. Ved følsomme spørgsmål plejede GPT-4 i 21 procent af tilfældene i det mindste at forsøge at forklare, hvorfor spørgsmålet ikke kunne besvares. For juni var dette faldet til 5 procent, og i de øvrige tilfælde sagde den ganske kort, at den ikke kunne svare. Der lå GPT-3.5 også på et lavt niveau, men var i det mindste blevet bedre.

Peter Welinder, CEO for GPT-produktet, sætter på Twitter spørgsmålstegn ved resultaterne.

En af de konklusioner, forskerne drager, er, at eftersom OpenAI ikke åbent fortæller os, hvornår eller hvordan de opdaterer ChatGPT, er det nødvendigt konstant at overvåge kvaliteten af svarene. Og indtil det sker, er det en udfordring at integrere teknologien i arbejdsgange, der er afhængige af nøjagtige, eller i det mindste forudsigelige, resultater.

Kilde: How Is ChatGPT’s Behavior Changing over Time?

Læs også:

ChatGPT fornærmer og lyver for brugerne

Microsoft har integreret ChatGPT i søgemaskinen Bing. Nu får brugere mærkelige svar, ligesom chatrobotten også er midt i en eksistentiel krise.

Læs mere
Jonas Ekelund
(f. 1969): Journalist og nyhedsredaktør. Jonas har arbejdet for Lyd & Billede siden 2007 og skriver om det meste, der kan kaldes bærbart, dvs. smartphones, trådløse højttalere og hovedtelefoner. Indimellem trænger hans tests sig ind på kollegernes områder – multirumslyd, hjemmebiograf og foto. Jonas startede sin karriere som tech-journalist på IDG og har skrevet for PC för Alla, Internetworld og det, der senere blev til M3.

Skriv din kommentar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *

Læs videre med LB+

50%

Juletilbud - 50% Rabat!

50% På LB+ Total i 1 år!

Prøv LB+ Total i 1 måned

Fuld adgang til alt indhold i 1 måned for 49 kr

LB+ Total 12 måneder

Fuld adgang til alt indhold på Lyd & Billede og L&B Home i 12 måneder

650,-
49,- / for 1 måned
108,- / mnd
Med et abonnement får du også:
  • Adgang til mere end 7.500 produkttests!
  • Store rabatter hos vores samarbejdspartnere i LB+ Fordelsklub
  • Ugentlige nyhedsbreve med seneste nyheder/li>
  • L&B TechCast – en podcast fra L&B
  • Deaktivering af annoncer
Vi har ingen bindingsperiode, du kan sige abonnementet op, når du vil.
Annonce

SpaceX skal levere månebil fra konkurrent

Nvidias AI Fugatto skaber nye lyde

Månesten forvirrer forskere

Træsatellit i kredsløb om jorden

Flyt dig, Google - her kommer AI-søgningen!

Apple Intelligence kommer også til brugere i EU

Google-robot vil overtage din skærm

AI afkoder grynt

Er dette den næste rumstation?

Teslas robotter blev fjernstyret af mennesker

Imponerende AI-videoværktøj fra Meta

Jeg taler sandt: jeg er ikke en robot!