De store AI-sprogmodeller virker besnærende intelligente, og de kan give fyldige svar på selv meget komplekse spørgsmål. Men de fejler alligevel i simple opgaver, som klares af de fleste børn i første klasse.
En forskergruppe på universitetet i Edinburgh, Skotland, har fundet ud af, at de fleste kunstige intelligenser har svært ved at aflæse viserne på ure. De kan heller ikke finde ud af datoer i en kalender.
Forskerne bad AI-modellerne aflæse tiden på forskellige urskiver med visere. Undersøgelsen viste, at AI’erne i bedste ramte rigtigt i en fjerdedel af tilfældene! Værst gik det på ure med romertal eller stiliserede visere.
Vores resultater fremhæver et betydeligt hul i AI’s evne til at udføre, hvad der er helt grundlæggende færdigheder for mennesker. Disse mangler skal løses, hvis AI-systemer med succes skal integreres i tidsfølsomme applikationer i den virkelige verden, såsom planlægning, automatisering og hjælpeteknologier.”
– Rohit Saxena, School of Informatics
En almindelig skrivebordskalender med visning af flere dage på samme side voldte også AI’erne kvaler. Fejlprocenten var mindre end på viserurene, men de kunstige intelligenser ramte stadig galt i 20 procent af tilfældene, når de blev bedt om at udpege helligdage.
Så måske det er for tidligt at bede din AI-assistent om at booke en ferierejse i påskeferien. I hvert fald hvis det er vigtigt for dig, at den foregår på netop de dage, hvor du har fri…
Resultaterne i undersøgelsen vil blive præsenteret ved en workshop om store sprogmodeller ved en konference om kunstig intelligens i april i år.
Kilde: University of Edinburgh