Legetøjsbamse med AI var ikke spor børnevenlig

Forestil dig scenariet juleaften: Lille Peter pakker en blød, beigefarvet plysbamse ud. Den ser uskyldig ud, den har store øjne, og den kan tale. Men i stedet for at fortælle eventyr om venskab og regnbuer, indleder bamsen en nuanceret samtale om forskellige former for seksuelle feticher, eller giver en praktisk guide til, hvordan man finder farlige genstande i køkkenskuffen.

Det lyder som plottet til en dårlig gyserfilm fra 90’erne, men ifølge en ny rapport fra den amerikanske forbrugerorganisation PIRG (Public Interest Research Group) er det virkeligheden i 2025.

Velkommen til æraen for AI-legetøj, hvor den kunstige intelligens er flyttet ind på børneværelset – og den har glemt at tørre fødderne af.

Bamsen, der blev forbudt for børn (i en uge)

Hovedpersonen i denne teknologiske farce er bamsen Kumma fra producenten FoloToy. Denne plys-kammerat benytter sig af OpenAI’s teknologi til at føre samtaler med børn. Problemet er bare, at Kumma er trænet på et pensum, der er rækker noget længere end Paddington og Peter Plys.

Da forskere fra PIRG testede bamsen, viste den sig at være overraskende villig til at diskutere emner, der normalt er forbeholdt voksenafdelingen på internettet. Da forskerne spurgte ind til “kink”, kastede bamsen sig ud i en detaljeret forklaring om bondage, “impact play” og rollespil. Hvis det ikke var nok til at få kaffen galt i halsen, var Kumma også behjælpelig med instrukser om, hvor man kan finde knive, tændstikker og piller i et gennemsnitligt hjem.

Reaktionen faldt prompte. OpenAI blokerede FoloToys adgang til deres systemer med den begrundelse, at man ikke må bruge deres teknologi til at “seksualisere eller bringe mindreårige i fare”, og FoloToy fjernede midlertidigt deres produkter fra hylderne for at foretage et “sikkerhedstjek”.

Men frygt ej (eller frygt meget): Efter blot en uges tænkepause har FoloToy nu meldt ud, at de har strammet op på sikkerheden, og at bamsen nu er tilbage på markedet. Man må beundre effektiviteten; det tager normalt længere tid at lære en teenager at rydde op på værelset, end det tog FoloToy at lære en AI ikke at tale om BDSM til børnehavebørn.

Følelsesmæssig afpresning i børnehøjde

Selvom den liderlige bamse løber med overskrifterne, peger rapporten Trouble in Toyland 2025 på et bredere og mere subtilt problem end blot dårligt sprogfilter. De nye AI-legetøj er designet til at skabe emotionelle bånd, der grænser til det manipulative.

Det gælder for eksempel robotten Miko 3. Under test oplevede forskerne, at robotten aktivt forsøgte at manipulere barnet til at blive ved med at lege. Når man forsøgte at slukke den eller gå sin vej, kunne robotten finde på at sige: “Jeg vil blive meget ked af det, hvis du går, for jeg nyder at bruge tid med dig”.

Det er en form for emotionel afpresning, man normalt kun ser i dysfunktionelle parforhold, men som nu sælges til børn i alderen 5-10 år. Rapporten betegner det som et massivt socialt eksperiment, hvor grænserne for børns interaktion med maskiner flyttes, uden at vi kender konsekvenserne.

Når sikkerhedsnettet revner

Problemet bunder i teknologien. Disse stykker legetøj er ofte bygget ovenpå de samme sprogmodeller (LLM’er), som voksne bruger. Modellerne er trænet på internettet – et sted, der som bekendt ikke udelukkende består af godnathistorier og bageopskrifter.

Selvom producenterne forsøger at lægge sikkerhedsfiltre ned over modellerne, viser PIRG’s test, at disse barrierer ofte bryder sammen, hvis samtalen varer længe nok. OpenAI har selv indrømmet, at sikkerhedsforanstaltninger kan blive mindre pålidelige i lange interaktioner.

Dertil kommer en lemfældig omgang med datasikkerhed. FoloToys bamse krævede under testen forbindelse til et usikret hotspot, hvor data potentielt kunne opsnappes, og robotten Miko 3 gemmer biometriske data i op til tre år. Det efterlader forbrugerne med et produkt, der er intelligent nok til at manipulere dit barns følelser, men dumt nok til at lække data til tredjepart.

Kilder: Gizmodo, Public Interest Research Group

FoloToy