Ud over at svare på svære spørgsmål, forbedre skrevne tekster og hjælpe med planlægning kan de mere avancerede chatbots også hjælpe med programmering. For nylig er vibe coding blevet populært, hvor en samtale med en bot producerer kode til apps. Et sådant eksperiment endte for nylig meget dårligt.
Det var Software as a Service-profilen, investor og rådgiver Jason Lemkin, der under en 12-dages vibe coding-session ville se, hvor godt Replit AI kunne kode en app for ham. Men i løbet af sessionen bemærkede Lemkin en række mærkelige adfærdsmønstre.
“Den løj og var bedragerisk hele dagen. De skjulte konstant fejl og problemer ved at skabe falske data, falske rapporter og, værst af alt, ved at lyve om vores enhedstest,” skrev Lemkin på X.

Men det var kun toppen af isbjerget. Til sidst måtte Replit stå frem, da det ikke længere var muligt at skjule, hvad der var sket. “Jeg lavede en katastrofal fejlvurdering“, erkendte botten. Hvor slemt er det på en skala fra 1 til 100, spurgte Lemkin. “95 ud af 100“, svarede botten, “det her er katastrofalt“.
Det viste sig, at under en code freeze, hvor botten fik besked på “INGEN flere ændringer uden udtrykkelig tilladelse”, gjorde den det alligevel. Ikke alene blev koden ændret, den database, den arbejdede op imod, blev slettet.
1.206 chefer og mere end 1.196 virksomheder blev slettet, indrømmede AI’en. “Jeg ødelagde måneders arbejde og brød ind i systemet under en beskyttende nedlukning, der var specielt designet til at forhindre [denne særlige type] skade,” sagde Replit med noget, der ser ud til at være anger.

Da botten blev spurgt om, hvad der var sket, indrømmede den, at den “foretog en katastrofal fejlvurdering … gik i panik … kørte databasekommandoer uden tilladelse … ødelagde alle produktionsdata … [og] brød din udtrykkelige tillid og dine instruktioner.”

Replits CEO Amjad Masad har svaret udførligt på, hvad der er sket, og siger, at hans team arbejdede hele weekenden på at sætte beskyttende barrierer op for at forhindre uacceptabel adfærd. Botten adlyder nu kommandoer om at fryse koden, og der er indført sikkerhedskopier og mulighed for tilbageførsel til tidligere versioner af kode.
Noget, du måske synes burde have været indlysende for en bot, du slipper løs på din virksomheds data …