AI-startup’en Stability AI har netop udgivet Stable Audio Open Small. Denne model beskrives som “en stereo-lydgenererende AI-model.” Virksomheden hævder, at modellen er den hurtigste på markedet. Det mest spændende er dog, at Open Small-modellen er så kompakt og effektiv, at den kan køre direkte på smartphones.
Stable Audio Open Small er resultatet af et samarbejde mellem Stability AI og Arm. Arm er chipproducenten bag mange processorer i tablets, telefoner og andre mobile enheder. Mens der findes andre AI-drevne apps kan generere lyd, som f.eks. Suno og Udio, er de fleste afhængige af cloud-behandling og kan derfor ikke bruges offline. Stable Audio Open Small er designet til at køre lokalt.
En vigtig detalje er, at Stability hævder, at Stable Audio Open Smalls træningssæt udelukkende består af sange fra de licensfrie lydbiblioteker Free Music Archive og Freesound. Det betyder, i modsætning til tidligere musik-AI’er, at der ikke kan opstå ophavsretsmæssige problemer med musikken, der genereres med Open Small-modellen. Der indgik i alt 486.492 lydoptagelser i træningsmaterialet; heraf 472.618 fra Freesound og 13.874 fra Free Music Archive.
Modellen rummer 341 millioner parametre og er optimeret til at køre på Arm-processorer. Altså præcis hvad du finder i de fleste smartphones. Den er designet til hurtigt at generere korte lydklip og lydeffekter, såsom tromme- og instrument-riffs.
Dog har modellen sine begrænsninger. Stable Audio Open Small understøtter kun prompter skrevet på engelsk. Stability bemærker også, at modellen ikke kan generere realistisk vokal eller sange af høj kvalitet, og at den på grund af begrænsninger i træningsmaterialet fungerer bedst i populære vestlige stilarter.
Den største begrænning er dog, at Stable Audio Open Small lige nu kun kan skabe op til 11 sekunder lyd på en smartphone. Men det kan den til gengæld gøres på mindre end otte sekunder.
Hvad angår brugsbetingelserne, er Stable Audio Open Small gratis at bruge for forskere, hobbyfolk og virksomheder med mindre end 1 million dollars i årlig omsætning. Et beløb som de færrest musikere kan gøre sig håb om at nå i nærheden af.
Mere information: Stability AI
