I løbet af det seneste år har vi næsten vænnet os til AI-værktøjer, der kan skabe billeder for os ud fra blot en beskrivelse. Det samme kan selvfølgelig gøres med video, men det er meget sværere at få det til at se naturligt ud. I denne uge offentliggjorde Google detaljer om sit Lumiere-projekt, og det ser ud til, at teknologien har taget et stort skridt fremad.
Værktøjet kan skabe korte videoklip ud fra beskrivelser, som “en hund med sjove briller, der kører bil”, eller det kan tage et billede, som f.eks. et berømt maleri, og animere det. Hvis du ikke helt kan sætte ord på, hvilken stil du vil have, kan du give dem et eksempel med et billede. Du kan også tage et stillbillede og få den til at animere dele af det, f.eks. røgen fra et damplokomotiv.
Mere imponerende er det, at den kan tage en kildevideo og manipulere den. For eksempel ved at ændre tøjet på en person i videoen. Eller helt ændre stilen i videoen ved at forvandle folk til fantasivæsener.
Lumiere benytter en ny diffusionsmodel kaldet Space-Time-U-Net. Som navnet antyder, kan AI-modellen finde ud af, hvor objekter er i rummet (space), og hvordan de ændrer sig over tid. Det gør det muligt at skabe videoen fra start til slut og få den til at se naturlig ud. Dette er i modsætning til tidligere værktøjer, der ofte genererer stillbilleder og derefter finder ud af, hvordan man udfylder manglende rammer.
Få mere at vide om Google Lumiere
Andre værktøjer til videogenerering omfatter Runway, Stable Video Diffusion og Metas Emu.