Movie Gen tar AI-videoskapande till en ny nivå

I början av året visade OpenAI upp sitt videogenereringsverktyg Sora som kan skapa fotorealistiska videor från textbeskrivningar. Nu kommer svaret från Meta som visat upp Movie Gen, ett AI-verktyg som tar det hela ett par steg längre.

Naturligtvis kan den också använda textbeskrivningar av vad man vill ha, som i bilden ovan ”En flodhästbaby simmar i floden. Färgglada blommor flyter på ytan, medan fiskar simmar runt flodhästen”. Imponerande.

We’ve shared more details on the models and Movie Gen capabilities in a new blog post ➡️ https://t.co/J1dwK6p1jT pic.twitter.com/w0U3WZxmLm

— AI at Meta (@AIatMeta) October 4, 2024

Men den kan även använda en stillbild som bas för videon och inte bara göra den rörlig, utan sätta in den i ett helt nytt sammanhang. I exemplet Meta använder har man ett porträttfoto av en kvinna där man bett Movie Gen generera en video av henne sittande i ett pumpafält och dricka kaffe.

Men Movie Gen kan även manipulera och redigera existerande video. I Metas exempel har de en löpare som helt plötsligt får nya kläder eller flyttas till en helt ny miljö. Eller varför inte videon där Mark Zuckerberg tränar på ett helt vanligt gym, för att sekunden senare befinna sig i ett science fiction-gym.

 

Visa detta inlägg på Instagram

 

Ett inlägg delat av Mark Zuckerberg (@zuck)

Nu väntar vi oss säkert att detta kommer bli tillgängligt på Instagram om ett par månader, eller hur? Och att det kommer bli helt hopplöst att lita på videor när det är så lätt att fejka dem. Nja, riktigt så enkelt är det inte.

Produktchefen Chris Cox skriver på Threads att företaget ”inte är redo att släppa detta som en produkt i närtid”. Det är fortfarande dyrt att generera videor och det tar för lång tid.

 

På senare tid har flera AI-företag kritiserats för att träna sina verktyg på källmaterial, som Youtube, utan tillåtelse. Meta säger sig ha använt licensierade och allmänt tillgängligt material, men undviker att berätta vilket.

Mer info och mängder av videoexempel på ai.meta.com