Vi har tidigare skrivit om hur forskare använt Google Genie för att se om en AI skulle kunna förstå skillnaden mellan video och spel. Om den skulle kunna generera en video av något som ser ut som ett spel baserad på en stillbild. Resultatet var så där men ändå lovande då den verkade greppa konceptet. Nu har Google och forskare vid Tel Avivs universitet presenterat en AI-modell som kan simulera 3D-actionspelet Doom från 1993.
Det handlar om GameNGen, som använder teknik lånad från Stable Diffusion för att generera bildrutor av spelet. AI:n har tränats genom att titta på videor från spelet och kan nu simulera en spelsession som faktiskt liknar spelet riktigt väl. Detta fick spelutvecklaren Nick Dobos att på X skriva ”Varför skriva komplexa regler för mjukvara för hand när AI i stället kan tänka ut pixlarna åt dig?”.
Turns out the answer to ’can it run DOOM?’ is yes for diffusion models”, skrev Stability AI:s forskningschef Tanishq Mathew Abraham
Även om dagens GameNGen är väldigt begränsad så visar den ändå på en framtid när man i stället för att ha programmerare som mödosamt skriver kod, i stället har manusförfattare och konstnärer som beskriver spelet för en AI. Den genererar sedan vad som syns på skärmen i realtid för spelaren. Något som kanske kan komma att kallas neural rendering. Faktum är att Nvidias VD Jensen Huang redan i mars förutspådde att majoriteten av spelgrafik kommer vara realtidsgenererad av AI inom 5–10 år.
Ett enormt problem att lösa är att spel är väldigt regelbaserade. Eftersom åtminstone dagens AI gissar sig fram till vad som ska hända härnäst så undrar åtminstone vi hur det skulle se ut om man spelar om spelet. Kommer det bli helt annorlunda? Hur skulle spelare kunna tävla med varandra om spelen inte är identiska?
I spelvideon ser vi exempelvis att AI:n inte inser sambandet mellan att plocka upp ammunition och att räknaren för mängden ammunition ökar.
Ett annat problem är att sådana här genererade videor alltid introducerar små fel. Och eftersom nästa bildruta baseras på de föregående så byggs felen på tills resultatet är oanvändbart. Forskarna har tveklöst mycket att jobba med framöver.
