Googles Lumiere tart de verbeelding met realistische AI-video’s
Met een experimentele tool, ‘Lumiere’, laat Google nog eens zien wat de mogelijkheden van generatieve AI precies inhouden. Dat het met tools als Stable Diffusion en DALL-E 3 mogelijk is om afbeeldingen te genereren, was al langer duidelijk. Met Lumiere toont Google de mogelijkheden van AI met bewegend beeld, en die zijn best indrukwekkend.
Van tekst naar video
Net zoals andere AI-systemen werkt Lumiere op basis van tekstuele prompts. De onderzoekers tonen in een voorbeeldfilmpje de resultaten van een aantal prompts. Uit een opdracht als “een ridder die te paard door het platteland rijdt” of “astronaut die rondwandelt op Mars” komen beelden zoals je ze zou verwachten. In een aantal gevallen wordt het echt moeilijk om te bepalen of de beelden echt zijn. Vooral voedsel en landschappen lijken het AI-systeem goed af te gaan. Zodra er levende wezens aan te pas komen wordt duidelijk dat de beelden niet altijd echt zijn.
Het systeem is ook in staat om beweging naar stilstaande beelden te brengen. Hier lijken de dieren haast levensecht en kan je met moeite zeggen dat het om een AI-generatie gaat. Google toont ook hoe de tool beweging kan brengen in portretten van het Melkmeisje en Isaac Newton. Niet in alle gevallen is de tool even succesvol, maar dat valt te verwachten: het gaat namelijk om een experiment.
De video’s die je op deze manier kan generen hebben een maximale duur van vijf seconden. Je zal de beelden dus niet meteen delen op sociale media als TikTok, maar zou ze eventueel wel kunnen gebruiken in chatgesprekken met vrienden en familie. De resolutie van de beelden bedraagt 1024 op 1024 pixels, maar dat zou later nog verbeterd kunnen worden.
Stijlaanpassingen
De tool van Google biedt echter meer mogelijkheden dan alleen het generen van video. De minst indrukwekkende functie die Lumiere biedt is het animeren van bepaalde zones in een afbeelding. Op die manier kan je een foto van een kampvuur maken en ervoor zorgen dat het kampvuur beweegt.
De tool is echter ook in staat om assets te creëren in een bepaalde stijl. Vandaag kan je, in systemen als DALL-E 3 al aangeven dat een beeld in een specifieke stijl gemaakt moet worden. Lumiere gaat daar iets verder in: je kan een referentieafbeelding aan het systeem serveren, waarna je stilstaande of bewegende beelden kan genereren in dezelfde stijl. Behalve zelf assets te genereren is het ook mogelijk om bestaande beelden een andere stijl mee te geven.
Knap, leuk en mogelijk gevaarlijk
Tot slot toont Google de mogelijkheid om aspecten aan video’s toe te voegen of zelfs volledig om te gooien. De onderzoekers laten vrij onschuldige voorbeelden zien, zoals een video van luchtballonnen of iemand die een pizza op een plaat legt. Een uil met een zonnebril of een kuiken met rubberen laarzen moeten verder duidelijk maken wat de mogelijkheden van de tools zijn.
De onderzoekers zijn zich er echter van bewust dat niet iedereen uilen en kuikens wil aankleden en dat de tool ook misbruik kan worden. Zo zouden beelden van bekende mensen en oorlogszones omgevormd kunnen worden om fake news te verspreiden. Ze benoemen in hun paper dan ook dat een detectiesysteem dat zulke praktijken helpt voorkomen cruciaal is.
