Nvidia lanceert Fugatto: geavanceerde AI die audio creëert met tekst
Het Foundational Generative Audio Transformer Opus 1-model (kortweg Fugatto) is ontwikkeld door een internationaal team van onderzoekers en blinkt uit in multi-accent en meertalige toepassingen. Fugatto wordt omschreven als een “Zwitsers zakmes voor geluid”.
“Fugatto verwerkt audio zoals mensen”
Volgens Rafael Valle, hoofd toegepast audioresearch bij NVIDIA, is het doel om een AI te bouwen die geluid begrijpt en genereert zoals mensen dat doen. Fugatto onderscheidt zich volgens het techbedrijf met zijn realistische audiogeneratie. Het AI-model is in staat om geluiden te verwerken die veranderen in tijd en ruimte, zoals een regenbui die over een landschap trekt.
Daarnaast kan Fugatto emoties herkennen én die combineren met een specifiek accent. Bovendien kan het model volgens Nvidia na minimale aanpassingen taken uitvoeren waarvoor het niet expliciet is getraind.
Toepassingen van Fugatto
Nvidia ziet uiteenlopende toepassingen voor Fugatto, waaronder muziekproductie, het taalonderwijs of bij game-ontwikkeling. Dankzij het model zouden artiesten sneller nummers kunnen prototypen en makkelijker kunnen experimenteren met verschillende stijlen en instrumenten. Fugatto kan ook geluidsmateriaal genereren in stemmen naar keuze, voor educatieve doeleinden. Het AI-model kan in theorie ook variaties creëren van vooraf opgenomen audiobestanden, wat dan de ontwikkeling van games kan helpen versnellen.
Nvidia heeft wel nog niet aangegeven of Fugatto uiteindelijk ook beschikbaar wordt voor het grote publiek. De AI voegt zich bij vergelijkbare technologieën zoals Meta’s open-source geluidsgenerator en Googles MusicLM, dat via de AI Test Kitchen toegankelijk is. Met Fugatto zet Nvidia alvast een stevige stap in de wereld van generatieve audio-AI en biedt het een veelzijdig platform dat innovatie in muziek, onderwijs en entertainment kan versnellen.
