Nvidia en Microsoft bouwen samen AI-supercomputer
Nvidia kondigt aan voor langere tijd met Microsoft samen te gaan werken. In de loop van de komende jaren willen de bedrijven een van de “meest krachtige AI-supercomputers ter wereld” gaan bouwen. Die computer moet het mogelijk maken om nieuwe AI-modellen te trainen en om bestaande modellen op grotere schaal toe te gaan passen.
De supercomputer zal gebaseerd worden op de infrastructuur die Microsoft nu al heeft. Microsoft Azure Platform, zoals het cloudcomputingplatform van Microsoft heet, maakt het mogelijk om AI vanop afstand te trainen en te gebruiken. Hierdoor kunnen ontwikkelaars gebruik maken van de krachtige computers die bij Microsoft staan opgesteld.
De nieuwe supercomputer zal ook via dat platform gaan werken. Daarnaast voorziet Nvidia “tienduizenden” GPU’s om de supercomputer van rekenkracht te voorzien. Deze grafische kaarten, de A100 en H100, zijn speciaal gebouwd om artificiële intelligentie te ondersteunen. Nvidia zal ook Nvidia AI Enterprise – software die het mogelijk maakt om AI’s te trainen – aanleveren, naast de nodige netwerkapparatuur om de supercomputer aan de cloud te verbinden.
Research
Volgens Nvidia zou het nieuwe project niet alleen de uitrol van AI in bedrijven mogelijk moeten maken, maar ook research naar nieuwe vormen van AI. Zelf zeggen ze dat de supercomputer gebruikt zou kunnen worden om onderzoek te doen naar generatieve AI. Generatieve AI kwam de laatste tijd onder de aandacht door toepassingen zoals DALL-E en Stable Diffusion. Deze toepassingen illustreren perfect waartoe generatieve AI in staat kan zijn: op basis van een input en een zelflerend algoritme kunnen zij zelf content aanleveren.
Dat onderzoek moet duidelijk maken hoe die zelflerende modellen nog verbeterd kunnen worden. Om die reden zullen Microsoft en Nvidia ook DeepSpeed verder ontwikkelen. Die software optimaliseert zo veel mogelijk de ‘deep learning’ van AI. Nu is er bijvoorbeeld al het Megatron-Turing NL 530B-model. Dat model werd getraind aan de hand van DeepSpeed en zou vandaag het meest krachtige generatieve model voor taal zijn. Met de nieuwe supercomputer waar Nvidia en Microsoft aan bouwen, zullen de modellen alleen maar sterker worden.
