AI-systemen worden sneller en efficiënter
De tests werden uitgevoerd op systemen van onder andere Azure, Qualcomm, Nvidia, Dell, Intel en een aantal start-ups en bieden een uitstekende mogelijkheid om nieuwe technieken te evalueren. Daarbij zijn drie aspecten bovenal belangrijk: hoeveel vragen per seconde kan het systeem beantwoorden? Hoe snel genereert het systeem een antwoord? En: hoeveel energie verbruikt het systeem tijdens al dat rekenwerk?
Vooruitgang
De resultaten laten een opmerkelijke vooruitgang zien. De vorige MLPerf Inference-test (2.1) dateert van september. Sindsdien laten sommige tests tot wel 60% betere resultaten zien. Alles wijst er dus op dat systemen voor AI-werk aan een rotvaart sneller worden.
Dat geldt zowel voor servers in traditionele datacenters als voor servers in gedecentraliseerde edge-scenarios. Bovendien tonen de resultaten niet alleen dat AI-systemen sneller worden, maar ook dat er meer gegadigden zijn. Voor het eerst nemen 25 verschillende organisaties deel aan de benchmarks. Het toont aan hoezeer AI leeft.
Nvidia spant de kroon
In vijf van de zes tests, kwam een systeem van Nvidia als snelste uit de bus. Twee Intel Xeon-processors en acht Hopper-GPU’s zorgen ervoor dat berekeningen aan een ongeziene snelheid uitgevoerd kunnen worden. In die ene test waar Nvidia niet aan de leiding staat, staat Dell – opmerkelijk genoeg met bijna dezelfde hardware als Nvidia.
De resultaten van de MLPerf-tests worden opgedeeld in twee categorieën. In de de ‘closed’ categorie hebben fabrikanten zich aan een bepaald aantal regels te houden. In de ‘open categorie’ is er meer plek om innovaties te tonen. Dat doet Neural Magic ook met DeepSparse: software die ervoor zorgt dat AI kan draaien op x86-chips, zonder tussenkomst van GPU’s en CUDA-kernen. Michael Goin zegt in een interview met ZDNET dat er “nog heel wat uit consumentenhardware gehaald” kan worden. Voor x86-chips lijkt die uitspraak bewezen te zijn: met niets dan AMD EPYC serverprocessors haalt Neural Magic een derde plaats voor interacties met BERT, het neurale netwerk van Google. Wat blijkt? Een systeem dat op x86-chips gebaseerd is, is ook nog eens veel efficiënter: het gebruikt tot 92% minder energie dan traditionele systemen met GPU’s.
Alle testresultaten zijn raadpleegbaar op een spreadsheet via de website van MLCommons.
