Stability AI lanceert open source taalmodel ‘StableLM’
Stability AI, het bedrijf achter AI-beeldengenerator Stable Diffusion, heeft een taalmodel gepubliceerd. Large Language Models (LLM’s) of grote taalmodellen vormen de motor achter chatbots als ChatGPT en Bing Chat. Die laatste twee maken allebei gebruik van GPT-4, al dan niet gemodificeerd. Het model werd ‘StableLM’ gedoopt.
Volgens de blogpost van Stability AI werd het model getraind op “The Pile”. The Pile is een open source dataset met gegevens van Wikipedia, PubMed en YouTube. Stability is overigens niet het enige bedrijf dat van die dataset gebruik maakt: andere open source taalmodellen zoals Cerebras-GPT en Dolly-2.0 maken eveneens gebruik van de dataset. Stability meent echter dat de dataset voor StableLM drie keer groter was dan voor die andere modellen.
Het bedrijf zegt later meer informatie vrij te geven over de uitgebreide dataset. Mettertijd zou eveneens een uitgebreide versie van StableLM beschikbaar worden. De huidige alfa-versie van het model is beschikbaar met 3 tot 7 miljard parameters. In de toekomst zou het model echter veel complexer moeten worden en maar liefst 15 tot 65 miljard parameters moeten omvatten. Daarmee is het model van Stability echter lang niet zo complex als bijvoorbeeld GPT-3, dat opereert met 175 miljard verschillende parameters.
Niet de slimste chatbot
Dat gezegd hebbende lijkt het model van Stability niet meteen hoge ogen te gooien. Bij Mashable gingen ze reeds aan de slag met een chatbot die op StableLM draait. De resultaten daarvoor lieten eerder te wensen over. In hun vergelijking met ChatGPT kwam de chatbot van OpenAI duidelijk als winnaar uit de bus: de bot op basis van StableLM neemt nogal vaak een loopje met de waarheid.
StableLM wordt meteen open source beschikbaar gesteld. Wie nieuwsgierig is naar hoe de code er precies uitziet, kan daarvoor dus terecht op GitHub. Om meteen met het taalmodel aan de slag te kunnen, heeft HuggingFace een front-end gebouwd waarmee je met het AI-systeem kan chatten.
