Hoe werkt AI en wat zijn LLM’s? Alles over grote taalmodellen
Al sinds de lancering van ChatGPT in november 2022, is het AI dat de klok doet slaan. Die chatbots van bedrijven als OpenAI, Google en Microsoft zijn indrukwekkend, maar de technologie die erachter zit zorgt toch nog voor veel onduidelijkheid. Met de AI Decoded-reeks wil Nvidia die onduidelijkheid de wereld uit helpen.
Grote taalmodellen
Deze keer gaat AI Decoded over grote taalmodellen. Vaak zal je dingen horen over zogenaamde ‘LLM’s’, een afkorting die van het Engelse ‘Large Language Model’ komt. In feite gaat het om grote, dieplerende algoritmen die getraind hebben op énorme datasets. Zo’n dataset bestaat uit grote hoeveelheden tekst én statistische berekeningen die daarop werden uitgevoerd. Zo weet het AI-model dat een zin als “ik eet graag mosselen” waarschijnlijker is dan “ik eet graag bakstenen”.
Het is een klein voorbeeld, maar LLM’s zijn in staat om zulke statistische berekeningen op grote schaal te maken, voor alles wat je zegt. Aanvankelijk trainden deze taalmodellen enkel op tekst, maar naarmate de technologie vorderde werden er ook afbeeldingen, video’s en andere soorten inhoud aan toegevoegd. De gegevens waar deze modellen op trainden zijn voer voor discussie: in sommige gevallen gaat het namelijk om auteursrechtelijk beschermd materiaal. Verschillende auteurs en nieuwssites startten al rechtszaken tegen AI-bedrijven omdat boeken en nieuwsartikelen gewoon gebruikt werden, terwijl daar eigenlijk toestemming voor nodig is.
Lokaal in plaats van in de cloud
Los daarvan: de taalmodellen zijn enorm rekenintensief en vereisen dus heel wat rekenkracht. Daardoor zijn heel wat AI-modellen enkel te gebruiken via de cloud, waar de rekenkracht uit datacenters van bijvoorbeeld Google komt. Recente ontwikkelingen proberen de intensiteit wat naar beneden te halen, waardoor AI energiezuiniger moet worden. Dat heeft ook als voordeel dat de tools minder rekenintensief worden, waardoor je ze alsnog op je eigen machine kan gebruiken. Hiervoor heb je wel een vrij krachtige Nvidia GeForce RTX-GPU nodig: de optimalisatie-algoritmen werken namelijk alleen in combinatie met hardware van Nvidia.
De taalmodellen kunnen uiteindelijk voor heel wat doeleinden ingezet worden. Denk maar aan een vertaalprogramma als DeepL: ook daar gebruiken ze grote taalmodellen en AI om vertalingen in goede banen te leiden. Verder kan je aan de slag met chatbots zoals Gemini, ChatGPT en Copilot. De mogelijkheden zijn daar echter beperkt tot wat Google, OpenAI en Microsoft toestaan. Een andere optie is dus om het taalmodel lokaal te laten draaien; iets dat mogelijk is dankzij het Chat with RTX-programma van Nvidia. Indien je pc of laptop aan de vereisten voldoet, kan je langs deze tool aan de slag met kleine modellen zoals Googles Gemma-modellen en Mistrals 7B-model.
Aan de slag met bestanden
Waarom je dat zou willen doen? Eerst en vooral draait het AI-model volledig lokaal, waardoor je geen vrees moet hebben voor je persoonlijke gegevens. Het wordt dan ook heel wat aantrekkelijker om aan ‘retrieval-augmented generation’ (RAG) te doen. Vergelijk het met ChatGPT en Copilot: hoewel beiden op dezelfde GPT-technologie werken, kan de bot van Microsoft opzoekingen doen op het internet, die van OpenAI niet. Het feit dat Microsofts Copilot wel feiten van externe bronnen kan raadplegen, betekent dat die bot ook aan RAG doet.
Zelf kan je ook een AI-systeem aan externe bronnen koppelen, al moet je deze niet op internet gaan zoeken. Wel kan je het taalmodel toegang geven tot bestanden die lokaal, op je computer, staan opgeslagen. Denk daarbij aan e-mails, tekstbestanden, spreadsheets, presentaties… Al die gegevens kan je koppelen aan het taalmodel, waarna het AI-systeem die informatie in het achterhoofd houdt.
Op die manier kan je AI-systemen laten omgaan met lokale bestanden, zonder dat je moet vrezen voor je privacy. RAG opent dan ook tal van interessante mogelijkheden. Heb je ergens een afspraak, maar weet je niet wanneer? Dan kan je aan het AI-systeem vragen om je mails te doorbladeren, zodat je dat niet zelf moet doen. Zoek je een tekstbestandje met een specifiek onderwerp? Indien je RAG hebt ingesteld, weet het AI-systeem daar gewoon raad mee. Op die manier kan je AI inzetten om je dagelijks leven wat makkelijker te maken, zonder afhankelijk te zijn van de diensten van Microsoft, Google en OpenAI.
