Nvidia’s AI-assistent Chat With RTX draait lokaal op je pc
Met Chat With RTX kan je een selectie van persoonlijke gegevens invoeren en op basis daarvan samenvattingen laten maken. Je kan er uiteraard ook een gesprek mee opzetten, net als bij elke andere chatbot. Die duikt dan in je gegevens voor antwoorden. Wie dat wil, kan al aan de slag met de demoversie.
Nvidia zegt dat het gebruikers in staat stelt om “snel en gemakkelijk lokale bestanden op een pc te koppelen als dataset aan een open-source Large Language Model, zoals Mistral of Llama 2.” Nvidia geeft het voorbeeld van een gebruiker die de chatbot vraagt naar een restaurant dat hun partner heeft aanbevolen tijdens een verblijf in Las Vegas. De software doorzoekt lokale bestanden om het antwoord te vinden. De chatbot herkent allerlei bestandsindelingen, waaronder .txt, .pdf, .doc/.docx en .xml. Het bedrijf zegt dat het relevante bestanden in zijn dataset zal “binnen enkele seconden” zal kunnen laden.
Chat With RTX integreert ook YouTube-video’s en afspeellijsten. Je kan een videolink toevoegen aan de dataset en het zal de kennis die in de clip wordt vermeld integreren voor contextuele vragen. Nvidia zegt dat je zo bijvoorbeeld om reisaanbevelingen kan vragen “op basis van inhoud uit favoriete influencervideo’s” of wanneer je op zoek bent naar tutorials en samenvattingen uit educatieve bronnen.
Chat With RTX als digitale assistent
Dit klinkt als een grote stap naar iets dat lijkt op een daadwerkelijke digitale assistent die binnen het contextuele kader van je persoonlijke gegevens kan werken. Bij de meeste chatbots worden de gegevens naar de cloud gestuurd, maar Chat With RTX “stelt gebruikers in staat om gevoelige gegevens op een lokale pc te verwerken, zonder deze te delen met een derde partij of een internetverbinding.” Daardoor zou de chatbot veiliger en meer contextueel bewust zijn dan andere generatieve AI-tools.
Voorlopig gaat het nog wel om een demoproduct, dus er zullen ongetwijfeld wel wat bugs opduiken. Er zijn ook enkele strikte hardwarebeperkingen: Chat With RTX werkt alleen op Windows-pc’s met NVIDIA GeForce RTX 30 Series-GPU’s (of krachtiger) en ten minste 8 GB VRAM.
Nvidia heeft goed geboerd met zijn AI-divisie en ook zijn datacentertak heeft voor het nodige werkingsbudget gezorgd. Of de lokale chatbot kan opboksen tegen de ChatGPT’s van deze wereld, zal nog moeten blijken.
