Nvidia demonstreert AI-platform ChatRTX
Chat with RTX (kortweg ChatRTX) is een onderdeel van Nvidia’s RTX AI-platform. Dat omvat een reeks tools en kits voor software-ontwikkeling waarmee Windows-ontwikkelaars AI-features kunnen integreren. Tijdens de AI Decoded-panelgesprekken op de GTC demonstreerde Nvidia drie toepassingen: OutlookLLM, Rocket League BotChat en CLARA. Die worden alle drie geruggesteund door de Nvidia TensorRT-LLM, een krachtig taalmodel van het GPU-merk.
ChatRTX biedt mogelijkheden
ChatRTX gebruikt Retrieval-augmented Generation in combinatie met Nvidia’s TensorRT-LLM-software en RTX-acceleratie om lokale generatieve-AI-capaciteiten naar Windows-systemen te brengen die RTX-hardware aan boord hebben.
De set-up laat gebruikers toe om snel een eenvoudig lokale bestanden als een dataset te connecteren met een open large language model (LLM), zoals Mistral of Llama 2. Het resultaat? Snelle en contextueel relevante antwoorden.
ChatRTX gaat binnenkort gesproken dialoog, beelden en nieuwe modellen ondersteunen. Gebruikers zullen via Whisper met ChatRTX kunnen praten. Het systeem voor automatische stemherkenning gebruikt AI om gesproken taal te verwerken. Van zodra de feature beschikbaar wordt, zal ChatRTX stemopdrachten kunnen ‘begrijpen’ en gepast reageren in tekstvorm. In een latere fase zal ChatRTX ook foto’s kunnen herkennen.
Verder integreert Nvidia Contrastive Language-Image Pre-training (CLIP), een systeem van OpenAI. Daarmee zullen gebruikers woorden, termen of zinnen als zoekopdracht kunnen ingeven om foto’s terug te vinden in hun persoonlijke bibliotheek. Naast Gemma van Google zal ook ChatGLM2 ondersteuning krijgen via een update.
OutlookLLM en Rocket League Botchat
Een tweede demonstratie van de ChatRTX zagen we terug bij OutlookLLM. Die voorziet Outlook-gebruikers van generatieve AI, waarmee ze e-mails kunnen opstellen op hun RTX-pc’s. OutlookLLM maakt gebruik van een lokaal LLM dat via het TensorRT-LLM werkt.
Verder wordt ChatRTX gebruikt in de populaire game Rocket League, onder de noemer BotChat. Die fungeert als plug-in en maakt bots in het spel slimmer door ze gepast te laten reageren op chatberichten of gebeurtenissen in de game, zoals wanneer er een goal gescoord wordt of de tegenstander een save verricht. De plug-in is voorlopig wel enkel ontworpen voor offlinesessies. “Tegen bots spelen die in real time met in-gameberichten reageren, voegt een laag entertainment toe aan de game”, zegt Brian Caffey, ontwikkelaar van de Rocket League BotChat.
CLARA in Windows PowerShell
De Command Line Assistant met RTX-acceleratie (CLARA), tot slot, is dan weer ontworpen om de interface van de Windows PowerShell te doen werken met natuurlijke taal. Die wordt door de AI omgezet in traditionele commando’s. Het gaat om een extensie die lokaal draait. Nadat ze hun boodschap getypt hebben, kunnen gebruikers met de tab-toets CLARA activeren. De installatie ervan is naar verluidt rechttoe-rechtaan en focust op gebruiksgemak.
Wanneer de toepassingen die ChatRTX mogelijk maakt precies op de markt gaan komen, is nog niet duidelijk. Nvidia schept alvast wel een beeld van de mogelijkheden.
