Opera laat gebruikers zelf chatbots maken met LLM-ondersteuning
Browserfabrikanten doen er alles aan om hun browser de meest interessante te maken. Google doet het door allerlei andere Google-producten in Chrome te integreren, terwijl een speler als Microsoft vooral naar AI gaat kijken. Ook bij Opera kijken ze naar AI om de browser populairder te maken.
Opera One met Aria
Zo lanceerde het merk in juni 2023 al Opera One: een browser waar het zogenaamde ‘Aria’-AI-systeem in verwerkt zit. De browser werd modulair opgebouwd, waardoor gebruikers de AI-functies volledig links kunnen laten liggen. Sterker nog, het systeem is volledig opt-in: er komt dus geen AI in zicht, tenzij je daar eerst toestemming voor geeft.
Praten met AI-systemen is namelijk niet helemaal zonder risico. Om antwoord te kunnen geven op al je vragen, worden die doorgestuurd naar de servers van AI-aanbieders. Dat is niet alleen het geval voor Opera’s Aria, maar ook voor tools zoals ChatGPT, Gemini en Copilot. Met andere woorden: je gebruikt zo’n AI-systeem best alleen wanneer je de aanbieder vertrouwt, aangezien die met je inzendingen aan de slag kan.
Lokale AI-chatbot
Toch hoeft AI niet altijd met servers te communiceren. Er zijn meerdere manieren om zelf LLM’s te draaien en een AI-systeem aan de praat te krijgen. Dat kan met tools zoals Chat with RTX, maar binnenkort ook met Opera One. De eerste gebruikers, op het ontwikkelaarskanaal, zien die mogelijkheid reeds verschijnen. Zij kunnen meteen met meer dan 150 verschillende taalmodellen aan de slag.
Het gaat dan voornamelijk om opensourcemodellen zoals Meta’s Llama, Googles Gemma en Vicuna. Die modellen draaien in het Ollama-framework, waaredoor het mogelijk is om ze lokaal en in de browser te draaien. De modellen die beschikbaar zijn, worden grotendeels door Ollama bepaald. Wel is het de bedoeling om mettertijd meer en meer modellen te ondersteunen.
2 GB per model
Lokaal een LLM draaien heeft wel enkele nadelen. Zo moet je pc of laptop krachtig genoeg zijn om de taak te verwerken. Daarnaast nemen de taalmodellen ook opslagruimte in beslag: Opera heeft het over ongeveer 2 GB per model. Jan Standal, VP bij Opera, laat wel weten dat die modellen nog kunnen krimpen naarmate ze meer gespecialiseerd worden.
