Google Cloud Next ’23: dit onthouden we
Tijdens het Cloud Next-evenement in San Francisco deed Google heel wat nieuwe ontwikkelingen uit de doeken. De infrastructuur en de AI-taalmodellen krijgen upgrades en er werden tal van samenwerkingen en partnerships onthuld. Aangezien maar liefst 70% van alle ‘AI-eenhoorns’ – AI-start-ups met een waarde boven de 1 miljard dollar – de cloudinfrastructuur van Google aanwendt. Dit is wat je moet onthouden van het Google Cloud Next ’23-evenement.
Moderne infrastructuur
Niet dat de infrastructuur van Google verouderd was. Toch moderniseert Google het serverpark waarop zijn clouddiensten draaien. Daar moet Cloud TPU v5e mee helpen: het is de meest kostenefficiënte, toegankelijke en schaalbare TPU die Google al wist aan te bieden. Vooral voor het trainen van AI-systemen zal TPU v5e een aanwinst blijken: op de nieuwe TPU’s trainen AI-systemen 2x sneller per dollar en kunnen grote taalmodellen (LLM’s) 2,5x sneller inferentiële taken verwerken. De infrastructuur laat toe om 256 chips met elkaar te verbinden, wat resulteert in een bandbreedte van 400 TB/s en 100 petaOPS aan INT8-rekenkracht.
Om ervoor te zorgen dat klanten met een groot aantal LLM’s en taalmodellen aan de slag kunnen, biedt TPU v5e ondersteuning voor 8 verschillende VM-configuraties. Gebruiksgemak vindt Google in de Google Kubernetes Engine (GKE), waarin het simpeler wordt om deze TPU’s aan te wenden.
Een ander punt waarop Google de infrastructuur moderniseert, zijn A3 VM’s. Vanaf volgende maand zijn de VM’s, die samen met NVIDIA ontwikkeld werden, algemeen beschikbaar. Elke A3 VM bestaat uit een dubbele Intel Xeon-processsor van de vierde generatie, acht NVIDIA H100 GPU’s en 2TB aan geheugen. NVIDIA’s NVlink-technologie zorgt ervoor dat er maar liefst 3,6 TB/s aan wederzijdse bandbreedte beschikbaar is voor de acht GPU’s. Bij Midjourney, een AI-dienst die gebruikers beelden laat genereren, zien ze dat de A3 VM’s maar liefst 2x zo snel zijn dan de NVIDIA A100-GPU’s, waar hiervoor gebruik van werd gemaakt.
Google zet bovendien in op een flexibele aanpak: klanten kunnen gebruik maken van TPU’s, GPU’s en CPU’s zoals zij daar nood aan hebben. Het nieuwe Cross-Cloud Network-platform zorgt er bovendien voor dat klanten overal AI- en dataworkloads kunnen verwerken. Daarvoor worden geselecteerde Vertex AI-diensten geïntegreerd, samen met AlloyDB Omni.
Vertex AI wordt groter
Google breidt ook op meerdere manier het AI-platform Vertex AI uit. Een van die manieren is met upgrades van Foundation Models. Zo krijgt PaLM, het taalmodel van Google, een groter inputbereik. Gebruikers kunnen nu maar liefst 4x zoveel materiaal laten verwerken door het taalmodel, en dat in 38 talen die breed beschikbaar zijn. Bovendien zit de ondersteuning voor nog 100 andere talen in de pijplijn.
Ook Codey, een tool die ontwikkelaars helpt coderen, krijgt een flinke upgrade. Codey zou – voor de belangrijkste talen – tot 25% beter moeten presteren dan voorheen. Ook Imagen, een tool waarmee gebruikers afbeeldingen kunnen genereren, wordt geüpgraded. Daar zullen gebruikers nu niet alleen betere beelden kunnen maken, maar ook beelden in een bepaalde doelstijl kunnen genereren. Daarvoor introduceert Google nu ‘Style Tuning’: op basis van 10 referentiebeelden kan Imagen al een beeld generen, met de gewenste stijlvoorwaarden. Ook de geüpgradede versie van PaLM zal gebruik kunnen maken van nieuwe tuning-technieken.
Daarnaast wordt ook de zogenaamde ‘Model Garden’ in Vertex iets groter. Vertex AI Search laat je bijvoorbeeld Google-zoekopdrachten uitvoeren op je zakelijke data. Vertex AI Search zorgt er dan weer voor dat je makkelijk chatbots kan ontwikkelen en tewerk kan stellen.
Daar blijft het echter niet bij: ook Meta’s Llama 2, Claude 2 van Anthropic en TII van Falcon komen beschikbaar in de Model Garden. Op die manier wil Google de mogelijkheid aanbieden om met een breed scala van AI-tools aan de slag te gaan.
Meetings overslaan met Duet AI
Voor wie af en toe liever een meeting zou overslaan komt Google met Duet AI. In feite is Duet AI meer een assistent die het heel wat makkelijker kan maken om samen te werken. In Google Meet helpt Duet AI je bijvoorbeeld om er beter uit te zien: het AI-systeem regelt de belichting en het geluid van de scène, zodat je professioneel voor de dag kan komen. Je kan Duet AI ook notities laten nemen van je vergaderingen, inclusief videoclips en notities van actiepunten. Geraak je niet in de meting? Dan kan je die voor een keertje overslaan en aan Duet AI vragen om de meeting bij te wonen. In Google Chat zal Duet AI je helpen om vragen te beantwoorden door bestanden en berichten te doorzoeken naar een antwoord. Veel gemiste berichten? Dan kan je ook aan het systeem vragen om deze even samen te vatten.
Het spreekt vanzelf dat Google hier ook flink wat aandacht besteedde aan de veiligheid van de systemen. Daarvoor krijgen beheerders nu een hele reeks nieuwe instellingen. Bovendien houdt Duet AI je privacy in acht: documenten, berichten en e-mails kunnen niet gedeeld worden met collega’s zonder je expliciete toestemming.
Duet AI wordt niet alleen in Google Workspace geïntegreerd, maar ook in de Google Cloud. Momenteel kan daar al van geproefd worden in de preview-versie. Later dit jaar zou Duet AI ook in de cloudtools van Google beschikbaar moeten zijn.
Data analyseren
AI zal ook helpen data in de cloud te analyseren. Een van de ontwikkelingen die Google hierin voorstelt is BigQuery Studio, een interface die het mogelijk maakt om uiteenlopende analyses en bewerkingen van data te maken, zonder van werkomgeving te moeten wisselen. BigQuery Studio zit momenteel nog in de previewfase. BigQuery wordt ook opgenomen door de foundation models in Vertex AI – zo kunnen die modellen rechtstreeks met data uit BigQuery aan de slag. Duet AI zal datateams ook in BigQuery kunnen bijstaan met contextuele hulp om SQL queries en Python-code te schrijven.
Ook AlloyDB krijgt een AI-upgrade. Die houdt in dat er een reeks mogelijkheden voor PostgresSQL werden ingebouwd. Die mogelijkheden moeten ontwikkelaars in staat stellen om generatieve AI-applicaties op poten te zetten, maar dan met eigen data. AlloyDB introduceert een functie waar op relatief eenvoudige wijze vector embeddings op data gegenereerd kunnen worden. AlloyDB Omni breidt de mogelijkheden bovendien nog verder uit: dankzij die tool ben je niet beperkt tot Google Cloud, maar kan je ook bij andere providers terecht.
Werd je database nog niet overgezet naar PostgresSQL? Geen zorg. Met de Database Migration Service ondersteunt Google ook migraties van Oracle naar PostgresSQL. Daarmee wordt de data bruikbaar voor AI-systemen.
Het klimaat
Tot slot kunnen de cloud-inspanningen van Google ook voor andere wolken gunstig zijn. Google onthulde op het Next-evenement ook de Google Maps Platform Environment API’s. Concreet gaat het dan om drie API’s: een voor de luchtkwaliteit, de zonnesterkte en pollen.
