OpenAI geeft 50% korting bij gebruik tijdens daluren
OpenAI introduceert Batch API, waarmee ontwikkelaars tot 50% korting kunnen krijgen op de API-prijzen door hun workloads te spreiden. Dit kan door de service te gebruiken tijdens uren waarbij het minder druk is op hun servers. Dat maakt het bedrijf bekend op zijn communitywebsite.
Via OpenAI Batch API kan je een groot aantal queries doorgeven aan het AI-model, zoals het categoriseren van data of het labelen van afbeeldingen. Vervolgens bepaalt de service het optimale tijdstip om de taak te voltooien, in plaats van direct aan de slag te gaan. Doordat de query uitgesteld wordt naar een minder druk moment, kan de service zijn taken beter verdelen. Bijgevolg heeft de gebruiker recht op een afslag op de kost van de aanvraag.
Deze tool is gericht op ontwikkelaars die gebruikmaken van de verschillende modellen (zoals GPT-4 Turbo of Dall-E), waarbij er met ‘tokens’ enkel betaald wordt wat je verbruikt. Ontwikkelaars zullen dus minder tokens verbruiken als ze de Batch API gebruiken. Meer info over hoe dit geïmplementeerd kan worden, kan gevonden worden op de ontwikkelaarssite.
Kost van de service
Het onderhouden van ChatGPT brengt aanzienlijke kosten met zich mee. Naar verluid kost het 700.000 dollar om de service dagelijks draaiende te houden. Met deze korting hoopt OpenAI, het bedrijf achter ChatGPT, de vaste kosten over meer gebruikers te kunnen spreiden. Zo kunnen de dure apparaten blijven draaien.
