Ein Rate Limit ist eine von einem API-Anbieter festgelegte Obergrenze, wie viele Anfragen oder Tokens ein Nutzer innerhalb eines bestimmten Zeitraums verarbeiten lassen darf.
Rate Limits schützen die Infrastruktur eines KI-Anbieters vor Überlastung und sorgen für eine faire Verteilung der verfügbaren Rechenkapazität zwischen vielen gleichzeitigen Nutzern.
Üblich sind Begrenzungen pro Minute (Requests per Minute, RPM) und pro Zeitraum verarbeitete Tokens (Tokens per Minute, TPM); wird ein Limit überschritten, antwortet die API meist mit einem Fehlercode (häufig HTTP 429) statt mit dem gewünschten Ergebnis.
Höhere Rate Limits sind bei den meisten Anbietern an höhere Nutzungsstufen oder zusätzliche Kosten gekoppelt; Entwickler produktiver Anwendungen bauen daher meist eine automatische Wiederholungslogik (Retry mit exponentiellem Backoff) ein, um kurzfristige Limit-Überschreitungen abzufangen.
