Das Context Window (Kontextfenster) ist die maximale Menge an Text - gemessen in Tokens -, die ein Sprachmodell bei einer einzelnen Anfrage gleichzeitig verarbeiten kann.
Alles, was innerhalb eines Gesprächs oder einer Anfrage an das Modell geschickt wird – Systemprompt, bisheriger Gesprächsverlauf, angehängte Dokumente und die aktuelle Nutzerfrage – muss zusammen in dieses Kontextfenster passen.
Moderne Modelle bieten Kontextfenster von teils mehreren hunderttausend Tokens, was es erlaubt, ganze Bücher oder umfangreiche Codebasen in einer einzigen Anfrage zu verarbeiten.
Wird das Kontextfenster überschritten, muss älterer Inhalt entfernt oder zusammengefasst werden – ein zu grosses Kontextfenster kann zudem die Antwortqualität verringern, wenn relevante Informationen inmitten sehr langer, irrelevanter Texte "untergehen" (bekannt als "Lost in the Middle"-Effekt).
