Du arbeitest seit einer Stunde in einem ChatGPT-Chat an einem Angebot. Am Anfang hast du genau erklärt, wer der Kunde ist und welchen Ton du willst. Jetzt schreibt die KI plötzlich im falschen Stil und ignoriert die Preise, die du ganz am Anfang genannt hast. Dein erster Gedanke: "Jetzt hat sie es vergessen." Ich höre das in Gesprächen mit Inhabern immer wieder. Die Wahrheit ist etwas anders, und wenn du sie verstehst, bekommst du mit derselben KI deutlich bessere Ergebnisse.
Ein Chat mit einer KI fühlt sich an wie ein Gespräch mit einem Kollegen, der sich alles merkt. Technisch ist das eine Illusion. Das Sprachmodell selbst behält zwischen zwei Nachrichten nichts. Bei jeder neuen Nachricht schickt die Chat-Oberfläche den gesamten bisherigen Verlauf plus deine neue Frage als einen langen Text an das Modell. Das Modell liest diesen Text komplett von vorn und schreibt die nächste Antwort.
Ich erkläre es Inhabern gern so: Stell dir einen Kollegen vor, der nach jedem Satz einen Gedächtnisverlust hat. Du gibst ihm vor jeder Antwort den kompletten Gesprächsverlauf als Zettel in die Hand. Er liest den Zettel, antwortet und vergisst alles wieder. Das klingt absurd, ist aber genau das Prinzip.
Der Zettel hat eine maximale Länge. Diese Grenze nennt man Kontextfenster. Gemessen wird sie in Tokens. Ein Token ist ein Textbaustein, oft ein Wortteil. Als grobe Faustregel passt im Deutschen weniger als ein Wort in ein Token, weil deutsche Wörter häufig in mehrere Teile zerlegt werden. Genaue Zahlen hängen vom Modell ab, deshalb lege ich mich hier nicht auf einen festen Wert fest.
Wichtig ist die Einordnung: Das Kontextfenster ist kein Gedächtnis. Es ist die Menge an Text, die das Modell in einem einzigen Durchgang lesen kann. Alles darin ist sichtbar, alles außerhalb existiert für das Modell nicht.
Selbst wenn alles in das Fenster passt, heißt das nicht, dass das Modell alles gleich gut nutzt. Eine bekannte Forschungsarbeit von Liu und Kollegen (2023) mit dem Titel "Lost in the Middle" hat untersucht, wie Sprachmodelle mit langen Texten umgehen. Das Ergebnis: Informationen am Anfang und am Ende eines langen Textes werden tendenziell besser verwertet als Informationen mitten drin. Wie stark dieser Effekt bei den heutigen Modellen ausfällt, unterscheidet sich je nach Modell, aber die Grundidee hilft im Alltag.
Beispiel (erfundene Illustration): Du startest einen Chat mit den wichtigsten Vorgaben für einen Kundenbrief. Danach folgen dreißig Nachrichten mit Korrekturen, Zwischenfragen und neuen Entwürfen. Deine Vorgaben von ganz oben liegen jetzt tief in der Mitte eines langen Textes. Das Risiko, dass sie weniger Gewicht bekommen, steigt.
Tipp: Wichtige Vorgaben gehören an den Anfang oder, wenn der Chat schon lang ist, noch einmal ans Ende deiner letzten Nachricht.
Weil bei jeder Nachricht der gesamte Verlauf neu verarbeitet wird, wächst der Aufwand mit jeder Runde. Wenn du die KI über eine Schnittstelle (API) nutzt, bezahlst du nach Tokens. Ein sehr langer Chat bedeutet dann, dass der immer gleiche alte Text immer wieder mitberechnet wird. Manche Anbieter mildern das mit sogenanntem Prompt Caching, bei dem wiederkehrende Textteile günstiger abgerechnet werden. Die Details unterscheiden sich je nach Anbieter, schau also in die aktuelle Preisliste deines Anbieters.
In der normalen Chat-Oberfläche mit Monatsabo siehst du diese Kosten nicht direkt. Du merkst sie eher an Antwortzeit und Qualität.
Viele Anbieter bieten inzwischen eine Memory-Funktion an. Sie wirkt wie ein echtes Gedächtnis, ist technisch aber etwas Einfaches: Gespeicherte Notizen über dich werden vor jedem Gespräch an den Text angehängt. Das Modell selbst lernt dabei nichts dazu. Seine Gewichte, also das eigentliche Wissen, bleiben unverändert. Deine Chats machen das Modell nicht schlauer.
Für den Datenschutz heißt das: Was in diesen Notizen steht, liegt beim Anbieter. Wie du das sauber regelst, habe ich in meinem Artikel zur datenschutzkonformen KI-Nutzung beschrieben.
Regel 1: Neues Thema, neuer Chat. Mach nicht aus einem Chat deine Allzweck-Ablage. Ein Chat für das Angebot, ein Chat für den Newsletter, ein Chat für die Stellenanzeige. So steht nur Relevantes im Kontext.
Regel 2: Wichtiges an den Anfang. Rolle, Ziel, Ton und Zahlen kommen in die erste Nachricht. Wie du solche Anfragen sauber aufbaust, zeige ich in 5 Prompt-Techniken für KMU.
Regel 3: Zusammenfassen und neu starten. Wenn ein Chat lang und zäh wird, lass die KI die bisherigen Entscheidungen in zehn Zeilen zusammenfassen. Kopiere diese Zusammenfassung in einen frischen Chat und mach dort weiter. Das ist oft schneller und besser als weiteres Korrigieren.
Regel 4: Lange Dokumente gezielt füttern. Gib nicht den ganzen Ordner, sondern nur die Abschnitte, die für die Frage wichtig sind.
Beispiel (erfundene Illustration): Ein Handwerksbetrieb lässt sich Angebotstexte schreiben. Statt eines Dauerchats legt der Inhaber eine feste Startnachricht an: Betrieb, Ton, drei Standardformulierungen, Preislogik. Die kopiert er in jeden neuen Chat. Das kostet zehn Sekunden und verhindert, dass der Stil von Angebot zu Angebot schwankt.
Ein überladener Kontext ist eine Fehlerquelle, aber nicht die einzige. Manchmal erfindet die KI schlicht etwas. Welche Arten von Falschaussagen es gibt und wie du sie erkennst, steht in meinem Beitrag über Halluzinationen. Wer KI im Betrieb einsetzt, sollte beides kennen.
Fehler 1: Der Dauerchat. Ein einziger Chat über Wochen, in dem alles gemischt ist. Die KI muss bei jeder Antwort durch Altes lesen, das mit der aktuellen Frage nichts zu tun hat. Lösung: Pro Aufgabe ein eigener Chat, sauber benannt.
Fehler 2: Korrigieren statt neu starten. Die dritte, vierte, fünfte Korrektur macht das Ergebnis oft nicht besser, weil die alten, verworfenen Entwürfe weiter im Kontext stehen. Lösung: Nach zwei missglückten Anläufen den Auftrag neu formulieren und in einem frischen Chat starten.
Fehler 3: Vertrauen ohne Kontrolle. Wenn die KI auf einmal Details ändert, die du festgelegt hattest, prüfe das bewusst nach. Besser: Zahlen, Namen und Preise am Ende kurz selbst gegenlesen.
Die Ehrlichkeit gehört dazu: Die Kontextfenster der Modelle werden größer, und die Anbieter arbeiten daran, lange Texte besser zu verarbeiten. Die Grundregeln bleiben trotzdem sinnvoll, weil kürzere, saubere Eingaben fast immer zu präziseren Antworten führen. Ich selbst starte für jede Aufgabe einen neuen Chat und gebe die wichtigsten Vorgaben gleich zu Beginn.
Dein KI-Chat vergisst nicht, er liest bei jeder Nachricht alles neu, und das Kontextfenster begrenzt, wie viel er auf einmal lesen kann. Mit einem Chat pro Thema, Vorgaben am Anfang und einer Zusammenfassung bei langen Verläufen holst du deutlich mehr aus der KI heraus.
Du willst wissen, wo KI in deinem Betrieb sinnvoll ansetzt und wie du sie sauber einführst? Buche ein kostenloses Strategiegespräch mit mir.
Quelle: Liu et al. (2023), "Lost in the Middle: How Language Models Use Long Contexts", arxiv.org/abs/2307.03172.
Über den Autor
Danilo à Tellinghusen
Inhaber von À Tellinghusen Marketing, M.Sc. Informatik
Seit über 15 Jahren entwickle ich Software. Heute baue ich für kleine und mittelständische Unternehmen Websites, die Anfragen bringen, und Automatisierungen, die Zeit sparen. In meinen Artikeln schreibe ich auf, was in der Praxis wirklich funktioniert.
