Du hast alles irgendwo. Verträge im Netzlaufwerk, Exposés im Maklerprogramm, Montageanleitungen als PDF, Angebote in Outlook, und das halbe Firmenwissen steckt im Kopf von zwei Leuten. Wenn du dann ChatGPT fragst „Was steht in unserem Rahmenvertrag mit dem Lieferanten zur Kündigungsfrist?“, bekommst du eine freundliche, gut formulierte Antwort. Nur leider nicht aus deinem Vertrag.
Das liegt nicht an dir. Sondern daran, dass ein Sprachmodell deine Dokumente schlicht nicht kennt. Es wurde mit öffentlichen Texten trainiert, nicht mit deinem Ordner „Verträge 2024“. Und wenn es etwas nicht weiß, rät es oft trotzdem.
Die Lösung dafür hat einen sperrigen Namen: RAG, Retrieval-Augmented Generation. Auf Deutsch ungefähr: Erst nachschlagen, dann antworten. In diesem Artikel zeige ich dir, wie das unter der Haube funktioniert, in drei verständlichen Schichten. Und vor allem, wie du klein und sicher damit anfängst, ohne gleich ein IT-Projekt aufzusetzen.
RAG bedeutet: Bevor die KI antwortet, sucht ein System in deinen Dokumenten nach den passenden Stellen, legt sie der KI vor und lässt sie nur auf dieser Grundlage antworten. AWS beschreibt das in seiner Erklärung zu Retrieval-Augmented Generation sinngemäß so: Das Modell greift vor der Antwort auf eine maßgebliche Wissensbasis außerhalb seiner Trainingsdaten zu, ohne dass es dafür neu trainiert werden muss.
Der Unterschied ist wie bei einem neuen Mitarbeiter. Ohne RAG antwortet er aus dem Bauch. Mit RAG geht er erst ans Regal, zieht den richtigen Ordner und sagt dir: „Steht hier, Seite 4.“
Beispiel: Stell dir ein Maklerbüro vor, das für jedes Objekt Exposé, Grundriss, Energieausweis und Teilungserklärung ablegt. Eine Interessentin fragt per Mail, ob im Objekt Hundehaltung erlaubt ist. Mit einem RAG-System findet die KI die Passage in der Hausordnung oder Teilungserklärung, formuliert einen Antwortentwurf und nennt die Fundstelle. Der Makler prüft kurz und schickt ab.
Ehrlich nein ist mir lieber als ein halbes Ja. Deshalb zuerst die Frage, die in Beratungsgesprächen fast nie gestellt wird: Ist deine Wissensbasis überhaupt groß genug dafür?
Anthropic schreibt in seinem Beitrag zu Contextual Retrieval: Ist die Wissensbasis kleiner als etwa 200.000 Tokens, das sind grob 500 Seiten, kann man sie einfach komplett in den Prompt geben, ganz ohne RAG. Das ist für viele kleine Betriebe die eigentliche Aha-Erkenntnis.
Was du brauchst: Wenn es um ein Handbuch, eine Preisliste und zehn Musterverträge geht, reicht oft ein gut gebautes Projekt in einem KI-Tool, in das du diese Dateien hochlädst. RAG lohnt sich, wenn es Hunderte oder Tausende Dokumente sind, wenn sie sich ständig ändern oder wenn mehrere Mitarbeiter gleichzeitig darauf zugreifen sollen.
Die erste Schicht entscheidet über alles Weitere. Aus meiner Erfahrung scheitern die meisten RAG-Versuche nicht an der KI, sondern genau hier. Sie besteht aus vier Schritten.
1. Dokumente lesbar machen (Parsing). Ein PDF ist für eine Maschine nicht automatisch Text. Eingescannte Verträge sind Bilder, Tabellen zerfallen beim Auslesen in Wortsalat, Kopf- und Fußzeilen wiederholen sich auf jeder Seite. Beim Parsing wird daraus sauberer Text, idealerweise mit erhaltener Struktur wie Überschriften und Tabellen.
Tipp: Teste zuerst fünf deiner schwierigsten Dokumente, zum Beispiel einen gescannten Altvertrag und eine Preistabelle. Wenn die sauber ausgelesen werden, klappt der Rest auch.
2. Sinnvoll zerlegen (Chunking). Die KI bekommt nie ein ganzes 80-Seiten-Handbuch vorgelegt, sondern passende Abschnitte, sogenannte Chunks. Wie du zerlegst, ist entscheidend. Schneidest du stumpf alle 500 Zeichen, landet die Kündigungsfrist im einen Stück und der Satz „gilt nicht für Rahmenverträge“ im nächsten.
Besser: Entlang der echten Struktur schneiden, also nach Paragrafen, Kapiteln oder Überschriften, mit etwas Überlappung zum Nachbarabschnitt. Anthropic empfiehlt zusätzlich, jedem Abschnitt einen kurzen Kontextsatz voranzustellen, etwa „Dieser Abschnitt stammt aus dem Rahmenvertrag mit Lieferant X, Kapitel Laufzeit“. So weiß das System später, wozu ein Schnipsel gehört.
3. Bedeutung in Zahlen übersetzen (Embeddings). Jetzt wird es spannend. Jeder Abschnitt wird von einem Embedding-Modell in eine lange Zahlenreihe übersetzt, einen Vektor. Dieser Vektor beschreibt die Bedeutung des Textes, nicht nur seine Wörter. Deshalb findet das System bei der Frage „Darf ich mein Haustier mitbringen?“ auch einen Abschnitt, in dem nur von „Tierhaltung“ die Rede ist.
4. Speichern in einer Vektordatenbank. Diese Vektoren landen in einer speziellen Datenbank, die blitzschnell ähnliche Bedeutungen findet. Bekannte Vertreter sind Qdrant, Weaviate, Pinecone oder pgvector als Erweiterung für PostgreSQL. Für ein KMU musst du dich da nicht reinfuchsen, viele Werkzeuge bringen das bereits mit.
Was du brauchst: Saubere Ausgangsdokumente. Ein Vektorspeicher ist wie ein Archiv, das nach Bedeutung sortiert. Wenn du Müll hineinlegst, findet er sehr effizient Müll.
Die Basis steht. Trotzdem liefern viele Systeme an diesem Punkt noch mittelmäßige Antworten. Der Grund: Menschen fragen ungenau, und die erste Trefferliste ist nicht automatisch die beste. Dafür gibt es die zweite Schicht.
5. Die Frage umbauen, bevor gesucht wird (Query Transformation). Dein Mitarbeiter tippt „Was gilt da nochmal bei Müller wegen Gewährleistung?“. Für eine Suche ist das schwach. Ein vorgeschaltetes Sprachmodell formuliert daraus eine oder mehrere präzisere Suchanfragen, etwa „Gewährleistungsfrist Vertrag Müller“ und „Mängelhaftung Auftrag Müller“. Erst damit wird gesucht.
6. Die besten Treffer nach oben (Reranking). Die Vektorsuche liefert zum Beispiel die 50 ähnlichsten Abschnitte. Ein zweites, spezialisiertes Modell, der Reranker, liest Frage und Treffer gemeinsam und sortiert neu. Nur die besten landen bei der KI. Zusätzlich lohnt sich oft eine klassische Stichwortsuche parallel zur Vektorsuche, weil Vektoren bei Artikelnummern, Aktenzeichen oder Eigennamen manchmal danebenliegen. In den von Anthropic veröffentlichten Tests sank die Fehlerquote beim Abruf durch die Kombination aus kontextualisierten Abschnitten, Stichwortsuche und Reranking um 67 Prozent gegenüber dem einfachen Ansatz. Das sind Herstellertests, keine Garantie für deinen Betrieb, aber die Richtung ist eindeutig.
7. Die richtige Quelle wählen (Query Routing). Nicht jede Frage gehört in denselben Topf. „Welche Objekte haben wir aktuell im Bestand?“ ist eine Frage an deine Objektdatenbank, nicht an die PDF-Sammlung. „Was steht im Maklervertrag zur Provision?“ gehört in die Vertragsablage. Ein Router erkennt die Art der Frage und schickt sie an die passende Quelle.
Beispiel: Ein Handwerksbetrieb trennt drei Bereiche: Montageanleitungen der Hersteller, interne Arbeitsanweisungen und Kundenangebote. Fragt der Monteur auf der Baustelle nach dem Anzugsmoment einer Befestigung, sucht das System nur in den Herstellerunterlagen. Die Angebote anderer Kunden tauchen gar nicht erst auf. Das verbessert die Antwort und ist nebenbei ein Datenschutzgewinn.
Eine KI, die schön formuliert, aber falsch zitiert, ist gefährlicher als gar keine. Die dritte Schicht sorgt dafür, dass du jede Antwort nachprüfen kannst.
8. Immer mit Fundstelle antworten (Citation). Jede Antwort muss sagen, woher sie kommt: Dokument, Abschnitt, im besten Fall mit Link zur Originaldatei. Das ist für mich nicht verhandelbar. Ohne Quelle weißt du nicht, ob die KI gefunden oder erfunden hat.
Lösung: Im Systemprompt festlegen: „Antworte nur auf Basis der bereitgestellten Abschnitte. Nenne zu jeder Aussage die Quelle. Wenn die Abschnitte die Frage nicht beantworten, sag das ausdrücklich.“
9. Selbstkontrolle einbauen. Fortgeschrittene Systeme lassen die Antwort in einem zweiten Schritt prüfen: Wird jede Aussage tatsächlich von den gefundenen Abschnitten gestützt? Wenn nicht, wird nachgesucht oder die Aussage gestrichen. Welche Fehlerarten dabei auftreten, habe ich in meinem Artikel über KI-Halluzinationen und die sechs Sorten Falsch ausführlich beschrieben.
10. Testen, bevor alle damit arbeiten (Evaluierung). Schreib 20 bis 30 echte Fragen auf, deren richtige Antwort du kennst, samt Fundstelle. Lass das System sie beantworten und prüf zwei Dinge: Wurde die richtige Stelle gefunden? Ist die Antwort korrekt? Diese Liste wiederholst du nach jeder Änderung. Wie so ein Prüfset aufgebaut ist, zeige ich dir im Beitrag KI-Qualität testen.
Die gute Nachricht: Du musst nichts selbst programmieren, um zu starten. Grob gibt es drei Wege.
Der einfache Einstieg: KI-Werkzeuge mit Projekt- oder Wissensfunktion, in die du Dateien hochlädst. Dort läuft eine vereinfachte Form von RAG im Hintergrund. Für einen ersten Test mit wenigen Dokumenten genügt das.
Der Baukasten: Automatisierungsplattformen wie n8n oder Make mit fertigen Bausteinen für Embeddings und Vektordatenbanken. Damit lassen sich auch Abläufe bauen wie: Neue Datei im Ordner wird automatisch eingelesen, zerlegt und indexiert.
Die lokale Variante: Ein Sprachmodell auf eigener Hardware, zum Beispiel über Ollama, mit einer Oberfläche wie Open WebUI, die eine Dokumentensuche mitbringt. Die Daten verlassen das Haus nicht, dafür brauchst du passende Hardware und jemanden, der sie pflegt.
Zu den Kosten: Die laufenden Kosten für Embeddings und Abfragen sind bei KMU-Datenmengen meist überschaubar. Der größte Posten ist fast immer etwas anderes, nämlich die Zeit für das Aufräumen der Dokumente und für die Tests. Plane dafür ehrlich mehr ein als für die Technik.
Sobald Verträge, Kundendaten oder Mieterakten ins Spiel kommen, ist das keine Nebenfrage. Bei Cloud-Diensten brauchst du einen Auftragsverarbeitungsvertrag (AVV), du solltest wissen, wo die Daten gespeichert werden, und ob der Anbieter sie zum Training nutzt. Wichtig: Bei RAG werden nicht nur die Fragen übertragen, sondern auch deine Dokumente, die eingelesen und als Vektoren gespeichert werden.
Tipp: Fang mit Dokumenten ohne Personenbezug an, also Handbücher, Leistungsbeschreibungen, Produktdatenblätter, interne Arbeitsanweisungen. Die Abwägung zwischen lokalem Betrieb, europäischem Anbieter und US-Cloud habe ich in KI datenschutzkonform nutzen Schritt für Schritt aufgeschrieben. Für Berufsgeheimnisträger wie Steuerberater und Ärzte gelten zusätzlich strengere Regeln.
Alles auf einmal hineinkippen. Das komplette Netzlaufwerk mit Entwürfen, Duplikaten und fünf Versionen desselben Vertrags. Die KI findet dann zuverlässig die veraltete Version.
Besser: Nur freigegebene, aktuelle Dokumente. Lieber 50 saubere als 5.000 gemischte.
Kein Rechtekonzept. Wenn der Azubi über die KI plötzlich Gehaltsabrechnungen oder Kündigungsschreiben findet, hast du ein Problem. Zugriffsrechte müssen auch im RAG-System gelten.
Keine Pflege. Dokumente ändern sich, Preise auch. Ohne festen Ablauf zum Aktualisieren antwortet dein System in sechs Monaten mit der Preisliste vom letzten Jahr.
Blindes Vertrauen. RAG senkt das Risiko erfundener Antworten deutlich, beseitigt es aber nicht. Die Fundstelle ist dafür da, dass ein Mensch kurz gegenprüft, vor allem, bevor etwas an Kunden rausgeht.
RAG ist stark bei Fragen, deren Antwort in einem oder wenigen Abschnitten steht. Schwächer ist es bei Fragen, die einen Überblick über alles verlangen, etwa „Welche unserer 300 Verträge haben eine automatische Verlängerung?“. Dafür braucht es eher strukturierte Daten oder eine gezielte Auswertung Dokument für Dokument.
Und: RAG macht schlechte Dokumente nicht besser. Wenn in deinem Handbuch zwei widersprüchliche Anweisungen stehen, findet die KI vielleicht beide und ist genauso ratlos wie dein Mitarbeiter. Oft ist das Aufräumen für RAG der eigentliche Gewinn, weil endlich klar ist, welche Version gilt. Warum das so wichtig ist, steht auch in meinem Beitrag zum Thema Firmenwissen sichern mit KI.
Wenn du das ausprobieren willst, geh so vor. Das ist an einem Nachmittag aufgesetzt und an einem zweiten getestet.
Beispiel: Angenommen, ein Steuerbüro beginnt mit seinen internen Arbeitsanweisungen und Checklisten, also ganz ohne Mandantendaten. Neue Mitarbeiter fragen dann zuerst die KI statt dreimal am Tag die Kanzleileitung. Das spart Unterbrechungen, und das Büro lernt nebenbei, wie gut seine Unterlagen wirklich sind.
RAG ist kein Zauberwort, sondern ein sauberer Ablauf in drei Schichten: Dokumente lesbar machen und klug zerlegen, die richtige Stelle zur richtigen Frage finden und jede Antwort mit Fundstelle absichern. Wer diese drei Schichten versteht, kann jedes Angebot eines Anbieters einordnen und merkt schnell, wo nur eine Chat-Oberfläche verkauft wird.
Ich bin überzeugt, dass in den nächsten Jahren die Betriebe einen Vorsprung haben werden, deren Wissen nicht in Köpfen und Ordnerstrukturen verschwindet, sondern abrufbar ist, für neue Mitarbeiter, für die Antwort an Kunden und für Automatisierungen. Die Technik dafür ist da. Der Engpass sind fast immer die eigenen Dokumente. Und genau dort kannst du schon morgen anfangen.
Du möchtest wissen, welche deiner Unterlagen sich für so ein System eignen und wie ein sicherer erster Schritt bei dir aussieht? Dann buch dir jetzt dein kostenloses Strategiegespräch. Ich schaue mir das mit dir persönlich an, ehrlich und ohne Fachchinesisch. Lieber direkt? Schreib mir per WhatsApp.
Über den Autor
Danilo à Tellinghusen
Inhaber von À Tellinghusen Marketing, M.Sc. Informatik
Seit über 15 Jahren entwickle ich Software. Heute baue ich für kleine und mittelständische Unternehmen Websites, die Anfragen bringen, und Automatisierungen, die Zeit sparen. In meinen Artikeln schreibe ich auf, was in der Praxis wirklich funktioniert.
