Klassisches RAG ist überholt: Wie KI heute an Ihr Firmenwissen kommt

Fast jedes KI-Projekt im Mittelstand beginnt mit demselben Satz: „Die KI soll unsere eigenen Unterlagen kennen.” Der Standardweg dafür hieß jahrelang RAG, kurz für Retrieval Augmented Generation. Das Grundprinzip ist weiterhin richtig. Die Art, wie diese Systeme 2023 gebaut wurden, gilt heute allerdings als überholt. Wer jetzt einsteigt, sollte wissen, was sich geändert hat, damit er nicht eine Architektur bezahlt, die schon beim Start von gestern ist.

Was RAG gemacht hat, und woran es hakt

Das klassische Vorgehen in einem Satz: Man zerlegt alle Dokumente in kleine Schnipsel, legt sie in eine spezialisierte Suchdatenbank, sucht bei jeder Frage die ähnlichsten Schnipsel heraus und gibt sie dem Sprachmodell mit. Das war ein echter Fortschritt, denn das Modell antwortet plötzlich auf Basis Ihrer Preisliste statt aus dem Allgemeinwissen des Internets.

In der Praxis stößt dieser Aufbau auf drei wiederkehrende Probleme:

• Der Zusammenhang zerreißt. Wird ein Vertrag in Schnipsel geschnitten, steht die Kündigungsfrist im einen Stück und der Vertragspartner im nächsten. Das Modell sieht beides nie zusammen.
• Ähnlich ist nicht richtig. Die Suche findet, was ähnlich klingt, nicht was fachlich zutrifft. Die Preisliste von 2023 ähnelt der von 2026 fast aufs Wort. Welche gilt, erkennt die Suche nicht.
• Die Pflege bleibt liegen. Sie unterhalten faktisch eine zweite Kopie Ihres Wissens, die bei jeder Änderung nachgezogen werden muss. Genau das schläft nach einigen Monaten ein.

Dazu kommt eine neue Belastung. Moderne KI-Systeme fragen nicht mehr einmal nach und antworten dann, sondern arbeiten eine Aufgabe in vielen Schritten ab und greifen dabei laufend auf Daten zu. Damit tritt der eigentliche Kern des Problems zutage: Das Wissen liegt verstreut, ist nicht überall auf demselben Stand und ist für Menschen aufbereitet, nicht für Maschinen. Ein Aufbau, der für einzelne Suchanfragen gedacht war, kommt damit an seine Grenzen.

Was an die Stelle tritt

Der Abruf wird zum eigenen Arbeitsschritt. Statt einmal vorab zu suchen, entscheidet das System währenddessen selbst, ob es überhaupt etwas nachschlagen muss, was genau, und ob das Ergebnis ausreicht oder eine zweite Runde nötig ist. Das kommt der Arbeitsweise eines Mitarbeiters deutlich näher: erst die Frage verstehen, dann gezielt nachschlagen, im Zweifel ein zweites Mal nachhaken. Auch bei der Suche selbst setzt sich durch, mehrere Verfahren zu kombinieren, statt sich auf eines zu verlassen. Die klassische Stichwortsuche findet die exakte Artikelnummer, die inhaltliche Ähnlichkeitssuche findet die passende Formulierung. Zusammen liefern sie deutlich verlässlichere Treffer als jede für sich.

Für den Anschluss an Ihre Systeme gibt es einen Standard. Das Model Context Protocol (MCP), ursprünglich von Anthropic veröffentlicht, ist inzwischen die gemeinsame Schnittstelle zwischen KI-Werkzeugen und Datenquellen, getragen von praktisch allen großen Anbietern. Über 5.800 fertige Anbindungen existieren, die Entwicklungspakete werden monatlich rund 97 Millionen Mal geladen, und die Spezifikation vom Juli 2026 zielt ausdrücklich auf den Unternehmenseinsatz. Für Sie heißt das: ERP, Dokumentenablage oder Warenwirtschaft werden einmal sauber angebunden, statt für jedes neue KI-Werkzeug erneut.

Und das Wissen selbst bekommt ein Format. Google Cloud hat am 12. Juni 2026 das Open Knowledge Format (OKF) veröffentlicht. Dahinter steckt eine erfrischend bodenständige Idee: Firmenwissen wird als Sammlung ganz normaler Textdateien abgelegt, geordnet in Ordnern, jede Datei mit einem kurzen Kopfbereich für Typ, Titel, Beschreibung und Stand, untereinander verlinkt wie in einem Wiki.

Für den Mittelstand ist gerade dieser Ansatz interessant:

• Mensch und Maschine lesen dasselbe. Es gibt keine zweite, unsichtbare Wissenskopie mehr, die auseinanderläuft.
• Sie brauchen keinen Anbieter dafür. Es sind Dateien. Kein Konto, kein Spezialsystem, kein Vertrag, an den Sie sich binden.
• Es ist versionierbar wie Quellcode. Wer hat wann welche Definition geändert, lässt sich nachvollziehen.

Konkret ist das der Ort für die Fragen, die heute in Köpfen und verstreuten Tabellen stecken: Was genau zählt bei uns als Auftragseingang? Welches System ist dafür führend? Wer ist zuständig, wenn die Zahlen nicht stimmen?

Bei aller Begeisterung gehört die Einordnung dazu: OKF steht bei Version 0.1 und ist seit Juni 2026 in der Welt. Kein verbreitetes KI-Werkzeug liest solche Ablagen bisher von allein, und OKF ersetzt weder die Suche noch die Rechteverwaltung noch eine saubere Datenpflege. Es ist bislang das Angebot eines einzelnen Anbieters und noch kein etablierter Standard. Wir empfehlen es deshalb als Arbeitsweise, nicht als Produktentscheidung.

Unser Fazit

„RAG ist tot” wäre zu einfach. Überholt ist der Bauplan von 2023, bei dem alles an einer Spezialdatenbank hängt. Die eigentliche Verschiebung ist eine andere Frage: Nicht mehr „welche Datenbank nehmen wir”, sondern „ist unser Wissen so aufgeschrieben, dass Mensch und Maschine es gleichermaßen verstehen”. Denn Abrufverfahren und Werkzeuge werden Sie in den nächsten Jahren mehrfach wechseln. Gut gepflegtes Wissen überlebt jeden dieser Wechsel und ist genau der Teil, den Ihnen kein Anbieter abnimmt.

Genau hier setzen wir bei AiMi an. Im Paket KI-Klarheit schauen wir uns an, wo Ihr entscheidendes Wissen heute liegt und in welchem Zustand es ist, bevor irgendeine Technik ausgewählt wird. Mit KI-Beweis prüfen wir an einem echten Anwendungsfall, ob die Antworten belastbar sind, und mit KI-Integration bringen wir das Ganze mit zeitgemäßen Standards wie MCP in den Alltag, statt eine Architektur zu bauen, die in zwei Jahren niemand mehr pflegen will. Buchen Sie ein kostenloses 30-Minuten-Gespräch und wir sagen Ihnen offen, wo Ihr Unternehmen dabei heute steht.