Firmen-KI bauen: RAG-System als eigener Wissensassistent für Unternehmen
Eigene Firmen-KI mit RAG-System aufbauen: Wie KMU ihr Firmenwissen in einen intelligenten Assistenten verwandeln. Mit Architektur, 12-Wochen-Plan, Datenschutz und Praxisbeispielen.
Auf LinkedIn tauchen wöchentlich neue Posts auf: „Wir haben unser eigenes Company GPT gebaut!“ Dahinter steckt meist eine ChatGPT-Oberfläche, an die man „Fragen ans Unternehmenswissen stellen kann.“ Doch was passiert, wenn die Antwort falsch ist? Was, wenn das System halluziniert und plausibel klingende, aber schlicht falsche Informationen liefert?
Die Realität: Die meisten Chatbot-Demos sind für den produktiven Einsatz unbrauchbar. Ein echtes Firmen-KI-System muss an die realen Unternehmensdaten heran. Es muss wissen, wo das QM-Handbuch liegt, was in den Prozessbeschreibungen steht, wie die Gewährleistung geregelt ist. Und es muss die Quellenangabe mitliefern. Alles andere bleibt Spielzeug.
Was eine echte Firmen-KI von ChatGPT unterscheidet
Der Unterschied lässt sich in einem Wort zusammenfassen: RAG.
RAG steht für Retrieval-Augmented Generation. Das Prinzip ist im Kern einfach:
ChatGPT ohne Unternehmensdaten ist wie ein schlauer Praktikant am ersten Tag. Er weiß viel über die Welt, aber nichts über den eigenen Betrieb. Wer fragt „Wie ist unser Eskalationsprozess bei Reklamationen?“ bekommt eine Antwort, die verdammt überzeugend klingt – aber erfunden ist.
RAG ändert das fundamental. So funktioniert der Ablauf:
- Der Nutzer fragt: „Wie ist unser Eskalationsprozess bei Reklamationen?“
- Das System sucht: In der Wissensdatenbank werden die passendsten Dokumentabschnitte herausgesucht
- Die KI antwortet MIT Quelle: „Laut QM-Handbuch v3.2, Abschnitt 7.2: Bei Reklamationen über 500 Euro greift der Eskalationspfad...“ – mit Verweis auf das Originaldokument
Ohne RAG rät die KI. Mit RAG zitiert sie die eigenen Dokumente. Das ist der Unterschied zwischen einer Demo und einem produktiven System.
Praxisbeispiele aus dem Mittelstand
40 Jahre Fachwissen retten
Ein Spenglermeister in Bayern stand vor einer Herausforderung: Ein Mitarbeiter mit 40 Jahren Erfahrung ging in Rente. Dieser Mitarbeiter wusste alles – welche Abdichtungsnorm bei welchem Flachdach gilt, welches Material bei welcher Temperatur optimal ist, welche Fehler bei bestimmten Dachneigungen vermieden werden müssen. Alles im Kopf, nirgendwo dokumentiert.
Die Lösung: Ein KI-gestütztes Wissenssystem mit RAG. Der Mitarbeiter hat erzählt – Stunde um Stunde. Die Gespräche wurden transkribiert, die KI hat strukturiert, alles landete in einer durchsuchbaren Datenbank. Supabase mit Vektorsuche als Backend. Kein teures Enterprise-DMS. Kein Vendor-Lock-in.
Jetzt kann jeder im Betrieb fragen: „Wie mache ich das bei einer Flachdach-Abdichtung unter 5 Grad?“ – und bekommt eine Antwort, die auf den echten Erfahrungen basiert. Neue Auszubildende finden sich schneller zurecht. Die erfahrenen Mitarbeiter werden nicht mehr ständig aus ihrer Arbeit gerissen.
Strukturierte Sprachnotizen im Holzbau
Eine Geschäftsführerin eines Holzbau-Betriebs hatte ein anderes Problem: Täglich lagen über 10 Telefonnotizen auf gelben Zetteln herum. Zettel verschwanden, wichtige Informationen gingen verloren.
Die Lösung: Sprachnotizen werden eingesprochen, die KI transkribiert und strukturiert automatisch (Projekt, Priorität, zuständiger Mitarbeiter) und leitet alles an die richtige Person weiter. Die strukturierten Daten landen in einer durchsuchbaren Datenbank – quasi ein Mini-RAG für Projektnotizen. Ergebnis: 15 Stunden Zeitersparnis pro Woche.
KI versteht das ERP-System
Ein Fensterbau-Betrieb hatte das Problem, dass Auftragsdaten im ERP-System (Work for All) lagen, aber die Monteure auf der Baustelle keinen Zugriff hatten. Rückfragen per Telefon, verlorene Details, genervte Kunden.
Die Lösung: Die relevanten Daten wurden per SQL-Zugriff aus dem On-Prem-Server nach Supabase gespiegelt. Ein Web-Dashboard gibt den Monteuren Echtzeit-Zugriff. Und dann der Bonus: Wenn ein Fenster beschädigt ist, macht der Kunde ein Foto, lädt es hoch, die KI erkennt den Schadentyp und schlägt direkt die richtigen Ersatzteile vor. Ergebnis: 50 Prozent weniger Rückfragen.
Die Architektur: Einfacher als gedacht
Während Konzerne Millionen für Enterprise-Plattformen ausgeben, gibt es für Selbstständige und kleine Teams einen Weg, der tatsächlich funktioniert.
Die fünf Bausteine einer Firmen-KI
- Chat-Oberfläche: Einfaches Web-Interface, Teams oder Slack – was im Betrieb bereits genutzt wird
- n8n als Schaltzentrale: Alle Abläufe laufen als Workflows – Dokumente einlesen, Fragen beantworten, Ergebnisse ausliefern. Visuell konfigurierbar.
- Supabase als Wissensspeicher: PostgreSQL-Datenbank mit Vektorsuche-Erweiterung. Speichert Dokumente UND deren „mathematischen Fingerabdruck“ für die semantische Suche.
- Dateispeicher: S3-kompatibler Speicher für die Originaldokumente (die bleiben unangetastet)
- KI-Schnittstelle: Claude, GPT-5.2 oder europäische Modelle wie Mistral – je nach Datenschutzanforderungen
Cloud, Hybrid oder Self-Hosting?
Empfehlung für die meisten Teams: Hybrid. n8n und Supabase self-hosted auf einem deutschen Server (Hetzner oder Netcup), KI-Calls über EU-Rechenzentren. Die Dokumente bleiben in Deutschland. Die KI-Modelle kommen von außen. Beste Balance aus Kontrolle und Komfort.
Für maximale Kontrolle: Komplett On-Premise mit Open-Source-Modellen wie Mistral. Mehr Aufwand, aber volle Datensouveränität.
So werden aus Dokumenten Antworten: Die RAG-Pipeline
1. Dokumente einlesen und aufteilen
Ein 50-seitiges PDF wird in rund 100 Abschnitte aufgeteilt. Diese überlappen sich leicht, damit kein Kontext verloren geht. n8n automatisiert diesen Prozess komplett.
2. Bedeutung in Zahlen übersetzen
Jeder Abschnitt wird von einem Embedding-Modell in einen Zahlenvektor umgewandelt – einen mathematischen Fingerabdruck der Bedeutung. Das passiert vollautomatisch.
3. Speichern in der Wissensdatenbank
Supabase mit der pgvector-Erweiterung speichert diese Vektoren. Eine Datenbank-Erweiterung, die Ähnlichkeitssuche per Abfrage ermöglicht.
4. Frage stellen, passende Abschnitte finden
Jemand fragt „Wie lange ist die Gewährleistung bei Produkt X?“ – die Frage wird ebenfalls in einen Vektor umgewandelt und gegen die Datenbank abgeglichen. Die 5 bis 10 passendsten Abschnitte werden zurückgegeben.
5. KI antwortet mit Quellenangabe
n8n fügt die gefundenen Abschnitte zusammen mit einem klaren Auftrag an die KI: „Antworte NUR auf Basis der folgenden Dokumente. Zitiere immer die Quelle. Wenn du nichts findest, sag das ehrlich.“
Die KI generiert dann: „Laut Produkthandbuch v2.3, Abschnitt 7.2: Die Gewährleistung beträgt 24 Monate ab Lieferung.“ – mit Link zum Originaldokument.
So werden Halluzinationen minimiert. Die KI kann nur das sagen, was in den eigenen Dokumenten steht – und sie muss zeigen, woher die Information stammt.
Sicherheit und Datenschutz
DSGVO-Anforderungen
- Verarbeitungsverzeichnis: Dokumentieren, welche Daten wo verarbeitet werden
- Datenschutz-Folgenabschätzung: Bei sensiblen Wissensbereichen (Personaldaten, Verträge) verpflichtend
- Transparenz: Das Team muss wissen, dass Abfragen protokolliert werden
- Löschkonzepte: Was passiert, wenn ein Mitarbeiter geht? Wenn Dokumente veralten?
EU AI Act (ab 2026)
Ein interner Wissensassistent ist in der Regel „limited risk“ – erfordert aber trotzdem:
- Nutzer müssen erkennen, dass sie mit KI interagieren
- Kritische Entscheidungen (Rechtsfragen, Personalthemen) dürfen nicht ungefiltert von der KI kommen
- Logging von Abfragen, Antworten und verwendeten Quellen
Die gute Nachricht: Mit n8n Self-Hosting fließen keine Daten an Drittplattformen – außer dem KI-Call, den man über EU-Rechenzentren abwickelt. Oder mit lokalen Modellen komplett umgeht.
Der 12-Wochen-Plan zur eigenen Firmen-KI
Ein RAG-System braucht weder Monate noch Data Scientists. Mit klarem Fokus ist ein produktives System in 8 bis 12 Wochen realisierbar.
Phase 1: Planung (Woche 1-3)
- Use Case festlegen: Welches Wissensgebiet zuerst? Support-Handbücher, QM-Dokumente, Fachfragen?
- Datenquellen prüfen: Was ist vorhanden, gut strukturiert, rechtlich unbedenklich?
- Architektur wählen: Der Hybrid-Ansatz ist für die meisten Teams empfehlenswert
- Verantwortlichkeiten klären: Wer pflegt das System weiter?
Phase 2: Aufbau des MVP (Woche 4-8)
- n8n-Workflows für Dokumentenaufnahme, Chunking und Embedding aufsetzen
- Supabase mit pgvector initialisieren, erste 50-100 Dokumente einlesen
- Einfache Chat-Oberfläche bauen
- Erste Testabfragen, Qualität messen, Prompts optimieren
Phase 3: Pilotbetrieb (Woche 9-12)
- Pilotgruppe (5-15 Personen) nutzt das System produktiv
- Feedback sammeln: Was funktioniert, wo gibt es Probleme?
- Dokumente nachpflegen, Systemprompts schärfen, Berechtigungen verfeinern
- Interne Schulung durchführen
Phase 4: Rollout
- Ausweitung auf alle relevanten Bereiche
- Regelmäßige Re-Indexierung bei neuen Dokumenten
- Laufende Pflege als fester Prozess etablieren
Was gehört in die Wissensdatenbank – und was nicht
Gute Startquellen
- Produkthandbücher und Datenblätter
- QM-Dokumentation und Arbeitsanweisungen
- Interne FAQs und Wiki-Seiten
- Richtlinien und Policies
Spätere Erweiterung
- Support-Tickets (anonymisiert)
- Projekt-Dokumentationen
- E-Mail-Archive (selektiv, mit klarem Rechte-Management)
Rollenbasierter Zugriff
Nicht jeder darf alles wissen. Der KI-Assistent braucht ein Rollenmodell:
- Vertrieb sieht Produkt-Specs, aber keine interne Kalkulation
- Service sieht Support-Historie, aber keine Vertriebs-Forecasts
- Geschäftsführung sieht alles
Technisch lösbar über Metadaten an jedem Dokumentabschnitt. n8n filtert automatisch, bevor die KI antwortet.
Pflege: Eine Firmen-KI ist kein Einmal-Projekt
Wichtige Kennzahlen
- Nutzung: Abfragen pro Tag, aktive Nutzer
- Qualität: Bewertung pro Antwort (Daumen hoch/runter), Fehlerrate
- Effizienz: Antwortzeit, Reduktion der Suchzeit
- Compliance: Alle Abfragen protokolliert? Zugriffsrechte korrekt?
Laufende Pflege
- Wöchentlich: Neue Dokumente automatisch einlesen (n8n-Cron-Job)
- Monatlich: Veraltete Abschnitte prüfen und archivieren
- Quartalsweise: Gesamtreview, neue Modelle oder Prompts testen
Häufig gestellte Fragen
Was ist eine Firmen-KI?
Eine Firmen-KI ist ein KI-System, das ausschließlich auf das eigene Unternehmenswissen zugreift. Anders als ChatGPT, das nur allgemeines Wissen hat, kennt dieses System die eigenen Produkte, Prozesse und Richtlinien – und antwortet nur auf Basis der eigenen Dokumente, mit Quellenangabe.
Wie funktioniert RAG?
RAG (Retrieval-Augmented Generation) bedeutet, dass die KI nicht nur generieren kann, sondern vorher in den echten Firmendaten nachschaut. Die KI sucht erst in der Datenbank nach passenden Dokumenten und antwortet dann NUR auf dieser Basis. So werden Halluzinationen minimiert.
Brauche ich Programmierkenntnisse?
Nein. Mit n8n und Supabase lässt sich ein vollständiges RAG-System aufbauen, ohne eine Zeile Code zu schreiben. Die Konfiguration erfolgt visuell über Workflow-Builder.
Ist mein Firmenwissen sicher?
Ja – bei der richtigen Architektur. Mit Self-Hosting auf einem deutschen Server bleiben die Daten in Deutschland. Nur der KI-Call geht verschlüsselt an einen externen Anbieter – und selbst das lässt sich mit lokalen Open-Source-Modellen vermeiden.
Was kostet eine Firmen-KI?
Für ein kleines Team mit 5-20 Personen liegen Cloud-Hosting und KI-Calls im niedrigen dreistelligen Bereich pro Monat. Kein Vergleich zu Enterprise-Lösungen, die fünf- oder sechsstellig kosten.
Wie lange dauert der Aufbau?
Mit klarem Fokus und guten Datenquellen ist ein Pilotprojekt in 8 bis 12 Wochen produktiv. Entscheidend: Mit EINEM konkreten Use Case starten, dann schrittweise erweitern.