Company GPT bauen: KMU-Leitfaden 2026 mit RAG und Workflow-Automatisierung

Ein eigenes Company GPT ist kein Zukunftstraum mehr, sondern eine konkret realisierbare Lösung für kleine und mittlere Unternehmen. Gemeint ist damit ein KI-System, das auf dem eigenen Firmenwissen basiert, Fragen der Mitarbeitenden beantwortet und in bestehende Geschäftsprozesse integriert werden kann – ohne dass sensible Daten an externe Anbieter fließen müssen.

Dieser Leitfaden zeigt Schritt für Schritt, wie KMU ihren eigenen KI-Assistenten aufbauen, welche Technologien dafür benötigt werden und worauf bei Datenschutz und Governance zu achten ist.

Was ein Company GPT für KMU bedeutet

Ein Company GPT ist im Kern ein Sprachmodell, das mit dem firmeninternen Wissen verknüpft wird. Statt auf allgemeines Internet-Wissen zurückzugreifen, antwortet es auf Basis Ihrer Dokumente, Prozessbeschreibungen, Preislisten und Kundeninformationen.

Die Vorteile liegen auf der Hand:

• Sofortige Antworten: Mitarbeitende stellen Fragen in natürlicher Sprache und erhalten präzise Antworten mit Quellenangabe.
• Wissenskonservierung: Das Know-how erfahrener Mitarbeitender wird systematisch erfasst und abrufbar gemacht.
• Einarbeitungsbeschleunigung: Neue Teammitglieder finden sich schneller zurecht, weil sie Zugang zu einer intelligenten Wissensdatenbank haben.
• Prozesseffizienz: Wiederkehrende Fragen binden keine menschliche Arbeitszeit mehr.

Die technische Architektur: RAG als Fundament

Das Herzstück eines Company GPT ist ein RAG-System (Retrieval Augmented Generation). RAG kombiniert zwei Stärken: die Fähigkeit eines Sprachmodells, natürliche Sprache zu verstehen und zu generieren, und die Präzision einer Vektordatenbank, die relevante Dokumente findet.

Wie RAG funktioniert

• Ingestion: Unternehmensdokumente werden eingelesen, in Abschnitte (Chunks) aufgeteilt und als mathematische Repräsentationen (Embeddings) in einer Vektordatenbank gespeichert.
• Retrieval: Wenn ein Nutzer eine Frage stellt, wird diese ebenfalls in ein Embedding umgewandelt. Die Vektordatenbank findet die inhaltlich ähnlichsten Textabschnitte.
• Generation: Die gefundenen Textabschnitte werden zusammen mit der Frage an das Sprachmodell übergeben, das daraus eine präzise Antwort formuliert.

Der Technologie-Stack

Für KMU hat sich folgender Stack bewährt:

• Komponente: Workflow-Engine | Empfohlene Lösung: n8n | Aufgabe: Orchestrierung aller Prozesse
• Komponente: Vektordatenbank | Empfohlene Lösung: Supabase mit pgvector | Aufgabe: Speicherung der Embeddings
• Komponente: Embedding-Modell | Empfohlene Lösung: OpenAI text-embedding-3-small | Aufgabe: Umwandlung von Text in Vektoren
• Komponente: Sprachmodell | Empfohlene Lösung: GPT-4, Claude oder Llama | Aufgabe: Antwortgenerierung
• Komponente: Re-Ranker | Empfohlene Lösung: Cohere Rerank | Aufgabe: Qualitätsoptimierung der Suche

Dieser Stack ist kosteneffizient, skalierbar und benötigt keine eigene IT-Abteilung.

Schritt-für-Schritt-Aufbau

Schritt 1: Datenquellen identifizieren

Bevor Sie mit der Implementierung beginnen, machen Sie eine Bestandsaufnahme Ihres Firmenwissens:

• Strukturierte Dokumente: SOPs, Handbücher, Preislisten, Verträge
• Unstrukturierte Dokumente: E-Mails, Meeting-Notizen, Wiki-Einträge
• Systeme: CRM-Daten, ERP-Informationen, Ticketing-Systeme

Starten Sie mit den 20 bis 50 wichtigsten Dokumenten. Ein lokaler Ordner oder ein Google Drive reicht als Ausgangspunkt völlig aus.

Schritt 2: Dokumentaufbereitung

Die Qualität Ihres Company GPT steht und fällt mit der Qualität der aufbereiteten Dokumente:

• PDF-Extraktion: PDFs mit Textebene sind unkritisch. Gescannte Dokumente erfordern OCR.
• Bereinigung: Kopfzeilen, Fußzeilen, Signaturen und doppelte Inhalte entfernen.
• Metadaten: Jedes Dokument sollte mit Pflichtfeldern versehen werden: Abteilung, Dokumenttyp, Gültigkeitszeitraum, Quelle.
• Chunking: Texte in sinnvolle Abschnitte von 512 bis 800 Token aufteilen, mit 10 bis 20 Prozent Überlappung.

Schritt 3: Ingestion-Workflow in n8n aufbauen

Der erste n8n-Workflow verbindet Ihre Datenquellen mit der Vektordatenbank:

• Trigger: Zeitplan (täglich) oder Event (bei Dateiaktualisierung)
• Datenquelle auslesen: Google Drive, SharePoint oder lokaler Ordner
• Dokumente verarbeiten: Extraktion, Cleaning, Chunking
• Embeddings erzeugen: OpenAI-API aufrufen
• In Supabase speichern: Chunks mit Vektoren und Metadaten

Schritt 4: Q&A-Workflow erstellen

Der zweite Workflow verarbeitet Nutzeranfragen:

• Nutzer stellt Frage (via Chat-Interface, Slack oder E-Mail)
• Frage wird in ein Embedding umgewandelt
• Vektorsuche in Supabase mit Metadaten-Filtern
• Re-Ranking der Ergebnisse mit Cohere
• Sprachmodell generiert Antwort auf Basis der Top-Treffer
• Antwort mit Quellenangaben wird zurückgegeben

Schritt 5: Zugriffsrechte und Governance

• Row Level Security (RLS) in Supabase stellt sicher, dass Nutzer nur auf autorisierte Dokumente zugreifen können.
• System-Prompt einschränken: Das Modell darf nur auf Basis der gelieferten Dokumente antworten. Bei fehlender Information muss es dies transparent kommunizieren.
• Audit-Logging erfassen: Wer hat wann welche Frage gestellt? Für Compliance-sensible Branchen von Anfang an einplanen.

Praxisbeispiele aus dem Mittelstand

Handwerksbetrieb mit 18 Mitarbeitenden

Ein Spenglereibetrieb hat sein Company GPT mit Wartungsanleitungen, Lieferantenkonditionen und Aufmaßformularen gefüttert. Neue Mitarbeitende bekommen ihre Antworten jetzt in Sekunden statt in Minuten. Das System läuft seit Monaten stabil ohne nennenswerte Wartung.

Holzbau-Unternehmen mit 22 Mitarbeitenden

Ein Holzbau-Betrieb nutzt sein Company GPT für die automatische Klassifizierung eingehender Anfragen, die Angebotsvorbereitung und als interne Wissensdatenbank für Werkpläne und Lieferantenlisten.

B2B-Dienstleister mit 25 Mitarbeitenden

Ein Dienstleistungsunternehmen setzt sein Company GPT für die Lead-Qualifizierung ein: Das System analysiert Lead-Daten aus CRM und Website, erstellt automatische Scorings und priorisiert Anfragen. Die Conversion-Rate stieg von 8 auf 12 Prozent.

Kosten und ROI

Laufende Kosten

Für ein typisches KMU-Setup mit OpenAI-Embeddings, Supabase Pro und n8n Cloud liegen die monatlichen Kosten im niedrigen zweistelligen Euro-Bereich. Die Kosten skalieren mit dem Dokumentenvolumen und der Anzahl der Abfragen.

Einmalige Kosten

• Dokumentaufbereitung: Der größte initiale Aufwand. Je nach Dokumentenmenge 1 bis 5 Arbeitstage.
• Workflow-Setup: 1 bis 2 Tage für den Prototyp, 2 bis 4 Wochen für ein produktionsreifes System.
• Schulung: AI-Literacy-Schulung für Mitarbeitende (seit Februar 2025 gesetzliche Pflicht).

Typischer ROI

• Anwendungsfall: Interne Wissensdatenbank | Typische jährliche Einsparung: 20.000 - 40.000 EUR | Typischer ROI Jahr 1: 200 - 400 %
• Anwendungsfall: Automatische Anfragenklassifizierung | Typische jährliche Einsparung: 30.000 - 50.000 EUR | Typischer ROI Jahr 1: 300 - 500 %
• Anwendungsfall: Lead-Qualifizierung | Typische jährliche Einsparung: 50.000 - 180.000 EUR | Typischer ROI Jahr 1: 400 - 650 %
• Anwendungsfall: KI-Kundenservice | Typische jährliche Einsparung: 40.000 - 60.000 EUR | Typischer ROI Jahr 1: 100 - 200 %

DSGVO und EU AI Act

DSGVO-Anforderungen

• Auftragsverarbeitungsverträge (AVV): Mit allen KI-Anbietern abschließen (OpenAI bietet einen DPA).
• Datenminimierung: Keine personenbezogenen Daten in der Wissensdatenbank, sofern nicht zwingend erforderlich.
• Zugriffskontrolle: RLS in Supabase, explizite Filter in allen Queries.

EU AI Act

• AI-Literacy-Pflicht: Gilt seit Februar 2025. Alle Mitarbeitenden, die KI-Tools nutzen, müssen nachweislich geschult sein.
• Transparenzpflicht: Vollständig anwendbar ab August 2026. Dokumentieren Sie, welche Daten durch das System fließen.
• Risikoklassifizierung: Ein internes Wissenssystem wird typischerweise nicht als Hochrisiko-System eingestuft, erfordert aber dennoch Dokumentation.

Der 90-Tage-Plan zum eigenen Company GPT

Phase 1 (Tag 1-30): Fundament

• Prozess- und Datenaudit durchführen
• 20-50 Kerndokumente identifizieren und aufbereiten
• n8n und Supabase einrichten
• Metadaten-Standard definieren
• AI-Literacy-Schulung durchführen

Phase 2 (Tag 31-60): Prototyp

• Ingestion-Workflow bauen und erste Dokumente indexieren
• Q&A-Workflow mit einfacher Chat-Oberfläche erstellen
• Golden Set mit 10-30 Testfragen erstellen und evaluieren
• Zugriffsrechte konfigurieren

Phase 3 (Tag 61-90): Produktion

• System an weitere Datenquellen anbinden
• Re-Ranking integrieren
• Audit-Logging aktivieren
• Rollout auf alle relevanten Mitarbeitenden
• ROI-Messung starten

Häufig gestellte Fragen

Brauche ich eine IT-Abteilung für ein Company GPT?

Nein. Mit n8n als Workflow-Tool und Supabase als Managed-Datenbank lässt sich ein funktionsfähiges System ohne Programmierkenntnisse aufbauen. Die Werkzeuge sind so konzipiert, dass technisch versierte Fachanwender sie bedienen können.

Wie halte ich mein Company GPT aktuell?

Der Ingestion-Workflow kann zeitgesteuert (täglich, wöchentlich) oder event-getrieben (bei Dateiaktualisierung) laufen. So bleibt die Wissensdatenbank automatisch auf dem neuesten Stand.

Was passiert, wenn das System eine falsche Antwort gibt?

Ein korrekt konfigurierter System-Prompt zwingt das Modell, nur auf Basis der gelieferten Dokumente zu antworten. Bei fehlender Information antwortet es mit „Dazu habe ich keine gesicherte Information.“ Ergänzend sorgt ein Golden-Set-Evaluationsprozess für systematische Qualitätssicherung.

Wie schütze ich vertrauliche Informationen?

Row Level Security in Supabase, Metadaten-basierte Filterung und klare Zugriffsrechte stellen sicher, dass jeder Nutzer nur die Dokumente sieht, die für ihn bestimmt sind.

Quellenverweise

• OpenAI - Embedding-Modelle und API-Updates
• OpenAI - Data Processing Addendum (DPA)
• Supabase - Row Level Security Dokumentation
• pgvector - Vektordatenbank-Erweiterung für PostgreSQL
• Cohere - Rerank Dokumentation
• n8n - Company Knowledge Base Agent (RAG) Workflow
• EU AI Act - Regulatorischer Rahmen
• ifo Institut - Unternehmen setzen zunehmend auf KI (2025)