EU AI Act 2026: Was der Mittelstand jetzt konkret tun muss

Der EU AI Act ist kein Zukunftsthema mehr. Seit August 2024 in Kraft, werden die zentralen Pflichten für Unternehmen ab August 2026 verbindlich. Die KI-Kompetenzpflicht nach Artikel 4 gilt sogar schon seit Februar 2025. Trotzdem haben viele mittelständische Unternehmen noch nicht einmal eine Bestandsaufnahme ihrer KI-Systeme durchgeführt. Die Lage spitzt sich zu: Gleichzeitig greifen DSGVO-Verschärfungen und NIS-2-Anforderungen, was die Compliance-Last für KMU ohne eigene Rechtsabteilung massiv erhöht. Dieser Leitfaden zeigt Schritt für Schritt, was jetzt zu tun ist.

Der EU AI Act im Überblick – Was gilt ab wann

Der EU AI Act (Verordnung (EU) 2024/1689) ist das weltweit erste umfassende KI-Gesetz. Er regelt, wie künstliche Intelligenz in der EU entwickelt und eingesetzt werden darf – unabhängig von der Unternehmensgröße. Das bedeutet: Auch ein Maschinenbauunternehmen mit 80 Mitarbeitenden oder ein Handwerksbetrieb mit 15 Angestellten ist betroffen, sobald KI-Systeme im Geschäftsbetrieb eingesetzt werden.

Der Gesetzgeber hat eine stufenweise Einführung vorgesehen, die mittelständischen Unternehmen Planungssicherheit geben soll. In der Praxis bedeuten die verschiedenen Fristen allerdings, dass manche Pflichten bereits versäumt wurden.

Zeitliche Übersicht der Fristen

• Datum: August 2024 | Was gilt: EU AI Act tritt in Kraft | Relevanz für KMU: Vorbereitungsphase beginnt
• Datum: Februar 2025 | Was gilt: KI-Kompetenzpflicht (Art. 4) und Verbot bestimmter KI-Praktiken | Relevanz für KMU: Bereits in Kraft – alle Mitarbeiter, die mit KI arbeiten, müssen geschult sein
• Datum: August 2025 | Was gilt: Transparenzpflichten für generative KI und Chatbots | Relevanz für KMU: Kennzeichnung von KI-Interaktionen wird Pflicht
• Datum: August 2026 | Was gilt: Zentrale Pflichten für alle KI-Risikostufen werden verbindlich | Relevanz für KMU: Dokumentation, Governance und Risikoklassifizierung müssen stehen
• Datum: Dezember 2027 | Was gilt: Übergangsfristen für Hochrisiko-KI-Systeme enden (verschoben von August 2026) | Relevanz für KMU: Hochrisiko-Compliance muss spätestens jetzt vollständig sein

Wichtig: Die jüngste Verschiebung der Hochrisiko-Pflichten auf Dezember 2027 verschafft zwar mehr Zeit für die aufwändigsten Konformitätsbewertungen, entbindet aber nicht von der Pflicht, jetzt mit den Vorbereitungen zu beginnen. Experten warnen vor Kosten im mittleren fünfstelligen Bereich allein für die Compliance-Vorbereitung. NIS-2-Compliance kann initial sogar sechsstellige Beträge erfordern.

Was viele Unternehmer übersehen: Die KI-Kompetenzpflicht gilt bereits seit über einem Jahr. Wer Mitarbeitende hat, die im Alltag mit ChatGPT, Copilot oder anderen KI-Tools arbeiten, ohne dass eine dokumentierte Schulung stattgefunden hat, befindet sich seit Februar 2025 in einer Compliance-Lücke.

Risikoklassifizierung verstehen und anwenden

Der EU AI Act verfolgt einen risikobasierten Ansatz. Nicht jedes KI-System wird gleich behandelt. Je höher das Risiko für Grundrechte, Gesundheit oder Sicherheit, desto strenger die Auflagen. Für mittelständische Unternehmen ist die korrekte Einordnung der eigenen KI-Anwendungen der wichtigste erste Schritt.

Die vier Risikokategorien

1. Unakzeptables Risiko (verboten)

Diese KI-Systeme dürfen in der EU nicht betrieben werden. Dazu gehören Social Scoring, manipulative Systeme, die das Verhalten von Menschen unterschwellig beeinflussen, sowie unkontrollierte biometrische Echtzeit-Fernidentifizierung in öffentlichen Räumen. Für die meisten Mittelständler ist diese Kategorie nicht relevant – aber wer mit Emotionserkennungstechnologie am Arbeitsplatz experimentiert, sollte genau prüfen.

2. Hochrisiko

Hierunter fallen KI-Systeme, die in sensiblen Bereichen eingesetzt werden: automatisierte Personalentscheidungen, Kreditwürdigkeitsbewertungen, Bewerbungsscreenings oder sicherheitsrelevante Systeme in der Produktion. Unternehmen müssen für diese Systeme ein vollständiges Risikomanagementsystem vorweisen, technische Dokumentation führen, die Datenqualität sicherstellen und eine menschliche Aufsicht gewährleisten.

3. Begrenztes Risiko (Transparenzpflicht)

Chatbots, generative KI im Kundenkontakt und Systeme, die Deepfakes erzeugen können, fallen in diese Kategorie. Die Hauptpflicht: Nutzer müssen klar erkennen können, dass sie mit einem KI-System interagieren. Ein Hinweis wie „Dieser Chat wird von einem KI-Assistenten unterstützt“ genügt in vielen Fällen.

4. Minimales Risiko

Interne Produktivitätstools, Übersetzungshilfen, Textgeneratoren für interne Zwecke oder Spam-Filter fallen in diese Kategorie. Hier gibt es keine speziellen AI-Act-Pflichten – bestehende Vorschriften wie DSGVO und branchenspezifische Regelungen gelten natürlich weiterhin.

Typische KI-Anwendungen im Mittelstand einordnen

Die größte Unsicherheit entsteht in der Praxis bei der Frage: In welche Kategorie fällt mein konkreter Anwendungsfall? Hier eine Orientierungshilfe:

• KI-Anwendung: ChatGPT für interne Textarbeit | Typische Risikostufe: Minimal | Wichtigste Pflichten: DSGVO bei personenbezogenen Daten
• KI-Anwendung: Chatbot auf der Unternehmenswebsite | Typische Risikostufe: Begrenzt | Wichtigste Pflichten: Transparenzhinweis, Eskalation zu Mensch
• KI-Anwendung: KI-gestützte Rechnungsverarbeitung (OCR) | Typische Risikostufe: Minimal bis begrenzt | Wichtigste Pflichten: GoBD-Konformität, Nachvollziehbarkeit
• KI-Anwendung: RAG-System mit Unternehmenswissen | Typische Risikostufe: Minimal | Wichtigste Pflichten: Zugriffssteuerung, DSGVO-konforme Datenhaltung
• KI-Anwendung: Automatisiertes Bewerber-Screening | Typische Risikostufe: Hochrisiko | Wichtigste Pflichten: Vollständige Dokumentation, Bias-Prüfung, menschliche Aufsicht
• KI-Anwendung: KI-basierte Qualitätskontrolle in der Produktion | Typische Risikostufe: Hochrisiko (wenn sicherheitsrelevant) | Wichtigste Pflichten: Risikomanagementsystem, technische Dokumentation
• KI-Anwendung: Predictive Maintenance | Typische Risikostufe: Minimal bis begrenzt | Wichtigste Pflichten: Abhängig von Sicherheitsrelevanz
• KI-Anwendung: KI-gestützte Kundenklassifizierung | Typische Risikostufe: Begrenzt bis hochrisiko | Wichtigste Pflichten: Abhängig von Auswirkung der Entscheidung

Der entscheidende Faktor: Sobald ein KI-System autonome Entscheidungen trifft, die Menschen direkt betreffen – ob bei Einstellungen, Kündigungen, Krediten oder Sicherheitsbewertungen – steigt die Risikostufe erheblich. Solange der Mensch die endgültige Entscheidung trifft und die KI nur Vorschläge macht, bleibt die Einstufung in der Regel niedriger.

Die KI-Kompetenzpflicht nach Artikel 4

Artikel 4 des EU AI Act enthält eine der am meisten unterschätzten Pflichten: Seit Februar 2025 müssen alle Personen, die beruflich mit KI-Systemen arbeiten, über ausreichende KI-Kompetenz verfügen. Das betrifft nicht nur IT-Fachkräfte, sondern jeden Mitarbeitenden, der KI-Tools im Arbeitsalltag nutzt – vom Vertriebsmitarbeiter, der ChatGPT für Angebotstexte verwendet, bis zur Personalleiterin, die KI-gestützte Bewerbermanagementsoftware bedient.

Was genau unter „ausreichende KI-Kompetenz“ fällt, definiert der Gesetzgeber bewusst breit:

• Grundverständnis: Wie funktionieren KI-Systeme grundsätzlich? Was sind Sprachmodelle, wie werden sie trainiert?
• Chancen und Grenzen: Was kann KI leisten, wo sind die Schwächen? Warum halluzinieren Modelle?
• Risikobewusstsein: Bias, Datenschutzrisiken, Abhängigkeiten von Anbietern
• Eigene Pflichten: Was darf ich eingeben, was nicht? Wann muss ich einen Output prüfen?

Was droht bei Verstößen?

Das Risiko ist real: Nicht genehmigte KI-Tools, die etwa im Recruiting eingesetzt werden, können als illegale Hochrisiko-KI-Systeme gewertet werden. Wer Mitarbeitende ohne Schulung mit KI-Systemen arbeiten lässt, verletzt Artikel 4 und riskiert Bußgelder.

Praxisbeispiel: Maschinenbauunternehmen in Franken

Ein mittelständisches Maschinenbauunternehmen aus der Region Aschaffenburg mit 120 Mitarbeitenden setzt seit Ende 2024 verschiedene KI-Tools ein: Die Vertriebsabteilung (8 Personen) nutzt ChatGPT für Angebotstexte und Marktanalysen. Die Konstruktionsabteilung (22 Personen) arbeitet mit einem KI-gestützten CAD-Assistenten. Die Personalabteilung (3 Personen) hat ein Bewerbermanagementsystem mit KI-Vorauswahl eingeführt.

Die Ausgangslage Anfang 2026: Keine dokumentierten KI-Schulungen, kein KI-Inventar, keine Risikoklassifizierung. Die geschätzten Kosten für die nachträgliche Compliance-Herstellung: rund 45.000 Euro, verteilt auf externe Beratung (15.000 Euro), Schulungsprogramm (8.000 Euro), technische Anpassungen am Bewerbersystem (12.000 Euro) und Dokumentationsaufwand (10.000 Euro interne Personalkosten).

Hätte das Unternehmen bereits im Sommer 2024 begonnen, wären die Kosten laut Branchenexperten um rund 40 Prozent geringer gewesen – weil Dokumentation von Anfang an mitläuft, statt nachträglich aufgebaut werden muss.

Der Vorteil des frühen Handelns zeigt sich auch in der Marktpositionierung. Wie Dr. Till Klein auf der AI Act Now Konferenz in Bonn Anfang März 2026 betonte: Frühe Konformität ist kein Kostenfaktor, sondern ein Wettbewerbsvorteil. Vertrauenswürdige KI fördert die Adaption im Mittelstand – Kunden und Geschäftspartner bevorzugen nachweislich Unternehmen, die ihre KI-Nutzung transparent und regelkonform gestalten.

Praxis-Checkliste für KMU

Die folgende Checkliste gliedert die notwendigen Maßnahmen in drei Phasen. Die Reihenfolge ist bewusst gewählt: Zuerst den Ist-Zustand erfassen, dann die Governance-Strukturen aufbauen, schließlich die technische Umsetzung angehen.

Phase 1: Bestandsaufnahme (Woche 1 bis 4)

• Maßnahme: KI-Inventar erstellen: Alle eingesetzten KI-Tools und -Systeme erfassen | Verantwortlich: Geschäftsführung + IT | Ergebnis: Vollständige Liste aller KI-Anwendungen | Priorität: Kritisch
• Maßnahme: Risikoklassifizierung durchführen: Jeden Eintrag im Inventar einer Risikostufe zuordnen | Verantwortlich: Geschäftsführung + Fachbereich | Ergebnis: Risikomatrix mit Einstufung pro System | Priorität: Kritisch
• Maßnahme: Shadow-AI-Prüfung: Nicht genehmigte KI-Tools identifizieren | Verantwortlich: IT + Abteilungsleiter | Ergebnis: Bericht über unautorisierte KI-Nutzung | Priorität: Hoch
• Maßnahme: DSGVO-Schnittstellenanalyse: Wo werden personenbezogene Daten in KI-Systemen verarbeitet? | Verantwortlich: Datenschutzbeauftragter | Ergebnis: Übersicht der Datenflüsse | Priorität: Hoch
• Maßnahme: Bestehendes Schulungsniveau erfassen: Wer hat welche KI-Kompetenz? | Verantwortlich: Personalabteilung | Ergebnis: Kompetenzmatrix | Priorität: Mittel

Phase 2: Governance und Schulung (Woche 5 bis 8)

• Maßnahme: KI-Richtlinie erstellen: Interne Policy für den Umgang mit KI-Systemen | Verantwortlich: Geschäftsführung | Ergebnis: Dokumentierte KI-Policy | Priorität: Kritisch
• Maßnahme: Schulungsplan aufsetzen und Schulungen durchführen (Art. 4) | Verantwortlich: Personalabteilung | Ergebnis: Dokumentierte Schulungsnachweise | Priorität: Kritisch
• Maßnahme: Verantwortlichkeiten definieren: Wer ist KI-Beauftragter im Unternehmen? | Verantwortlich: Geschäftsführung | Ergebnis: Benannte Ansprechperson | Priorität: Hoch
• Maßnahme: Monitoring-Prozess definieren: Wie wird die KI-Nutzung laufend überwacht? | Verantwortlich: IT + KI-Beauftragter | Ergebnis: Monitoring-Konzept | Priorität: Hoch
• Maßnahme: Melde- und Eskalationsprozess bei KI-Vorfällen definieren | Verantwortlich: Geschäftsführung + IT | Ergebnis: Dokumentierter Prozess | Priorität: Mittel

Phase 3: Technische Umsetzung (Woche 9 bis 12)

• Maßnahme: Logging implementieren: Jede KI-Interaktion strukturiert protokollieren | Verantwortlich: IT | Ergebnis: Funktionierender Logging-Layer | Priorität: Hoch
• Maßnahme: Transparenzhinweise einbauen: Chatbots und KI-Schnittstellen kennzeichnen | Verantwortlich: IT + Fachbereich | Ergebnis: Sichtbare KI-Kennzeichnung | Priorität: Hoch
• Maßnahme: Zugriffssteuerung prüfen: Wer darf auf welche KI-Systeme und Daten zugreifen? | Verantwortlich: IT | Ergebnis: Rollenbasiertes Rechtekonzept | Priorität: Hoch
• Maßnahme: Datenresidenz sicherstellen: Sensible Daten in EU oder On-Premise | Verantwortlich: IT | Ergebnis: Dokumentierte Datenstandorte | Priorität: Mittel
• Maßnahme: Automatisierte Compliance-Checks einrichten | Verantwortlich: IT | Ergebnis: Regelmäßige Prüfberichte | Priorität: Mittel

Die drei regulatorischen Ebenen: EU AI Act, DSGVO und NIS-2

Was den Mittelstand besonders fordert, ist die Schnittmenge aus drei Regulierungswerken, die gleichzeitig greifen. Laut dem BCG AI Radar 2026 liegt die KI-Investitionsbereitschaft in Deutschland bei 52 Prozent – EU-Spitze. Doch diese Investitionsbereitschaft trifft auf eine Regulierungsdichte, die viele KMU überfordert.

• Regulierung: EU AI Act | Kernfokus: KI-spezifische Pflichten (Risikostufen, Dokumentation, Transparenz) | Relevanz für KI: Direkt – betrifft alle KI-Systeme
• Regulierung: DSGVO | Kernfokus: Schutz personenbezogener Daten | Relevanz für KI: Immer wenn KI personenbezogene Daten verarbeitet
• Regulierung: NIS-2 | Kernfokus: Cybersicherheit und Resilienz | Relevanz für KI: Wenn KI-Systeme in kritischer Infrastruktur oder bei wesentlichen Diensten eingesetzt werden

In der Praxis bedeutet das: Ein KI-gestütztes Personalauswahlsystem muss gleichzeitig die Hochrisiko-Anforderungen des AI Act erfüllen, die DSGVO-Vorgaben für automatisierte Entscheidungen (Art. 22 DSGVO) einhalten und – falls das Unternehmen unter NIS-2 fällt – die Cybersicherheitsanforderungen für die IT-Infrastruktur nachweisen.

Häufig gestellte Fragen

Fallen auch kleine Unternehmen unter den EU AI Act?

Ja. Der EU AI Act gilt unabhängig von der Unternehmensgröße. Sobald ein Unternehmen KI-Systeme einsetzt oder in Verkehr bringt, ist es betroffen. Allerdings sieht die Verordnung gewisse Erleichterungen für KMU vor, etwa vereinfachte Konformitätsbewertungen und Zugang zu regulatorischen Sandboxes. Das geplante KI-MIG auf nationaler Ebene soll weitere KMU-spezifische Erleichterungen definieren.

Was kostet die Umsetzung realistisch?

Die Kosten hängen stark von der Anzahl und der Risikostufe der eingesetzten KI-Systeme ab. Für ein typisches mittelständisches Unternehmen mit drei bis fünf KI-Anwendungen im Bereich Minimal- und begrenztes Risiko rechnen Experten mit 20.000 bis 50.000 Euro für die initiale Compliance-Herstellung. Bei Hochrisiko-Systemen kann der Aufwand deutlich höher liegen. Wichtig: Diese Kosten entstehen ohnehin – wer später beginnt, zahlt mehr, weil nachträgliche Dokumentation und Anpassung teurer sind als Compliance-by-Design.

Müssen wirklich alle Mitarbeiter geschult werden?

Ja – allerdings mit Abstufung. Artikel 4 verlangt, dass alle Personen, die mit KI-Systemen umgehen, über ausreichende KI-Kompetenz verfügen. Das Kompetenzniveau muss zur jeweiligen Rolle passen: Ein Vertriebsmitarbeiter, der ChatGPT für Textarbeit nutzt, braucht ein anderes Schulungsniveau als ein Entwickler, der KI-Modelle integriert. Die Schulungen müssen dokumentiert werden.

Was passiert, wenn Mitarbeiter nicht genehmigte KI-Tools nutzen?

Nicht genehmigte KI-Tools – sogenannte Shadow AI – sind ein erhebliches Compliance-Risiko. Wenn ein Mitarbeiter etwa ein nicht autorisiertes KI-Tool im Recruiting einsetzt, kann dies als illegaler Betrieb eines Hochrisiko-KI-Systems gewertet werden. Die Verantwortung liegt beim Unternehmen, nicht beim einzelnen Mitarbeiter. Deshalb ist die Kombination aus klarer KI-Richtlinie, genehmigten Tool-Alternativen und regelmäßiger Prüfung entscheidend.

Welche Unterstützung gibt es für den Mittelstand?

Es gibt inzwischen gezielte Förderprogramme. Der Bayerische KI-Innovationsbeschleuniger, der im März 2026 seinen ersten Geburtstag feiert, unterstützt KMU, Start-ups und den öffentlichen Sektor konkret bei der AI-Act-Umsetzung. Ein Forschungsprojekt der LMU München, der TU München und der TU Nürnberg entwickelt juristisch belastbare Handlungsempfehlungen speziell für den Mittelstand. Zudem bieten die Mittelstand-Digital-Zentren und IHKs kostenlose Erstberatungen an. Bayerns Start-up-Ökosysteme belegen laut dem Financial Times-Ranking die Plätze eins bis drei – auch diese Infrastruktur können KMU für Kooperationen und Wissenstransfer nutzen.

Quellenverweise

• Bayerisches Staatsministerium für Digitales: Bayerns KI-Innovationsbeschleuniger feiert ersten Geburtstag (März 2026)
• Xpert.Digital: EU AI Act – Pflichten, Risikoklassen und BCG AI Radar 2026
• DAPD.de: EU AI Act verschiebt Pflichten für Hochrisiko-KI auf Dezember 2027
• der-windows-papst.de: KI-Kompetenz-Pflicht seit Februar 2025 (Art. 4 EU AI Act)
• Dr. Till Klein / AI Act Now Konferenz Bonn: Vertrauenswürdige KI als Wettbewerbsvorteil (März 2026)