Dimensionsreduktion und Feature Engineering: Datenkomplexität beherrschen

Jedes KI-Projekt beginnt mit Daten. Doch was, wenn diese Daten aus Hunderten oder Tausenden Merkmalen bestehen? Wenn Sensoren in der Fertigung 200 Messwerte pro Sekunde liefern, CRM-Systeme 80 Felder pro Kunde führen und IoT-Geräte 50 Parameter gleichzeitig erfassen? Dann stößt jedes Machine-Learning-Modell an seine Grenzen, nicht weil die Algorithmen versagen, sondern weil die Datenkomplexität unkontrolliert wächst.

Laut der KI-Studie 2025 von Maximal Digital kämpfen 76 Prozent der KMU mit unzureichender Datenqualität und Datensilos. Hinzu kommt ein Problem, das selten benannt wird: Viele Unternehmen sammeln mehr Merkmale, als ihre Modelle sinnvoll verarbeiten können. Die Folge sind längere Trainingszeiten, unzuverlässige Vorhersagen und ausufernde Projektkosten.

Dieser Beitrag erklärt, wie Dimensionsreduktion und Feature Engineering zwei sich ergänzende Strategien darstellen, um Datenkomplexität zu beherrschen. Verständlich, praxisnah und mit konkreten Handlungsempfehlungen für den Mittelstand.

Das Problem: Warum mehr Daten nicht automatisch bessere KI bedeuten

Der Fluch der Dimensionalität

In der Mathematik und Informatik beschreibt der sogenannte „Curse of Dimensionality“ ein Phänomen, das für KMU direkte geschäftliche Konsequenzen hat: Mit jeder zusätzlichen Datenspalte, jedem neuen Merkmal, wächst der benötigte Datenraum exponentiell. Ein Modell, das mit 10 Merkmalen zuverlässig arbeitet, braucht bei 100 Merkmalen nicht zehnmal, sondern potenziell tausendmal mehr Datenpunkte, um die gleiche Genauigkeit zu erreichen.

Die praktischen Auswirkungen für Unternehmen sind gravierend:

• Rechenkosten explodieren: Training und Inferenz dauern länger und binden teure Ressourcen.
• Overfitting nimmt zu: Das Modell lernt Rauschen statt echte Muster und versagt bei neuen Daten.
• Interpretierbarkeit sinkt: Niemand kann erklären, warum das Modell eine bestimmte Entscheidung getroffen hat.
• Projektlaufzeiten steigen: Data Scientists verbringen mehr Zeit mit Debugging als mit Wertschöpfung.

Datenexplosion im Mittelstand

Die Digitalisierung hat dazu geführt, dass selbst kleine Unternehmen mit 20 Mitarbeitenden täglich Daten aus einem halben Dutzend Systemen erzeugen. Ein mittelständischer Fertigungsbetrieb sammelt typischerweise:

• Datenquelle: Maschinensteuerung (SPS) | Typische Merkmale: 50 bis 200 Sensorwerte | Datenpunkte pro Tag: 500.000+
• Datenquelle: Qualitätsmessung | Typische Merkmale: 20 bis 50 Prüfwerte | Datenpunkte pro Tag: 5.000 bis 20.000
• Datenquelle: ERP-System | Typische Merkmale: 30 bis 80 Auftragsfelder | Datenpunkte pro Tag: 100 bis 500
• Datenquelle: CRM-System | Typische Merkmale: 40 bis 80 Kundenfelder | Datenpunkte pro Tag: 50 bis 200
• Datenquelle: IoT-Sensoren (Umgebung) | Typische Merkmale: 10 bis 30 Umgebungswerte | Datenpunkte pro Tag: 100.000+

In Summe entstehen Datensätze mit Hunderten von Spalten. Doch nicht jede Spalte trägt zur Vorhersagequalität bei. Viele Merkmale sind redundant, korreliert oder schlicht irrelevant. Genau hier setzen Dimensionsreduktion und Feature Engineering an.

Kernkonzepte: PCA, t-SNE und Feature Selection verständlich erklärt

Principal Component Analysis (PCA): Das Wesentliche sichtbar machen

PCA, die Hauptkomponentenanalyse, ist die am weitesten verbreitete Methode zur Dimensionsreduktion. Das Prinzip ist elegant: PCA sucht in einem hochdimensionalen Datensatz jene Richtungen, entlang derer die Daten am stärksten variieren, und projiziert die Daten auf diese sogenannten Hauptkomponenten.

Vereinfacht erklärt: Stellen Sie sich vor, Sie fotografieren einen dreidimensionalen Gegenstand. Je nach Blickwinkel sehen Sie unterschiedlich viel. PCA findet automatisch den Blickwinkel, aus dem Sie die meiste Information erfassen, und erstellt daraus ein zweidimensionales Bild, das den Gegenstand möglichst vollständig repräsentiert.

Technische Kernpunkte:

• PCA ist ein lineares Verfahren, das die Richtungen maximaler Varianz identifiziert.
• Die erste Hauptkomponente erklärt den größten Anteil der Gesamtvarianz, die zweite den zweitgrößten und so weiter.
• Durch Weglassen der Komponenten mit geringer Varianz wird die Dimension reduziert, ohne wesentliche Information zu verlieren.
• Voraussetzung: Daten müssen vorher standardisiert werden, da PCA empfindlich auf unterschiedliche Skalierungen reagiert.

Praxisrelevanz für KMU: Ein Comprehensive Review aus 2025 in den PMC-Journalen zeigt, dass PCA in der Finanzbranche für die Kreditrisikobewertung eingesetzt wird. Banken reduzieren mit PCA die Dimensionen von Kundendaten, identifizieren die kritischen Einflussfaktoren und beschleunigen so Entscheidungsprozesse erheblich. Das gleiche Prinzip funktioniert im Mittelstand: Statt 80 Kundenmerkmale in ein Prognosemodell zu füttern, identifiziert PCA die 8 bis 12 Merkmale, die tatsächlich zählen.

t-SNE: Muster in komplexen Daten sichtbar machen

t-SNE (t-distributed Stochastic Neighbor Embedding) verfolgt einen anderen Ansatz als PCA. Während PCA die globale Struktur der Daten erhält, konzentriert sich t-SNE darauf, lokale Nachbarschaftsbeziehungen abzubilden. Das Verfahren ist nichtlinear und eignet sich besonders für die Visualisierung hochdimensionaler Daten in zwei oder drei Dimensionen.

Vereinfacht erklärt: Wenn PCA den besten Blickwinkel auf ein Objekt sucht, dann ordnet t-SNE die Datenpunkte so auf einer Karte an, dass ähnliche Punkte nah beieinander und unähnliche Punkte weit voneinander entfernt liegen. Ähnlich einer Landkarte, auf der verwandte Städte automatisch nahe beieinander gezeichnet werden.

Wichtige Einschränkungen:

• t-SNE ist ausschließlich ein Visualisierungswerkzeug und sollte nicht als Vorverarbeitungsschritt für Klassifikation oder Regression verwendet werden.
• Das Verfahren ist rechenintensiv: Bei mehr als 10.000 Datenpunkten steigt die Laufzeit überproportional. Die Barnes-Hut-Approximation reduziert die Komplexität für größere Datensätze.
• Der Perplexity-Parameter muss sorgfältig gewählt werden. Ein Bereich zwischen 5 und 50 hat sich in der Praxis bewährt.

Best Practice: Der Hybrid-Ansatz. Aktuelle Forschung empfiehlt, PCA und t-SNE zu kombinieren. Zuerst wird PCA eingesetzt, um die Dimension von beispielsweise 1.000 auf 50 zu reduzieren. Anschließend visualisiert t-SNE diese 50 Dimensionen in einer zweidimensionalen Darstellung. Dieser zweistufige Ansatz spart Rechenzeit und stabilisiert die Ergebnisse.

Feature Selection: Die richtigen Merkmale auswählen

Während PCA und t-SNE bestehende Merkmale transformieren, geht Feature Selection einen direkteren Weg: Es werden gezielt jene Merkmale ausgewählt, die den größten Vorhersagebeitrag leisten, und alle anderen verworfen.

Eine umfassende Studie von Cheng (2025) auf SSRN unterscheidet drei Hauptansätze:

1. Filter-Methoden: Merkmale werden unabhängig vom Modell anhand statistischer Kennzahlen bewertet. Beispiele sind die Korrelation mit der Zielvariable, Chi-Quadrat-Tests oder die gegenseitige Information (Mutual Information). Filter-Methoden sind schnell und skalierbar, berücksichtigen aber keine Wechselwirkungen zwischen Merkmalen.

2. Wrapper-Methoden: Hier wird das Modell wiederholt mit verschiedenen Merkmalskombinationen trainiert und die beste Kombination anhand der Modellleistung ausgewählt. Beispiele sind Forward Selection, Backward Elimination und Recursive Feature Elimination. Wrapper-Methoden liefern oft bessere Ergebnisse, sind aber deutlich rechenintensiver.

3. Embedded-Methoden: Diese Verfahren integrieren die Merkmalsauswahl direkt in den Trainingsprozess. Entscheidungsbäume und Random Forests beispielsweise berechnen die Wichtigkeit jedes Merkmals als Nebenprodukt des Trainings. Lasso-Regression eliminiert irrelevante Merkmale durch Regularisierung automatisch.

Vergleichstabelle: PCA vs. t-SNE vs. Feature Selection

• Kriterium: Typ | PCA: Transformation | t-SNE: Visualisierung | Feature Selection: Auswahl
• Kriterium: Ansatz | PCA: Linear | t-SNE: Nichtlinear | Feature Selection: Abhängig von Methode
• Kriterium: Einsatzzweck | PCA: Dimensionsreduktion, Rauschunterdrückung | t-SNE: Cluster-Erkennung, explorative Analyse | Feature Selection: Modelloptimierung, Interpretierbarkeit
• Kriterium: Skalierbarkeit | PCA: Hoch | t-SNE: Mittel bis niedrig | Feature Selection: Hoch (Filter), niedrig (Wrapper)
• Kriterium: Interpretierbarkeit | PCA: Mittel (Hauptkomponenten) | t-SNE: Niedrig (nur visuell) | Feature Selection: Hoch (Originalmerkmale bleiben)
• Kriterium: Voraussetzung | PCA: Standardisierte Daten | t-SNE: Standardisierte Daten | Feature Selection: Domainwissen hilfreich
• Kriterium: KMU-Empfehlung | PCA: Erster Schritt bei vielen Merkmalen | t-SNE: Explorative Phase | Feature Selection: Wenn Erklärbarkeit entscheidend

Feature Engineering: Aus Rohdaten wertvolle Merkmale erzeugen

Feature Engineering ist die Kunst, aus vorhandenen Rohdaten neue, aussagekräftigere Merkmale zu konstruieren. Es ist gewissermaßen die Gegenrichtung zur Feature Selection: Statt Merkmale zu entfernen, werden informativere Merkmale hinzugefügt.

Typische Feature-Engineering-Techniken umfassen:

• Aggregation: Aus täglichen Umsatzdaten monatliche Durchschnitte, Summen oder Trends berechnen.
• Encoding: Kategorische Variablen wie „Region“ oder „Branche“ in numerische Werte umwandeln.
• Interaktionsterme: Kombinationen von Merkmalen bilden, etwa „Temperatur mal Luftfeuchtigkeit“ für Umgebungsanalysen.
• Zeitbasierte Merkmale: Aus Zeitstempeln den Wochentag, die Saison oder den Abstand zum letzten Ereignis ableiten.

Gutes Feature Engineering kann die Modellleistung stärker verbessern als der Wechsel zu einem komplexeren Algorithmus. Es erfordert jedoch Domänenwissen, also ein tiefes Verständnis der Geschäftsprozesse, das im Mittelstand oft bei den Fachabteilungen liegt und aktiv eingebunden werden muss.

Praxis-Leitfaden: Datenkomplexität in vier Schritten beherrschen

Schritt 1: Datenprofiling und Merkmalsanalyse

Ziel: Verstehen, welche Merkmale tatsächlich vorliegen und wie sie sich verhalten.

Vorgehen:

• Erstellen Sie ein vollständiges Inventar aller verfügbaren Merkmale aus Ihren Datenquellen.
• Analysieren Sie Verteilung, Wertebereich und Fehlwerte für jedes Merkmal.
• Berechnen Sie Korrelationen zwischen Merkmalen, um Redundanzen zu identifizieren.
• Bewerten Sie die Relevanz jedes Merkmals für Ihr Geschäftsziel.

Ergebnis: Eine priorisierte Liste aller Merkmale mit Qualitätsbewertung und Relevanzeinschätzung.

Zeitaufwand: 1 bis 2 Wochen für ein mittelständisches Unternehmen mit 3 bis 5 Datenquellen.

Schritt 2: Feature Engineering mit Domänenwissen

Ziel: Aus Rohdaten geschäftsrelevante Merkmale konstruieren, die Ihre KI-Modelle stärken.

Vorgehen:

• Binden Sie Fachabteilungen aktiv ein. Der Produktionsleiter weiß, welche Maschinenparameter für die Qualität entscheidend sind.
• Erzeugen Sie aggregierte Merkmale (Durchschnitte, Trends, Verhältnisse).
• Erstellen Sie zeitbasierte Features (Saisonalität, Zyklen, zeitliche Abstände).
• Dokumentieren Sie jedes neue Merkmal mit Berechnungslogik und Geschäftsbezug.

Ergebnis: Ein angereicherter Datensatz mit klar definierten, geschäftsrelevanten Merkmalen.

Praxistipp: Beginnen Sie mit maximal 5 bis 10 neuen Merkmalen. Jedes Merkmal muss eine klare Hypothese haben, warum es die Vorhersage verbessern sollte.

Schritt 3: Dimensionsreduktion anwenden

Ziel: Die Merkmalszahl systematisch reduzieren, ohne wesentliche Informationen zu verlieren.

Vorgehen:

• Wenden Sie zunächst einfache Filter-Methoden an: Entfernen Sie Merkmale mit mehr als 50 Prozent Fehlwerten, mit nahezu konstanten Werten oder mit einer Korrelation von über 0,95 zu anderen Merkmalen.
• Setzen Sie PCA ein, um die verbleibenden Merkmale zu komprimieren. Wählen Sie so viele Hauptkomponenten, dass mindestens 90 Prozent der Gesamtvarianz erklärt werden.
• Nutzen Sie t-SNE oder UMAP zur Visualisierung, um Cluster und Ausreißer zu identifizieren.
• Validieren Sie: Vergleichen Sie die Modellleistung vor und nach der Reduktion.

Ergebnis: Ein schlanker, leistungsfähiger Datensatz, der die wesentliche Information konzentriert enthält.

Schritt 4: Validierung und Iteration

Ziel: Sicherstellen, dass die Dimensionsreduktion die Modellqualität nicht verschlechtert, sondern verbessert.

Vorgehen:

• Trainieren Sie Ihr Modell mit dem reduzierten Datensatz und vergleichen Sie die Metriken.
• Prüfen Sie, ob die Trainingszeit gesunken ist und ob Overfitting reduziert wurde.
• Führen Sie eine Sensitivitätsanalyse durch: Wie reagiert das Modell auf das Hinzufügen oder Entfernen einzelner Merkmale?
• Iterieren Sie: Feature Engineering und Dimensionsreduktion sind keine einmaligen Schritte, sondern ein fortlaufender Prozess.

Ergebnis: Ein validiertes, performantes Modell mit nachvollziehbarer Merkmalsauswahl.

Branchenbeispiel: Metallverarbeitung mit 45 Mitarbeitenden

Ein mittelständischer Metallverarbeitungsbetrieb in Süddeutschland (Name geändert) erfasste über seine CNC-Maschinen und Qualitätsmessstationen insgesamt 187 Parameter pro Werkstück: Vorschubgeschwindigkeiten, Temperaturen, Vibrationen, Werkzeugverschleiß, Materialeigenschaften und Umgebungsbedingungen.

Das Ziel war die Vorhersage von Qualitätsabweichungen, bevor Ausschuss entsteht. Das erste Modell, trainiert auf allen 187 Merkmalen, lieferte eine Genauigkeit von lediglich 61 Prozent und benötigte 14 Stunden Trainingszeit.

Der strukturierte Ansatz:

• Feature Engineering: In Zusammenarbeit mit dem Produktionsleiter wurden 23 neue Merkmale konstruiert, darunter Verschleißraten (Differenz der Werkzeugparameter über die letzten 50 Werkstücke) und Temperaturtrends.
• Filter-basierte Auswahl: 94 Merkmale wurden entfernt, weil sie hochkorreliert, fast konstant oder lückenhaft waren.
• PCA: Die verbleibenden 116 Merkmale wurden durch PCA auf 28 Hauptkomponenten reduziert, die 93 Prozent der Gesamtvarianz erklärten.
• t-SNE-Visualisierung: Die Visualisierung zeigte drei deutliche Cluster: fehlerfreie Teile, Teile mit Maßabweichungen und Teile mit Oberflächenmängeln.

Die Ergebnisse nach drei Monaten:

• Vorhersagegenauigkeit: Von 61 auf 89 Prozent gestiegen.
• Trainingszeit: Von 14 Stunden auf 35 Minuten reduziert.
• Ausschussrate: Um 34 Prozent gesenkt, was einer jährlichen Ersparnis von rund 95.000 Euro entspricht.
• Reaktionszeit: Qualitätsabweichungen werden jetzt durchschnittlich 12 Minuten früher erkannt als zuvor.

Studien zur Qualitätskontrolle in der Fertigungsindustrie bestätigen: Kosten durch schlechte Qualität können bis zu 25 Prozent des Gesamtumsatzes ausmachen. Frühe Erkennung durch KI-gestützte Ansätze mit sauber vorbereiteten Daten reduziert diese Kosten nachweislich.

Häufig gestellte Fragen (FAQ)

Brauchen wir als KMU wirklich Dimensionsreduktion?

Ja, sobald Ihre Datensätze mehr als 20 bis 30 Merkmale umfassen. Das betrifft praktisch jedes Unternehmen, das Sensor-, Kunden- oder Transaktionsdaten für KI nutzen will. Dimensionsreduktion verkürzt die Trainingszeit, verbessert die Modellqualität und senkt die Infrastrukturkosten. Der Einstieg über einfache Korrelationsanalysen und Filter-Methoden erfordert kein tiefes mathematisches Wissen und kann mit Standard-Tools wie Python (scikit-learn) oder sogar Excel begonnen werden.

Was ist der Unterschied zwischen Feature Selection und Feature Engineering?

Feature Selection wählt aus bestehenden Merkmalen die relevantesten aus und verwirft den Rest. Feature Engineering erzeugt neue Merkmale aus vorhandenen Daten, etwa durch Aggregation, Kombination oder Transformation. Beide Ansätze ergänzen sich: Erst wird durch Feature Engineering die Informationsbasis verbreitert, dann wird durch Feature Selection und Dimensionsreduktion die optimale Merkmalsmenge bestimmt.

Wann sollten wir PCA verwenden und wann Feature Selection?

PCA eignet sich besonders, wenn Sie viele korrelierte Merkmale haben und eine schnelle, automatische Reduktion benötigen. Der Nachteil: Die resultierenden Hauptkomponenten sind Mischungen aus Originalmerkmalen und daher schwerer zu interpretieren. Feature Selection ist vorzuziehen, wenn die Erklärbarkeit des Modells im Vordergrund steht, beispielsweise bei regulatorischen Anforderungen oder wenn Fachabteilungen die Ergebnisse nachvollziehen müssen.

Welche Tools eignen sich für KMU ohne Data-Science-Abteilung?

Für den Einstieg eignen sich Open-Source-Werkzeuge wie Python mit scikit-learn, das sämtliche beschriebenen Verfahren abdeckt. No-Code-Plattformen wie Orange Data Mining oder KNIME bieten visuelle Workflows für Dimensionsreduktion ohne Programmierkenntnisse. Für KMU, die bereits mit Excel arbeiten, bietet die Analysefunktion „Solver“ eine rudimentäre Möglichkeit für einfache Merkmalsanalysen. Der Aufwand für eine erste Feature-Analyse liegt bei 2 bis 5 Tagen.

Wie viel Varianzerklärung ist bei PCA ausreichend?

Als Faustregel gilt: Mindestens 85 bis 95 Prozent der Gesamtvarianz sollten durch die gewählten Hauptkomponenten erklärt werden. Die exakte Schwelle hängt vom Anwendungsfall ab. Ein Scree-Plot, der den Varianzanteil jeder Komponente grafisch darstellt, hilft bei der Entscheidung. Validieren Sie die Wahl immer anhand der tatsächlichen Modellleistung und verlassen Sie sich nicht allein auf einen willkürlichen Schwellenwert.

Quellenverweise

• PMC / National Library of Medicine: Comprehensive Review of Dimensionality Reduction Algorithms: Challenges, Limitations, and Innovative Solutions (2025) – https://pmc.ncbi.nlm.nih.gov/articles/PMC12453773/
• Maximal Digital: KI-Studie 2025 – KI im Mittelstand und KMU (2025) – https://maximal.digital/studie-ki-im-mittelstand-und-kmu-2025-einblicke-und-impulse-aus-der-ki-studie-2025
• Cheng, X.: A Comprehensive Study of Feature Selection Techniques in Machine Learning Models, SSRN (2025) – https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5154947
• HGI Systems: KI Trends für KMU 2026 – https://hgisystems.com/unternehmen/news/ki-trends-fuer-kmu-2026
• MRP Easy: Qualitätskontrolle in der Fertigung – Ein Leitfaden für KMU – https://www.mrpeasy.com/blog/de/qualitatskontrolle-in-der-fertigung-eine-einfuhrung/