ai@yourfingertips – KI-Anwendungen in Unternehmen: Evaluation als Erfolgsfaktor

Künstliche Intelligenz (KI) eröffnet Unternehmen neue Wege, um (Arbeits-)Prozesse zu optimieren, Kosten zu senken und Innovationspotenziale zu nutzen. Doch wann ist der Einsatz von KI sinnvoll? Welche Risiken sollten bedacht werden, und wie lässt sich der Mehrwert einer KI-Anwendung bewerten? Im letzten ai@yourfingertips Workshop des Kompetenzzentrum WIRKsam wurde näher beleuchtet, wie eine systematische Evaluation von KI-Projekten dabei unterstützen kann, rechtzeitig Antworten auf diese Fragen und Orientierung über das weitere Vorgehen zu erhalten.

Der Mehrwert von KI: Ein Beispiel aus der KI-gestützten Qualitätskontrolle

Die GKD Gebr. Kufferath AG mit Sitz in Düren entwickelt technische Gewebelösungen für die Industrie. Für die Qualitätskontrolle von Automotive-Filtern aus Metallgewebe, die besonders hohe Anforderungen erfüllen müssen, untersucht das Unternehmen in Kooperation mit den Projektpartnern den Einsatz KI-gestützter Verfahren. Obwohl aktuell bereits kamerabasierte Systeme im Einsatz sind, ist eine manuelle Nachkontrolle der Filter durch Mitarbeitende notwendig. Diese monotone Aufgabe erfordert hohe Konzentration und führt schnell zu Ermüdung. Dominik Herper von der GKD erläuterte, dass es entsprechend Zielsetzung sei, mittels KI die Genauigkeit der bildbasierten Kontrolle zu steigern, den manuellen Prüfaufwand zu reduzieren und langfristig durch die Nutzung moderner Assistenztechnologien am Arbeitsplatz die Attraktivität einer Tätigkeit bei der GKD zu erhöhen.

Der Mehrwert einer solchen KI-Lösung kann entsprechend anhand konkreter Kriterien wie der Verringerung der Reklamationsquote, der Veränderung der Ausschussmenge sowie der Akzeptanz der Technologie durch die Mitarbeitenden und eine verbesserte Arbeitsqualität bewertet werden.

Ziele definieren, Erfolg messen

Eine zentrale Erkenntnis: Nur wer weiß, welche Verbesserungen konkret angestrebt werden, kann messbare Kriterien festlegen, um den Mehrwert zu bewerten. Dabei geht es nicht nur um offensichtliche Vorteile wie Zeit- und Kostenersparnis. Auch mögliche (Opportunitäts-)Kosten, wie eine Erhöhung der Störanfälligkeit von Prozessen oder ein hoher Mehraufwand, müssen berücksichtigt werden.

„KI darf nicht zum Frust werden“, erinnerte Dominik Herper und räumte ein, den Aufwand für eine funktionale KI-Lösung anfangs selbst unterschätzt zu haben. Besonders die Verfügbarkeit qualitativ hochwertiger Daten in ausreichender Menge sei ein entscheidender Faktor. Die damit verbundenen Herausforderungen werden für Betriebe häufig erst in der Zusammenarbeit mit KI-ExpertInnen deutlich.

Fundament prüfen und Flexibilität ermöglichen

Evaluationen vor und während der Entwicklung von KI-Anwendungen helfen, Voraussetzungen zu prüfen, Risiken frühzeitig zu erkennen und den Entwicklungsprozess flexibel zu gestalten.

1. Ex-ante-Evaluation: Fundament prüfen

Vor Projektbeginn sollten wichtige Rahmenbedingungen – die „AI Readiness“ – geprüft und etwaige Risiken identifiziert werden:

• Wie offen ist die Organisation für neue Technologien? Sind Management und Mitarbeitende bereit für Veränderungen?
• Technische Infrastruktur: Sind IT-Systeme und relevante Daten in ausreichender Menge und Qualität vorhanden?
• Personelle Ressourcen: Verfügt das Unternehmen über Fachleute mit Domänenwissen und den notwendigen zeitlichen Ressourcen? Bringen die Entwickler das nötige Know-how über betriebliche Prozesse und geeignete KI-Werkzeuge mit?

Klare Zielsetzungen unter Berücksichtigung einschlägiger ethischer Leitlinien und Qualitätskriterien sollten von Anfang an formuliert und Messgrößen für deren Erfolgskontrolle definiert werden.

2. Begleitende Evaluation: Flexibel bleiben

KI-Entwicklungsprojekte sind iterativ und erfordern eine agile Herangehensweise. Regelmäßiges Monitoring stellt sicher, dass die definierten Ziele weiterhin relevant und erreichbar sind. Meilensteine und Abbruchkriterien sind dabei ebenso wichtig wie eine transparente Kommunikation zwischen Auftraggebern und -nehmern. Auch zwischenzeitlich auftretende Risiken für die Akzeptanz und spätere Nutzung neuer Technologien wie KI im Unternehmen können durch begleitende Evaluationsaktivitäten frühzeitig erkannt und Handlungsempfehlungen abgleitet werden, um mit dem KI-Projekt auf Erfolgskurs zu bleiben.

Fazit: Evaluation als Schlüssel zum Erfolg

Die Evaluierung von KI-Anwendungen sollte den gesamten Entwicklungsprozess begleiten, um deren Erfolg und Mehrwert für den betrieblichen Einsatz sicherzustellen. Von der ersten Analyse der Machbarkeit und der Rahmenbedingungen über die Festlegung messbarer Ziele bis hin zum kontinuierlichen Monitoring während der Umsetzung können Evaluationen helfen, den Einsatz von KI auf die spezifischen Bedürfnisse des Unternehmens abzustimmen, Risiken frühzeitig zu erkennen und so kostspielige Fehlentwicklungen zu vermeiden. Die Einbindung aller Stakeholder – von der Geschäftsleitung bis zu den Mitarbeitenden – über den gesamten Evaluationsprozess hinweg ist dabei entscheidend, um den Nutzen von Evaluationsinstrumenten sicherzustellen.