Warum die Anwendung von KI schwankt und was wir daraus lernen können

Unterschiedliche Ergebnisse bei der Nutzung von Künstlicher Intelligenz durch dieselben Modelle lassen sich nicht nur durch Technik oder Nutzermentalität erklären – sondern durch die Qualität der Zusammenarbeit von Mensch und Maschine. Es gibt klare Muster, die aufzeigen, wie sich der Umgang mit KI entwickelt und welche fünf Stufen der Kompetenz dabei entscheidend sind.

In der Welt der Künstlichen Intelligenz (KI) zeigt sich oft eine signifikante Variation in den Ergebnissen, selbst wenn zwei Nutzer dasselbe Modell verwenden. Der eine Nutzer erhält tiefgehende Einsichten und Klarheit, während der andere sich mit Verwirrung und frustrierenden Ergebnissen auseinandersetzen muss. In den letzten zwei Jahren habe ich verschiedene Webanwendungen mit großen Sprachmodellen (LLMs) entwickelt und herausgefunden, dass die Unterschiede nicht allein durch die Technologie oder die Denkweise der Nutzer erklärt werden können. Ein wichtiger Aspekt liegt in der Art und Weise, wie Menschen mit diesen Modellen zusammenarbeiten.

Die Grundzüge dieser Zusammenarbeit manifestieren sich in fünf klaren Stufen der KI-Kompetenz. Diese Stufen zeigen auf, wie Einzelpersonen und Organisationen mit den Tools interagieren: von experimentellem Umgang bis hin zu systematischer Integration. Eine überwältigende Mehrheit von etwa 95 % der Nutzer bleibt auf den ersten beiden Stufen, wo sie rudimentäre Fragen in ein Chatfenster eingeben und dabei sehr unterschiedliche Resultate erzielen. Im Gegensatz dazu erzielt eine weitaus kleinere Gruppe an Nutzern auf den höheren Stufen 3 bis 5 konsistente, qualitativ hochwertige Ergebnisse, weil sie KI als einen Prozess betrachten, den es zu optimieren gilt, und nicht als eine magische Box, die einfach nur abzufragen ist.

Die Variation bei der Nutzung von KI verstehen

Das Phänomen, dass bei der Nutzung der gleichen Technologie sehr unterschiedliche Resultate erzielt werden, erinnert stark an das Lean Thinking. Wenn wir zwei Betreiber haben, die dieselbe Maschine verwenden, stellt sich die Frage: Warum produziert der eine qualitativ hochwertige Teile und der andere Mängel? Ähnlich ist es bei der Verwendung von KI-Tools. Die Technologie allein garantiert nicht immer gute Ergebnisse; Fähigkeit, Standards und Feedback-Schleifen sind ebenso entscheidend.

Das Problem der Variation: Ein Lean-Denker-Puzzle

Als ich in die Welt der LLMs eintauchte, waren meine Ergebnisse anfangs unsicher. Während einige erfahrene Praktiker tiefgreifende Analysen erzeugten, stellte ich oft „Abfall“ fest. Gleiche Technologie, signifikant unterschiedliche Ergebnisse. Daher investierte ich Zeit, um die Funktionsweise dieser Modelle besser zu verstehen. Im Lean-Management werden nicht nur die Maschinen oder die Bediener zur Verantwortung gezogen, sondern auch der gesamte Prozess und die Methoden werden untersucht.

Die fünf Stufen der KI-Kompetenz

Um die Situation zu erläutern, entwickelte ich ein Rahmenwerk aus fünf Stufen der KI-Kompetenz:

• Stufe 1: Rohes Dialogfeld (≈95 % der Nutzer) – Nutzer geben einfache Fragen in ein KI-Tool ein und erhalten meist allgemeine oder halluzinierte Antworten.
• Stufe 2: Grundlegendes Prompt Engineering – Nutzer lernen, dass die Qualität der Ergebnisse stark von der Eingabe abhängt, was die Präzision und Klarheit drückt.
• Stufe 3: Erweiterte Einstellungen und Parameter – Hier interagieren Nutzer über Schnittstellen und einfache Programmierung und erzielen damit signifikant bessere Ergebnisse.
• Stufe 4: Benutzerdefinierte Anwendungen mit RAG und Tools – Nutzer entwickeln ihre eigenen KI-Tools und integrieren spezifisches Wissen, was beeindruckende Ergebnisse liefert.
• Stufe 5: Agentische Systeme und Feinabstimmung – Modelle werden von Endnutzern verfeinert, um beeindruckende Ergebnisse zu erzielen, wobei komplexe Arbeitsabläufe automatisiert werden.

Die Erkenntnis ist klar: Die Methode, wie man ein Modell nutzt, bestimmt die Ergebnisse und die Meinung über die Technologie. Der Unterschied zwischen diesen fünf Stufen der Verwendung von KI liegt nicht nur in der Technologie selbst, sondern auch in den Fähigkeiten und dem Verständnis, wie diese Technologien am besten eingesetzt werden können.

Zusammenfassung: Die wesentlichen Erkenntnisse zu KI-Nutzung

• Die Variation in den Ergebnissen hängt von der Kompetenzstufe des Nutzers und dessen Lernaufwand ab.
• Die Qualität der Interaktion zwischen Mensch und Maschine bestimmt maßgeblich den Erfolg bei der Nutzung von Künstlicher Intelligenz.
• Investition in Lernen und praxisnahes Experimentieren sind entscheidend für den Aufstieg in höhere Kompetenzstufen.

Was Operations-Profis wissen sollten

Das Verständnis für die fünf Stufen der KI-Kompetenz ist für Operations-Profis besonders relevant, da sie direkt Auswirkungen auf die Effizienz und Qualität der Arbeitsprozesssteuerung haben. Um die Nutzung von KI in ihrem Unternehmen zu optimieren:

• Man sollte die Schulungen und Fortbildungen der Mitarbeiter priorisieren, um von der Stufe 1 auf die Stufe 2 zu gelangen.
• Die Entwicklung einfacher, anwendungsorientierter Projekte sollte gefördert werden, um praktische Erfahrungen zu sammeln.
• Ein Feedback-System ist entscheidend, um aus den gesammelten Erfahrungen zu lernen und kontinuierliche Verbesserungen zu ermöglichen.

Diese Maßnahmen beeinflussen nicht nur die Zufriedenheit der Mitarbeiter, sondern auch die Qualität der Ergebnisse und den Wertschöpfungsprozess im Unternehmen. Die Erkenntnisse aus den verschiedenen Stufen der KI-Nutzung liefern wertvolle Impulse für das Tagesgeschäft in der Operations-Management-Praxis.

Robert Reseneder – Interim Manager und Mentor
Tel. +49 175 265 6522

Diese Zusammenfassung basiert auf dem Beitrag The Five Levels of AI Collaboration: What I Learned from Building Lean Coaching Tools
Quelle: The Lean Post