Koproduktion bei AutoML- Anwendungen Eine verhaltensökonomische Studie

Im industriellen Kontext gibt es zahlreiche Fälle für die Anwendung von Modellen des Maschinellen Lernens (ML). Die Erstellung eines ML-Modells ist jedoch sehr ressourcenintensiv, und die verwendeten Daten sind oft sehr spezifisch. AutoML ist ein vielversprechender Bereich des Maschinellen Lernens, in dem auch Nicht-Expert *innen in der Lage sind, mit geringem Aufwand anwendungsspezifische ML-Modelle zu erstellen. In einem Projekt von René Fahr, Anastasia Lebedeva und Marius Protte konzentrieren wir uns auf die Koproduktion bei AutoML-Anwendungen. Es gibt kognitive Verzerrungen, die dazu führen, dass sich Anwender*innen gegen AutoML-Vorhersagen entscheiden. Algorithmus-Aversion liegt beispielsweise vor, wenn Menschen auf ihr eigenes Fachwissen in ihrem Bereich vertrauen, auch wenn dies nicht rational ist (Burton et al. 2020, Jussupow et al. 2020). Ein Beispiel: Eine Ingenieurin, die für die Wartung einer Produktionslinie verantwortlich ist und mehrere Jahre an der Maschine gearbeitet hat, bestimmt den Zeitpunkt der Wartung auf der Grundlage ihrer eigenen Erfahrung, unabhängig davon, was eine kürzlich installierte Künstliche Intelligenz (KI) für die Wartung vorhersagt (Dietvorst et al. 2018).

Norton et al. (2012) führen den IKEA-Effekt ein, d. h. den Anstieg der Wertschätzung für selbst hergestellte Produkte. Darüber hinaus hat die Koproduktion (d. h. die Beteiligung am Produktionsprozess) sowohl in klassischen Produktionskonzepten als auch bei der Erbringung von Dienstleistungen solche wertsteigernden Wirkungen gezeigt. Daher ist es nicht verwunderlich, dass das Misstrauen gegenüber KI durch Maßnahmen wie die manuelle Anpassung eines vorhergesagten Ergebnisses verringert wird. Jussupow et al. (2020) stellen fest, dass sich die menschliche Einbindung positiv auf die wahrgenommenen Fähigkeiten von KI auswirkt, was wiederum die Algorithmus-Aversion verringert. Es gibt jedoch nur wenig verhaltensökonomische Forschung zu diesem Thema. Daher entwickeln wir ein ökonomisches Experiment mit der Fragestellung: Welchen Einfluss hat Koproduktion auf die Algorithmus-Aversion bei AutoML-Anwendungen?

Mit unserem experimentellen Design schaffen wir eine Umgebung,in der die Proband*innen als Ingenieur*innen agieren und mit einer KI konfrontiert werden, die ihnen hilft, Ausfälle ihrer Maschine vorherzusagen. Wir setzen zwei Gruppen ein (d. h. die Basisgruppe und die Koproduktionsgruppe) und vergleichen zwischen diesen Gruppen, ob die Koproduktion tatsächlich das Vertrauen der Proband*innen fördert, was zu Entscheidungen führt, die mehr mit den KI-Vorhersagen übereinstimmen. Das Experiment verläuft in vier Phasen. In Phase 1 machen sich die Proband*innen mit dem Aufbau vertraut. In Phase 2 bauen sie Fachwissen auf, indem sie ihre subjektive Bewertung der Akzeptanzintervalle von Parametern entwickeln, die zu Ausfällen der Maschine führen könnten. Phase 3 umfasst das Training der KI und unterscheidet sich zwischen der Basisgruppe und der Koproduktionsgruppe. In der Basisgruppe wird das Training automatisch durchgeführt und die Teilnehmer*innen werden nur über die Genauigkeit des Trainings informiert. In der Koproduktionsgruppe evaluieren die Teilnehmer*innen aktiv die Trainingsdaten und beteiligen sich so an der Entwicklung der KI und ihrer Genauigkeit. In Phase 4 überwachen die Proband*innen die Produktion und entscheiden, ob sie die Maschine in jeder der 30 Perioden warten wollen oder nicht. In dieser Phase werden die Teilnehmer*innen von der KI beraten, die die Wahrscheinlichkeit des Ausfalls der Maschine vorhersagt.

Mithilfe der Methoden der experimentellen Ökonomie leiten wir die kausale Beziehung zwischen Koproduktion und ihrer Wirkung auf das Vertrauen in AutoML-Anwendungen ab. Unser Ansatz profitiert von einer hohen internen Validität, da die Entscheidungsfindung durch Anreize gefördert wird und somit echte Präferenzen bezüglich der KI und der Konformität der Proband*innen mit der KI hervorruft.