Projektbeschreibung

Algorithmic Muse ist ein KI-gesteuertes Zeichensystem, das lernt, durch eine Abfolge einzelner Pinselbewegungen abstrakte Darstellungen der menschlichen Figur zu erstellen. Anstatt in einem einzigen Rechenvorgang ein vollständiges Bild zu erzeugen, baut das System jede Zeichnung schrittweise auf, indem es entscheidet, wohin sich der Pinsel bewegen soll, wie lang jede Bewegung sein soll und ob der Pinsel die Leinwand berühren oder verlassen soll.

Im Gegensatz zu herkömmlichen generativen Bildsystemen, die auf Diffusion und der iterativen Rauschunterdrückung von Pixeln basieren, betrachtet Algorithmic Muse das Zeichnen als einen kontinuierlichen Prozess verkörperter Entscheidungsfindung. Der künstliche Agent erzeugt nicht direkt ein fertiges Rasterbild. Stattdessen entwickelt er eine Zeichenstrategie, die in physikalische Koordinaten übersetzt und von einem Roboterarm ausgeführt werden kann.

Während einer physischen Zeichensitzung kann das System auf ein vorhandenes oder live eingegebenes Bild reagieren, eine neue Strichfolge berechnen und diese virtuellen Bewegungen in die Bewegungen des robotergestützten Zeichenmechanismus umsetzen. Dadurch kann der Roboterarm autonom arbeiten, es entsteht aber auch die Möglichkeit eines abwechselnden Zeichenprozesses, bei dem ein Mensch und die KI auf demselben Blatt Papier aufeinander reagieren.

Eine ausführlichere Beschreibung des Systems, seines Trainingsprozesses und der dazugehörigen Auswertung findet sich hier: published research paper.

Trainingsprozess

Der Zeichenagent wurde mittels verstärkenden Lernens unter Verwendung der von Stable-Baselines3 bereitgestellten Implementierung der Proximal Policy Optimization (PPO) trainiert. Zu diesem Zweck wurde mit dem Gymnasium framework eine maßgeschneiderte Zeichenumgebung entwickelt, die es dem Agenten ermöglichte, über dieselben grundlegenden Aktionen mit einer virtuellen Leinwand zu interagieren, die später in Bewegungen des physischen Roboterarms umgesetzt wurden.

In dieser Umgebung erstellt der Agent wiederholt Zeichnungen, erhält Feedback zum visuellen Ergebnis und passt sein Verhalten schrittweise an. Anstatt eine einzige korrekte Strichfolge vorgelegt zu bekommen, muss er durch Experimentieren herausfinden, welche Bewegungskombinationen mit größerer Wahrscheinlichkeit zu erkennbaren und ästhetisch stimmigen Darstellungen menschlicher Figuren führen.

Zeichenmechanik

Bei jedem Schritt des Zeichenprozesses wählt der Agent die Richtung und die Entfernung seiner nächsten Bewegung. Er entscheidet außerdem, ob der virtuelle Pinsel auf der Leinwand verbleiben und eine sichtbare Linie erzeugen soll oder ob er angehoben und neu positioniert werden soll, ohne eine Spur zu hinterlassen.

Diese einfachen Aktionen bilden das Grundvokabular des Zeichensystems. Durch längere Entscheidungssequenzen kann der Agent durchgehende Konturen, unzusammenhängende Formen, sich überlappende Linien und komplexere Kompositionen erzeugen. Das resultierende Bild wird daher nicht als festes Pixelarrangement generiert, sondern entsteht aus der zeitlichen Bewegung eines virtuellen Zeichenwerkzeugs.

Da die Mechanismen des virtuellen Zeichnens den physikalischen Fähigkeiten des Roboterarms entsprechen, können die erlernten Aktionen später in Koordinaten und Motorikbewegungen umgewandelt werden. Dasselbe zugrunde liegende System kann somit die simulierte Trainingsumgebung mit dem tatsächlichen Zeichenprozess verbinden.

Belohnungsfunktion

Nach jeder Aktion wird der aktuelle Zustand der Zeichnung bewertet. Der Agent erhält positives oder negatives Feedback, je nachdem, ob seine letzte Bewegung die visuellen Eigenschaften verbessert, auf deren Erkennung das System trainiert wurde.

Die Belohnung richtet sich nach den Veränderungen in der Bewertung des aktuellen Bildes. Wenn ein neuer Strich die Zeichnung einer sinnvollen Darstellung einer menschlichen Figur näherbringt, erhält der Agent eine positive Belohnung. Verringert die Bewegung diese Ähnlichkeit oder führt sie zu einem unerwünschten Ergebnis, fällt die Belohnung geringer aus oder ist negativ.

Ein zusätzlicher Abdeckungsmechanismus regt den Agenten dazu an, verschiedene Bereiche der Zeichenfläche zu erkunden. Ohne diese Komponente könnte der Agent lernen, wiederholt innerhalb eines sehr kleinen Bereichs zu zeichnen. Durch die Belohnung räumlicher Erkundung wird das System dazu angeregt, Kompositionen zu entwickeln, die einen größeren Teil der verfügbaren Zeichenfläche nutzen.

Von GANs inspirierte Architektur

Der gesamte Trainingsaufbau folgt einem Prinzip, das mit einem Generative Adversarial Network vergleichbar ist. Eine Komponente erzeugt Bilder durch aufeinanderfolgende Zeichenvorgänge, während eine andere Komponente die visuellen Ergebnisse bewertet und ein Signal liefert, das den Lernprozess steuert.

Die Architektur entspricht jedoch nicht einem herkömmlichen GAN, bei dem Generator und Diskriminator direkt gegeneinander trainiert werden. Stattdessen bewertet ein separat trainierter YOLOv8 image classifier verschiedene Bildkategorien, darunter fertige Zeichnungen von menschlichen Figuren, Teilfragmente von Zeichnungen, zufällige Aktionen sowie fehlgeschlagene Ergebnisse, die in früheren Trainingsphasen entstanden sind.

Die Bewertung der Zeichnung durch den Klassifikator wird in eine Belohnung für den Agenten des verstärkenden Lernens umgewandelt. Wenn der Klassifikator zunehmend davon überzeugt ist, dass das sich entwickelnde Bild einer sinnvollen Zeichnung ähnelt, erhält der Agent positives Feedback. Auf diese Weise wird die visuelle Klassifizierung Teil der Lernumgebung und hilft dem Agenten, erfolgreiches Zeichnungsverhalten zu entdecken.

Verstärkendes Lernen

Die Proximal Policy Optimization ermöglicht es dem Agenten, seine Zeichenstrategie durch wiederholte Interaktion mit der benutzerdefinierten Umgebung zu verbessern. Während des Trainings führt der Agent eine Abfolge von Aktionen aus, beobachtet das resultierende Bild, erhält eine Belohnung und aktualisiert seine interne Strategie auf der Grundlage des Ergebnisses.

Im Laufe von Hunderttausenden von Trainingsschritten lernt der Agent nach und nach, welche Bewegungen und Strichfolgen mit größerer Wahrscheinlichkeit zu erfolgreichen Zeichnungen führen. Der Prozess erfordert keinen vordefinierten Pfad für jedes Bild. Stattdessen entwickelt der Agent eine allgemeine Strategie für die Navigation auf der Zeichenfläche und die Reaktion auf verschiedene visuelle Zustände.

Das bedeutet auch, dass die resultierenden Bewegungen nicht einfach aus einem festen Datensatz kopiert werden. Jede Zeichnung wird als neue Abfolge von Entscheidungen generiert, wodurch Variationen und unerwartete Formen aus der Interaktion zwischen der gelernten Strategie, dem Eingabebild und den physikalischen Einschränkungen des Zeichnungsmechanismus entstehen können.

Gemälde

Im Rahmen der Studie verglichen und bewerteten 203 Teilnehmer Bilder, die von Algorithmic Muse erstellt wurden, mit Zeichnungen menschlicher Künstler. Die Umfrage untersuchte, wie die Teilnehmer die visuellen und ästhetischen Qualitäten der generierten Zeichnungen wahrnahmen.

In einem optionalen abschließenden Abschnitt wählten 169 Teilnehmer die Zeichnung von Algorithmic Muse aus, die ihnen am besten gefiel. Außerdem konnten sie eine Farbe auswählen, in der das ausgewählte Bild vom Roboterarm physisch reproduziert werden sollte.

Die so entstehenden Gemälde setzen die digital erlernten Bewegungen in physische Spuren auf Papier um. Obwohl von verschiedenen Teilnehmern dieselbe zugrunde liegende Zeichnung ausgewählt wurde, verleihen die physische Ausführung, die gewählte Farbe und das Materialverhalten des Roboterarms jedem Gemälde einen individuellen Charakter.

Blättern Sie in der Galerie unten durch die entstandenen Gemälde:

←

→

1 / 33

Beiträge

Besonderer Dank gilt Prof. Dr. Dr. Daniel D. Hromada und Dipl.-Ing. Christian Schmidts für ihre Anleitung, ihr technisches Fachwissen, ihre Unterstützung und ihre wertvollen Erkenntnisse während der gesamten Projektentwicklung.

Code und Software

• Algorithmic Muse — source code and custom drawing environment
• Stable-Baselines3 — Proximal Policy Optimization
• Gymnasium — environment API
• Ultralytics YOLO — image classification

Literaturhinweise

Mac-Nelly, A. (2024). Algorithmic muse: Robotic-arm learns to draw humans. In D. D. Hromada & P.-L. Suckrow (Eds.), Wicked Solutions (Vol. 1, pp. 99–113). Primer Books. Read the full chapter · Full book on ResearchGate

Goodfellow, I. J., et al. (2014). Generative Adversarial Networks. https://arxiv.org/abs/1406.2661

Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. https://arxiv.org/abs/1707.06347

Verknüpfungen

• Ausgestellt bei Internationaler Museumstag
• Ausgestellt bei Lange Nacht der Wissenschaften
• Inhaltlich verbunden mit Algorithmic Muse