Zum Inhalt springen

Projekt

Algorithmic Cultural Vandalism

Ein Roboter entwickelt zeichnerisch neue kulturelle Symbole mit Menschen

Alessandro Mac-Nelly, Pietro Lugaro

Jahr2024
weitere InformationenArs Electronica Campus Award 2024 — Grand Prize · Award Ceremony

Projektbeschreibung

ACV (Algorithmic Cultural Vandalism) ist eine sich weiterentwickelnde Installation, die untersucht, wie kulturelle Symbole transformiert werden, wenn sie durch algorithmische Systeme gefiltert werden. Ein menschlicher Besucher und ein Roboterarm, gesteuert von einer KI, die anhand eines vielfältigen Archivs aus Glyphen, Talismanen, Schriften und Zeichen trainiert wurde, skizzieren abwechselnd Pseudosymbole. Dieser kollaborative Zeichenprozess verdeutlicht die Spannung zwischen bedeutungsvollem Zeichen und abstrakter Kritzelei und begrüßt die spielerischen Missverständnisse, die entstehen, wenn menschliche Intuition auf maschinelle Morphologie trifft.

Anstatt zu entschlüsseln oder zu interpretieren, reduziert ACV jeden Strich auf Pixel und binäre Daten. Der KI-"Actor" schlägt Formen vor, und ein "Critic" (ein Bilderkennungsprogramm) bewertet diese mittels verstärkenden Lernens. Während die Teilnehmer versuchen, ihren Markierungen wieder Bedeutung zu verleihen, entdeckt die Maschine Strategien – wobei sie den Critic manchmal austrickst –, um ihre Punktzahl zu maximieren. Diese Dynamik zeigt, wie algorithmische Bewertungen selbst unsere vertrautesten kulturellen Formen verzerren und neu definieren können.

Ausgehend von Federico Campagnas Konzept der „Technik“ in Technic and Magic: The Reconstruction of Reality (2018), in dem die Realität in messbare Einheiten zerlegt wird, um endlos neu kombiniert zu werden, kritisiert ACV extraktive Systeme, die Symbole als Datenware katalogisieren. Die Installation selbst wird zu einem lebendigen Diagramm dieser Kosmogonie und hinterfragt bei jedem Schritt, wann ein Zeichen aufhört, eine Kritzelei zu sein, und anfängt, wie ein Symbol zu wirken.

ACV wurde für ein breites Publikum konzipiert und bereits in Workshops mit Kindern und Erwachsenen getestet. Diese Sitzungen regen Gespräche über Semiotik, Kreativität und die feine Grenze zwischen Abstraktion und Darstellung an. Jede Interaktion wird archiviert und liefert Anhaltspunkte für die Forschung, ob sich aus dem, was wir oft als bloße Kritzeleien abtun, konsistente morphologische oder gestalttheoretische Muster ergeben.

Mit Blick auf die Zukunft erweitern wir das Archiv der KI um weitere globale Symbole, verfeinern den Algorithmus für verstärkendes Lernen und entwickeln neue Workshops, die spielerisches Experimentieren mit semiotischer Erforschung verbinden. Außerdem bereiten wir neben wissenschaftlichen Artikeln eine visuelle Publikation vor und planen, ACV zu einer fortlaufenden Installation weiterzuentwickeln, die wächst, lernt und die Debatte über die kulturelle Datafizierung am Leben erhält.

Datensatz mit Strichen

Der Datensatz besteht aus 349 Einzelbildern, die die Zeichenschritte innerhalb von 65 gemeinsam erstellten Zeichnungen dokumentieren. Vor und nach jedem Roboterzug erfasst die integrierte Kamera den aktuellen Zustand der Zeichnung. Die Bilder werden anschließend binarisiert und farblich gekennzeichnet, sodass jeder neu hinzugefügte Strich als einzelnes Zeichenereignis betrachtet werden kann: Rot kennzeichnet die menschlichen Striche, Blau die robotergesteuerten Striche. Schwarze Striche bilden den bestehenden Kontext, in dem die Beiträge beider Akteure zu einer gemeinsamen Zeichnung verschmelzen.

Die folgenden Blätter geben den vollständigen Datensatz wieder, wie er im Anhang meiner Universitätsarbeit Mensch und KI Roboter im zeichnerischen Zusammenspiel: wiederkehrende Zeichen-Phänomene dargestellt ist, die ich für den Kurs „Strukturen und Systeme“ bei Prof. Susanne Hauser at UdK Berlin / TU Berlin verfasst habe. Abbildungsnummern, Quellseiten und die ursprünglichen Strichbereiche sind in den Bildunterschriften der Galerie angegeben.

Zeichnungsschritte 1–96 · Anhang, Abbildung 6, Seite 17
Zeichnungsschritte 1–96 · Anhang, Abbildung 6, Seite 17
Zeichnungsschritte 97–192 · Anhang, Abbildung 7, Seite 18
Zeichnungsschritte 97–192 · Anhang, Abbildung 7, Seite 18
Zeichnungsschritte 193–284 · Anhang, Abbildung 8, Seite 19
Zeichnungsschritte 193–284 · Anhang, Abbildung 8, Seite 19
Zeichnungsschritte 285–349 · Anhang, Abbildung 9, Seite 20
Zeichnungsschritte 285–349 · Anhang, Abbildung 9, Seite 20

1 / 4

Beobachtungen aus der Studie

Die Studie untersucht wiederkehrende Phänomene in der Zeicheninteraktion zwischen Menschen und einem KI-gesteuerten Roboter. Die Kommunikation erfolgt ausschließlich durch abwechselnde Striche auf Papier. Die morphologischen Eigenschaften jedes Zeichenschritts werden in einem mehrdimensionalen Vektor erfasst, während die semantische Ebene durch eine offene, beobachtungsbasierte Klassifizierung untersucht wird. Ein zentraler Aspekt ist die menschliche Interpretation maschinengenerierter Zeichenaktionen: Das ACV-Modell verfügt über kein semantisches Verständnis, dennoch werden seine Eingriffe von den Teilnehmern integriert, interpretiert oder ignoriert.

Im Vergleich zu den Strichen des Roboters decken menschliche Striche eine geringere Fläche ab, erstrecken sich über einen größeren räumlichen Bereich und sind weniger komplex. Keiner der beiden Akteure zeigt eine allgemeine Präferenz für horizontale, vertikale oder diagonale Ausrichtung. In 97 Prozent der Fälle initiieren Menschen den Zeichenprozess. Wiederkehrende Sequenzen deuten auf anfängliche, kontextabhängige Regeln hin: Auf einen vertikalen Roboterstrich folgt tendenziell ein vertikaler menschlicher Strich; auf einen geraden Roboterstrich folgt eine komplexere menschliche Reaktion, während auf einen hochkomplexen Roboterstrich eine einfachere, weniger umfangreiche Reaktion mit kleinerer mit Tinte bedeckter Fläche folgt. Roboter-Eingriffe auf der linken Seite oder im oberen Bereich des Blattes werden tendenziell auf der rechten Seite oder darunter beantwortet. Dieses Muster entspricht der westlichen Leserichtung und wirft die Frage auf, ob unterschiedliche kulturelle Konventionen zu unterschiedlichen Reaktionen führen würden.

Die semantische Analyse zeigt, dass 27,4 Prozent der menschlichen Zeichenschritte als bildhaft klassifiziert werden, verglichen mit nur 2,6 Prozent der Roboterschritte. Bildhafte Motive treten vorwiegend in den frühen Phasen einer Zeichnung auf, während kompositorische Ergänzungen und Kritzeleien eher später erscheinen. Sobald eine erste Bedeutungsgrundlage geschaffen wurde, scheint der Zeichenprozess diesen Kontext fortzuführen, anstatt neue Motive zu generieren. Bedeutung entsteht aus der Beziehung zwischen den gezeichneten Markierungen und ihrer Interpretation, selbst wenn seitens des Roboters keine semantische Absicht vorliegt.

Ein immer wiederkehrendes Beispiel ist das Tic-Tac-Toe-Szenario: Ein Teilnehmer zeichnet ein Spielfeld und macht den ersten Zug, wobei er erwartet, dass der Roboter den nächsten Zug ausführt. Wenn dessen Eingriff nicht den bekannten Regeln folgt, kann dies als Störung empfunden werden, was den Teilnehmer dazu veranlasst, das Spiel abzubrechen und die Intelligenz des Roboters in Frage zu stellen. In anderen Situationen werden unkonventionelle Roboterzüge als kreativ wahrgenommen und konstruktiv in den Zeichenprozess integriert. Diese Übergänge zwischen dem Ignorieren, Integrieren und Neuinterpretieren der Eingriffe des Roboters sind zentral für die Interaktion.

Beide Analysen zeigen methodische Herausforderungen auf. Morphologische Eigenschaften liegen auf einem kontinuierlichen Spektrum, und einzelne Zeichenaktionen können mehreren semantischen Kategorien zugeordnet werden. Klare Grenzen lassen sich daher nur schwer ziehen. Die beobachteten Sequenzen deuten auf eine mögliche visuelle Grammatik im Sinne von Lorraine Dastons kontextabhängigem “thick rules” in Rules: A Short History of What We Live By (2022) hin: Muster, die sich aus Situationen ergeben und offen für Interpretationen bleiben. Ob sich eine einheitliche Grammatik der Interaktion zwischen Mensch und KI beim Zeichnen ableiten lässt, bleibt eine offene Frage, die weitere Untersuchungen und kulturübergreifende Vergleiche erfordert.

Analysedaten und Tabellen

Die Abbildungen zu morphologischen Eigenschaften, Clusterbildung und semantischer Klassifizierung sind im Folgenden wiedergegeben, gefolgt von allen drei nummerierten Tabellen aus dem Anhang.

Abbildung 3: Kontinuierliche Übergänge zwischen morphologischen Eigenschaften · Seite 10
Abbildung 3: Kontinuierliche Übergänge zwischen morphologischen Eigenschaften · Seite 10
Abbildung 4: Morphologische Cluster in einer zweidimensionalen UMAP-Projektion · Seite 11
Abbildung 4: Morphologische Cluster in einer zweidimensionalen UMAP-Projektion · Seite 11
Abbildung 5: Verteilung der Zeichenschritte nach semantischen Kategorien · Seite 12
Abbildung 5: Verteilung der Zeichenschritte nach semantischen Kategorien · Seite 12
Tabelle 1: Morphologische Vektoren · Anhang, Seite 15
Tabelle 1: Morphologische Vektoren · Anhang, Seite 15
Tabelle 2: Roboterbewegungen und darauf folgende menschliche Reaktionen · Anhang, Seite 15
Tabelle 2: Roboterbewegungen und darauf folgende menschliche Reaktionen · Anhang, Seite 15
Tabelle 3: Semantische Kategorien und ihre Zuordnung · Anhang, Seite 16
Tabelle 3: Semantische Kategorien und ihre Zuordnung · Anhang, Seite 16

1 / 6

Quellenangaben und Links

Ausgestellt bei

Eindrücke

1 / 7

Verknüpfungen