Projektbeschreibung

Memory Spaces ist eine Kunstinstallation, die es den Teilnehmern ermöglicht, ihre persönlichen Erinnerungen durch akustische Reize neu zu erleben. Das Projekt wurde im Rahmen des Masterstudiengangs Design & Computation entwickelt und zielt darauf ab, persönliche Erinnerungen mithilfe von Natural Language Processing und audiogenerativer KI als individuelle Klanglandschaften zu rekonstruieren.

Der Prozess beginnt mit einem Fragebogen, in dem die Teilnehmer ihre Erinnerungen detailliert beschreiben. Hierbei verwenden wir psychologische Fragemethoden, die auf den Forschungen von Singer und Moffitt (1992) basieren, um die Erinnerungen der Teilnehmer zu kristallisieren. Die eingereichten Beschreibungen werden von einem LLM analysiert. Auf dieser Grundlage erzeugt das Text-to-Audio-Modell AudioLDM 2 mithilfe latenter Diffusion individuelle Klanglandschaften (Liu et al., 2023). So kann beispielsweise die Erinnerung an das Fahrradfahren durch Geräusche von rollenden Reifen und Wind simuliert werden, während die Erinnerung an den ersten Kuss durch leise Hintergrundmusik und das Rauschen eines nahegelegenen Flusses unterstützt wird.

Die erzeugten Geräusche werden den Teilnehmern in einem speziell eingerichteten, abgeschirmten Raum präsentiert, der sie von der Außenwelt isoliert und eine immersive akustische Umgebung schafft. Unsere künstliche Bubble besteht aus mehreren miteinander verbundenen aufblasbaren Strukturen, die eine spielerische und zugleich intime Atmosphäre bieten. In dieser Umgebung können die Teilnehmenden ihre eigenen Erinnerungen erkunden und sich auch in die Erinnerungen anderer hineinbewegen.

Die erste Iteration von Memory Spaces wurde Ende Februar 2024 im Rahmen einer Ausstellung des Masterstudiengangs Design & Computation präsentiert. Die aufblasbare Bubble mit mehreren Kammern ermöglichte es Besuchern, ihre eigenen Erinnerungen zu erforschen und sich auch in die Erinnerungen anderer zu bewegen. Die Struktur, bestehend aus drei miteinander verbundenen aufblasbaren Bubbles, ermöglichte es bis zu zehn Personen, gleichzeitig in verschiedenen Zonen der Erinnerungen zu interagieren.

Unser Ziel ist es, die Grenzen zwischen Kunst und Technologie weiter zu verschieben und eine noch tiefere Verbindung zu den persönlichen Erinnerungen der Teilnehmer zu schaffen.

Impressionen

Zwei generierte Hörproben aus rekonstruierten Erinnerungen: zuerst der Waldspaziergang mit den Pfadfindern, dann der Italienurlaub am Strand.

Weitere Bilder aus dem Entwicklungsprozess und von verschiedenen Ausstellungen:

←

→

1 / 17

Fragebogen zur Rekonstruktion von Erinnerungen

Der Fragebogen ist eine für Memory Spaces angepasste Fassung in Anlehnung an die Erhebung selbstdefinierender Erinnerungen bei Singer und Moffitt (1992).

Wir möchten, dass Sie sich an ein Ereignis in Ihrem Leben erinnern. Dieses Ereignis muss wichtig sein, um zu definieren, wer Sie sind. Mit anderen Worten: Diese Erinnerung sollte sich auf ein Ereignis beziehen, das Ihnen hilft zu verstehen, wer Sie als Individuum sind. Es sollte etwas sein, das Sie mit jemandem teilen würden, wenn Sie möchten, dass diese Person Sie auf grundlegende Weise versteht. Dieses Ereignis kann eine positive oder negative Erinnerung sein. Die Erinnerung sollte ein Ereignis sein, an das Sie schon oft gedacht haben. Sie sollte Ihnen auch vertraut sein, etwa wie ein Bild, das Sie sich oft angesehen haben, oder ein Lied, das Sie auswendig gelernt haben.

1. Allgemeines Erinnern: Erinnern Sie sich an eine Zeit in Ihrem Leben, die eine starke emotionale Reaktion hervorruft, sei es Freude, Trost, Traurigkeit oder eine Herausforderung, der Sie sich stellen mussten. Das kann eine Zeit bedeutender Veränderungen sein, ein Hindernis, das Sie überwunden haben, ein Moment der Schönheit, des Friedens oder auch eine schwierige Zeit. Können Sie einen größeren Zeitraum oder ein Ereignis beschreiben, das Ihnen aufgrund seiner emotionalen Wirkung besonders auffällt?

2. Eingrenzung: Können Sie sich aus dieser Zeit an einen bestimmten Tag, einen Moment oder sogar ein einfaches Vergnügen erinnern, das diese Zeit für Sie symbolisiert? Was haben Sie gemacht, und wer war dabei, wenn überhaupt?

3. Emotionale Tiefe: Wenn Sie sich auf diese bestimmte Erinnerung konzentrieren, welche Gefühle empfinden Sie dann? Sind diese Emotionen mit dem Moment selbst verbunden oder haben sie sich im Laufe der Zeit entwickelt, als Sie darüber nachdachten?

4. Sinnesbezogene Details: Konzentrieren Sie sich auf die Geräusche, die mit dieser Erinnerung verbunden sind. Was können Sie hören, wenn Sie sich diesen Moment noch einmal in Erinnerung rufen? Wie verstärken oder reflektieren diese Klänge die Gefühle, die Sie mit dieser Erinnerung verbinden?

5. Visuelle Vorstellungskraft: An welche Bilder oder visuellen Details erinnern Sie sich bei dieser Erinnerung? Gibt es Farben, Formen oder bestimmte Objekte, die Ihnen besonders ins Auge fallen? Wie tragen diese visuellen Elemente zu Ihrer emotionalen Reaktion auf diese Erinnerung bei?

Literaturhinweise

Liu, H., Yuan, Y., Liu, X., Mei, X., Kong, Q., Tian, Q., Wang, Y., Wang, W., Wang, Y., & Plumbley, M. D. (2023). AudioLDM 2: Learning holistic audio generation with self-supervised pretraining. arXiv. https://doi.org/10.48550/arXiv.2308.05734

Singer, J. A., & Moffitt, K. H. (1992). An experimental investigation of specificity and generality in memory narratives. Imagination, Cognition and Personality, 11(3), 233–257. https://doi.org/10.2190/72A3-8UPY-GDB9-GX9K