AR als Relationale Intervention Dynamiken ästhetischer Aushandlung zwischen Medientechnologie, Nutzenden und Umwelten

Von Jens Fehrenbacher

Abstract

Augmented-Reality Anwendungen stiften Beziehungen: Sie bauen darauf auf, dass sowohl die physische Umgebung als auch die Bewegung der Nutzenden analysiert und in Relation zueinander gesetzt werden. Damit eine optische Augmentierung den Eindruck erweckt, fest in einer physischen Umgebung verankert zu sein, ist eine komplexe algorithmische Verarbeitung des Kamerabildes und der internen Sensorik vonnöten. Während diese vielschichtige Beziehungsarbeit häufig ausgeblendet wird, lässt sich anhand von künstlerischen Experimenten zeigen, inwiefern der Nutzung von AR stets auch ein Moment des Sich-in-Beziehung-Setzen innewohnt. AR kann in damit in (öffentliche) Räume intervenieren und zum Anstoß für Aushandlungsprozesse in physischen, sozialen und technischen Umgebungen werden.

Augmented reality applications create relationships: They are based on the fact that both the physical environment and the user’s movements are analyzed and placed in relation to each other. Complex algorithmic processing of the camera image and sensors is required so that an optical augmentation gives the impression of being firmly anchored in a physical environment. While this multi-layered relational work is often concealed, certain artistic experiments show the extent to which AR inevitably involves a moment of establishing relationships. AR can thus intervene in (public) spaces and become an impulse for negotiation processes within physical, social and technical environments.

1. Augmentierte Versammlungen

Menschenmengen blockieren Verkehrswege, bilden Ansammlungen an den absurdesten Orten, begehen Landfriedensbruch, irritieren die öffentliche Ordnung, den Blick auf ein Display gerichtet. Das interventionale Potenzial der Medientechnologie der Augmented-Reality (AR) wird bereits beim ersten großen Hype um diese Medientechnologie, der massenhaften Nutzung des Spiels Pokémon Go (2016), offensichtlich.[2] Obwohl Grafik und Spielmechanik sehr simpel sind, sorgt die Kopplung von GPS-Daten, der Überlagerung von Kamera und Spielwelt und der Rückgriff auf das populäre Pokémon-Franchise für massenhafte Umnutzung von Räumen. Um in der Logik des Spiels voranzukommen, indem die Pokémon-Monster gefunden und gefangen werden, muss schließlich die eigene Wohnung verlassen werden. Zu Fuß oder mit dem Verkehrsmittel der Wahl sind der Folge die Orte zu erreichen, an denen die Monster oder andere Spielelemente warten. Diese grafischen Elemente, insbesondere die Monster, überlagern im AR-Modus das durch das Smartphone-interne Kameramodul erfasste Bild und scheinen in der physischen Umgebung zu schweben.

Ohne tiefer in das Gamedesign einzutauchen, lassen sich bereits in dieser grundlegenden Konstellation die relationalen und potenziell interventionalen Momente der Anwendung nachzeichnen: Das direkte Publikum, also die Spieler*innen selbst werden auf zwei Wegen dazu gebracht, sich auf ihre physische Umgebung zu beziehen. Erstens werden sie in der Karten-Ansicht zum Aufsuchen bestimmter, markanter Orte motiviert, die oft mit einem Foto versehen sind. Das kann ein Denkmal, ein öffentlicher Platz, ein Bahnhof oder auch bemalter Stromkasten sein. Zweitens werden an diesen Orten gesuchten Monster im AR-Modus grafisch in die abgefilmte Umgebung eingebettet. Dabei wird der Ort zum Teil thematisch aufgegriffen, sodass etwa an einem Brunnen tendenziell Wasser-Monster zu finden sind, im Park Pflanzen-Monster etc. Diese gamifizierte Raumnutzung, die bei individuellem Spiel weitestgehend unauffällig vonstattengeht, erreicht nun aber gerade bei kollektiver Nutzung ein indirektes Publikum: Der oft schweigende Aufenthalt an solchen mehr oder weniger markanten Orten wie auch das Ablaufen lohnenswerter Routen sorgt je nach Ort und Umfang der Nutzer*innengruppe für Überraschung, Irritation oder auch Störung bei Passant*innen und anderen Verkehrsteilnehmenden.

Abbildung 1: Girardet-Brücke in Düsseldorf, die durch die Ansammlung von Pokémon Go-Spielenden zeitweise für den Straßenverkehr gesperrt wurde. Foto: ‚-wuppertaler‘, CC-Lizenz

Ausgehend von dieser populären Erscheinungsform von AR wird dieser Beitrag Wechselwirkungen zwischen Medientechnologie, Nutzenden und Umwelten betrachten, in denen Momente der Unterbrechung wie auch der Neuaushandlung von (Raum-)Nutzungsweisen auftreten. Dafür wird im Anschluss an diese vorbereitenden, z.T. methodischen Überlegungen anhand von Pokémon Go aus medienwissenschaftlicher Perspektive dargelegt, inwiefern AR als Technologie diese Formen der interventionalen Relationalität nahelegt. Anschließend werden künstlerische Arbeiten beschrieben, die mit diesem Potenzial eingehender experimentieren und dabei eine Übersicht der Parameter der Interaktion und der Offenheit dieses Mediums erlauben. Zuletzt wird anhand eines augmentierten Erinnerungsortes das Verhältnis von Unterbrechung und nachhaltigen Wirkungen befragt: Lassen sich durch AR-Anwendungen Neuaushandlungen von Räumen anstoßen?

Dieser Ansatz knüpft an dem Vorschlag von Nanna Verhoeff und Pauline Dresscher an, mit dem Begriff der „Crossing Realities“ (Verhoeff/Dresscher 2020: 483) über konventionalisierte, aber konzeptuell problematische Beschreibungsweisen, wie AR oder Virtual Reality (VR), hinausgehend auf die performative Überschneidung von Perspektiven und Involviertheiten, durch unterschiedliche Medientechnologien hinzuweisen:

Working through and beyond understanding these confrontations as the crossing—or intersecting—of separable and fixed domains of “physical” or “virtual” realities, we approach their interrelation in XR from a perspective on their performative qualities as relational reinforcement or /italic/interference/italic/. (Ebd. 483, Herv. i. Orig.)

Die daraus resultierende Frage, „What is the impact of AR on our public and private spaces?“ (ebd. 485) lässt sich ebenso als Hauptaugenmerk des vorliegenden Beitrags verstehen, der jedoch eine methodisch-perspektivische Verschiebung anbietet. Denn in Verhoeffs und Dresschers Beschreibung künstlerischer Projekte, die durch AR– und VR-Technologie jene Interventionalität und Verschränkung forcieren, verbleibt die Analyse auf der Ebene der Inszenierung und nicht des dadurch ausgelösten Geschehens. Darin steckt die Problematik, dass die Agency der Rezipierenden bzw. Nutzenden,[3] wie auch der situativen Umwelten außer Acht gelassen und der ‚impact‘ letztlich der künstlerischen Geste zugeschrieben wird. Der aus guten Gründen hervorgehobene Blick auf die Verschränkung der subjektiven Realitäten läuft so Gefahr, die jeweiligen, spezifischen Perspektiven und einwirkenden Faktoren als irrelevant oder austauschbar zu markieren. Dem durch die Autorinnen ebenfalls formulierte Anspruch auf den Einbezug der jeweiligen Situiertheit des performativen Geschehens (ebd. 484) lässt sich meines Erachtens nur gerecht werden, wenn die konkreten, eigenwilligen Situationen eingehend betrachtet werden, die durchaus die Inszenierung übersteigen. Was folgt also aus einer Intervention?

2. Anekdoten der Aushandlung

Dieser Problematik möchte ich mit dem Begriff der (ästhetischen) Aushandlung begegnen. Wenn von Aushandlung die Rede ist, kann es nicht darum gehen, eine Anwendung oder eine künstlerische Arbeit für sich stehend zu beschreiben, sondern es wird angenommen, dass durch diese Artefakte ein Geschehen angestoßen wird, das nicht durch das Artefakt determiniert wird. Dabei geht es nicht nur darum, dass jede Rezeption bzw. Nutzung einzigartig ist, was kunst- bzw. kulturwissenschaftlich selbstverständlich ist, sondern dass eine Rezeption auf andere Rezipierende bzw. ‚indirekt‘ Rezipierende einwirkt. Durch den Einbezug umweltlicher Faktoren jeglicher Art steigert diese erweiterte Betrachtung der Spielräume der Rezeption die Komplexität möglicher Wirkungen.

‚Aushandlung‘ beschreibt also einen ergebnisoffenen, relationalen Prozess, der von einer Konstellation ausgeht, in der bestimmte Nutzungsweisen, Reaktionen und Umweltbedingungen zusammenwirken und einen Überschuss an Kontingenz erzeugen, der das Inszenierbare übersteigt. Die Betonung des Relationalen als Gegengewicht zur Intervention pocht exakt auf ein solches Interesse für mögliche Folgen einer Irritation oder Unterbrechung, aus der veränderte Beziehungen zu Mitmenschen, Devices, Umwelten etc. hervorgehen können. Dementsprechend schlage ich vor, in Ergänzung oder Kontrastierung einer artefakt- bzw. werkzentrierten Herangehensweise die Möglichkeiten einer anekdotischen Annäherung zu den Dynamiken der Aushandlung auszuloten, um diese eigensinnigen Situationen zu würdigen und produktiv in Untersuchungen einfließen zu lassen.

Wiederum bezogen auf Pokémon Go lässt sich Vollmer et al. folgend darstellen, wie sich ab 2016 aus den Zusammentreffen von Spielenden untereinander, Spielenden und Nicht-Spielenden sowie der Beobachtung von Spielenden ein eigenes Genre der Pokémon Go-Anekdoten entwickelt, die in Nachrichtensendungen, Artikeln und Internetforen veröffentlicht werden.

Ein besonderes Augenmerk legt die Berichterstattung auf alles Kuriose, das mit Pokémon Go einhergeht, angefangen mit ungewöhnlichen Orten, die Spieler während der Monsterhatz aufsuchen. In Frankfurt seien Jugendliche auf das Dach eines zehn Meter hohen Einkaufszentrums geklettert und in gesperrte S-Bahn-Tunnel abgestiegen. (Vollmer et al. 2016: 150, vgl. FAZ.net 2016a: o.S.)

Das öffentliche Interesse hängt dabei neben dem Aspekt des Kuriosen, Ungewöhnlichen immer wieder im Zusammenhang mit der Grenze des Erlaubten und der Bedrohung einer öffentlichen Ordnung, wenn etwa spielend auf Privatgelände vorgedrungen wird (ebd.) oder eine Brücke derart von Spielenden überlaufen wird, dass sie nicht mehr von Autos befahren werden kann (s. Abb. 1).

Das Genre der Anekdote bedarf also weniger einer präzisen Beschreibung der zugrundeliegenden medialen Formation, als einer ereignishaften Pointe: Es hat sich etwas ereignet, das in dieser Form nicht vorhersehbar war. Gewissermaßen fokussiert es exakt den ‚impact‘, wodurch analytische Arbeit einen retrospektiven Charakter annimmt. Nun lässt sich fragen, welche Bedingungen zu dieser Pointe geführt haben, wobei die Ebene der Inszenierung ebenso zu betrachtet ist wie besondere situative Bedingungen der Rezipierenden und ihrer Umwelten.

Jenseits der sensationshaften Grenzüberschreitungen finden sich dabei insbesondere in den sog. Sozialen Medien Berichte aus der Perspektive von Spielenden, die eine vielschichtigere Annäherung auf Beziehungsdynamiken zwischen Raumnutzung und gegenseitiger Beobachtung erlauben. So kursiert der Bericht eines Foren-Users, der auf Twitter vielfach geteilt wurde:

Couldn’t sleep so I downloaded the game and took a 3am walk. […]

So I get [to the next park] an wander around a little checking out the stops and rustling around in the tall grass, then decide to go a few blocks away to see a couple more stops when I hear from the darkness a ‚Yo, my man!‘

Turning I see two sketchy looking dudes sitting on a bench in the dark. I must have walked right past them without noticing them Great. One of them waves ‚My man, check over the blue truck over there we got an onyx [ein Pokemon] earlier.‘

[…] So I end up chatting with the guys for a bit, […] Then the cop shows up.

Yeah, so it turns out two twentysomething black dudes and a forty year old white guy chilling in the park at 3am looks strange. It took a bit of talking to convince the cop we weren’t doing a drug deal, and a bit longer to explain the game. Then the cop downloaded the […] game on his phone and asked us how to get started. ([sic!], 2016)[4]

Hier lässt sich eine komplexere Dynamik nachvollziehen als in den journalistischen Berichten, die häufig von einer Außenperspektive das Phänomen betrachten. Statt der aufsehenerregenden Unterbrechung bezeugt diese Anekdote eine Abfolge von Momenten des Aufmerkens bzw. Umorientierens und unterschiedlichen, sich wandelnden Modi der gegenseitigen Betrachtung. Die beiden Jüngeren erkennen anhand der Bewegung des Erzählers, dass dieser dasselbe Spiel spielt und nehmen überraschend Kontakt auf. Der Erzähler, der die beiden zunächst kaum wahrnimmt, und sie im ersten Aufmerken als unheimlich oder zwielichtig beschreibt (‚sketchy looking’) geht auf die Möglichkeit des Gesprächs ein, welches an dieser Stelle aus Platzgründen gekürzt wurde und ohnehin ohne Kenntnis des Spiels wenig nachvollziehbar ist. Diese durch das Spiel vermittelte spontane Versammlung, die durch den Austausch über gemeinsame Spielziele zusammengehalten wird, erregt wiederum Verdacht aufseiten des Polizisten. Erst durch sprachliche Überzeugungsarbeit wandelt sich dessen Verdacht in ein Interesse, schließlich selbst das Spiel auszuprobieren.

Diese mehrstufige Pointe speist sich aus den Verschiebungen im gegenseitigen Bezug in diesem zufälligen nächtlichen Aufeinandertreffen. Angelehnt an Erika Fischer-Lichte ließe sich von einem performativen „Rollenwechsel“ (Fischer-Lichte 2017: 63ff.) sprechen: die Personen stehen nun in einem anderen Verhältnis zueinander, aus der autoritären Instanz wird ein Mitspieler. Auf einer subtileren Ebene, auf die ich durch die Hervorhebung des ästhetischen Aspekts der Aushandlung hinweisen möchte, geschieht eine Verschiebung von Aufmerksamkeiten und Interessen im gegenseitigen Bezug. Durch die Spielmechanik wird der Erzähler überhaupt erst nachts in den Park gelockt, wo er von virtuellen Monstern überlagerte Grünflächen wahrnimmt, aber kaum die Mitmenschen auf einer Bank. Die Ansprache der Jüngeren zeigt, dass diese bereits durch längere Nutzung in der Lage sind, andere Nutzende anhand ihrer Bewegung zu identifizieren. Eine solche Möglichkeit des gegenseitigen Erkennens überrascht zunächst den Erzähler und eröffnet sich auch dem Polizisten, der durch das Verständnis des Spiels zu differenzierteren, durchaus berufsrelevanten Einschätzungen von zunächst seltsam anmutenden Situationen befähigt wird. Auch wenn die gegenseitigen Hinweise und Hilfestellungen innerhalb der Logik des Spiels bleiben, lenken sie die Aufmerksamkeit auf unterschiedliche Aspekte der Umgebung und eröffnen unterschiedliche Nutzungsweisen des Raums. Im Gespräch selbst lässt sich wiederum eine subtile Umorientierung des Interesses beschreiben, von dem vornehmlichen Fokus auf das Erreichen von Spielzielen hin zum Interesse an einer angenehmen Unterhaltung in einer sonst überaus unwahrscheinlichen Konstellation.

Anhand dieser Anekdote wird ebenso deutlich, wie die Pointe, bzw. die Wirksamkeit an sehr spezifische situative Bedingungen gekoppelt sind. Die nächtliche Uhrzeit und der Park als Szenerie führen dazu, dass dieses an sich bereits zufällige Aufeinandertreffen als verdächtig auffällt. Auch die Situiertheit der Beteiligten spielt in diese Konstellation hinein. Dabei fällt jedoch auf, dass die Situierung des Erzählers als 40-jähriger weißer, erst mit dem Auftritt des Polizisten in die Erzählung einfließt, weil gerade deshalb das Aufeinandertreffen mit den jüngeren PoCs um drei Uhr nachts als vermeintlich verdächtiger eingestuft wird. Mit Isabelle Stengers ließe sich beschreiben, dass sich hier eine Dynamik des ‚Situiert-Werdens‘[5] (vgl. Stengers 2010: 64) vollzieht: Die Situierung antwortet auf die verdächtigende Ansprache und in der übernimmt die Qualifizierung der Versammlung als ‚strange‘. In dieser (retrospektiv) übernommenen Außenperspektive erscheint die Benennung von Alter und Hautfarbe innerhalb vorherrschender Machtstrukturen als relevant für die Situation.

Nun ist es unangebracht, auf Basis von Anekdoten wie dieser in eine Romantisierung von Pokémon Go als harmoniestiftende Anwendung einzustimmen, wie sie teils in den Sozialen Medien betrieben wird.[6] Bei der Anwendung handelt es sich um ein durchdachtes, kommerzielles Produkt, das ebensolche Berichte zum Aufpolieren des Images nutzt und die ebenso zahlreichen toxischen und destruktiven Anekdoten rund um das Spiel übergeht.[7] Durch das engmaschige Belohnungssystem gerade keine ästhetische Vieldeutigkeit provoziert, sondern eine hochgradig selektive und funktionalistische Wahrnehmung, was auch dann nicht zu vergessen ist, wenn in Anekdoten sich durchaus interessante, relationale Dynamiken zwischen Überraschung, Annäherung, Skepsis, Verdacht, Unterstützung und Komplizenschaft ergeben.

Was in dieser ersten Annäherung über Pokémon Go jedoch deutlich werden soll, ist das Potenzial von AR-Projekten, zum Anlass für ästhetische Interventionen und Aushandlungsprozesse zu werden und einen Zugang zu diesen über die Form der Anekdote zu skizzieren. Diese Herangehensweise lenkt, ergänzend zu einer Analyse des Artefakts, die Aufmerksamkeit auf:

• (Zufällige) umweltliche Bedingungen
• Die Situiertheit der Beteiligten
• Verschiebungen des gegenseitigen Bezugs
• Umorientierungen von Aufmerksamkeiten und Interessen

Dies gilt es nun, noch konkreter an die medialen Bedingungen der AR-Technologie rückzubinden und diesem Potenzialen in unterschiedlichen, auch technisch ausgefeilteren Konstellationen nachzugehen.

3. AR als relationale Medientechnologie

Dass Pokémon Go trotz des eher rudimentären AR-Einsatzes einen gewissen Pionierstatus innehat, hängt unter anderem mit dem frühen Release im Jahr 2016 zusammen, kurz bevor Apple und Google kostenfreie und leicht zugängliche Programmier-Interfaces für AR bereitstellen (s.u.). Erstmals zeigt sich, zumindest andeutungsweise, in einer App mit sehr großer Reichweite, wie ein virtuelles Objekt so in das Kamerabild eingebettet wird, als wäre es Teil der physischen Umgebung. Allerdings bleibt der Effekt aus heutiger Perspektive sehr begrenzt: Zum einen bleiben erscheinende Monster stets in derselben Distanz zur Kamera, es ist also nicht möglich, näher an sie heranzugehen. Zum anderen verbleiben sie in der Frontalansicht, auf Spielende ausgerichtet, sodass sie nicht aus unterschiedlichen Perspektiven betrachtet werden können, wenn versucht wird, um sie herumzugehen. Lediglich die Position des Monsters auf dem Bildschirm verändert sich durch die Neigung des Smartphones oder Tablets.[8]

Repräsentativer für die derzeit als Standard etablierte Funktionsweise von AR steht dagegen die ein Jahr spätere erschienene App IKEA Place (2017). Hier können ausgewählte Möbel des Einrichtungskonzerns virtuell auf dem heimischen Fußboden platziert werden. Das Versprechen im Vergleich zu vorherigen Versionen besteht dabei darin, dass die Gegenstände in ihren tatsächlichen Maßen dargestellt werden und von allen Seiten und aus unterschiedlicher Entfernung betrachtet werden können, um bereits vor dem Kauf die Wirkung im Raum abschätzen zu können.[9] Diese Wirkung wird im Wired-Magazin als vielversprechend und wegweisend kommentiert: „Digital sofas and chairs sprang to life realistically next to permanent, physical objects.“ (Parders 2017).

In diesem Abschnitt möchte ich diese Form des ‚Realismus‘ medienwissenschaftlich näher beleuchten. Das virtuelle Möbelstück verhält sich so, als würde es tatsächlich im Raum stehen. Dieses intuitiv erwartungsgemäße Verhalten des Objekts, ‚Es bleibt, wo es ist.‘, ist jedoch technologisch bedingt durch aufwendige Operationen der fortlaufenden Transformation des Objektes: Bezogen auf die Darstellung auf dem Smartphone bleibt es eben nicht statisch. Es dreht, verschiebt und skaliert sich abhängig von Bewegung und Drehung des Geräts. Einer der frühesten Beschreibungen von AR-Interfaces von Ivan Sutherland im Jahr 1968, wird diese Operation präzise beschrieben: „The fundamental idea behind the three-dimensional display is to present the user with a perspective image which changes as he moves.“ (Sutherland 1968: 757). Worauf ich also hinweisen möchte, ist die Verschiebung einer relationalen Beschreibung, ‚Das Bild verändert sich abhängig von meiner Bewegung‘, zu einer Entkopplung der Beobachtung und Beobachtetem: ‚Ich kann mich um ein Objekt herumbewegen‘. Meine These ist dabei, dass hier ein Auseinanderklaffen der rezeptiven Erscheinungsformen und der zugrundeliegenden relationalen Verfasstheit der medientechnischen Prozesse vorliegt, welche allerdings angesichts des Anspruchs an einen ‚realistischen‘ Eindruck nur selten Beachtung finden. Die Operationen, durch die ein virtuelles Objekt stabil in einer physischen Umwelt verankert scheint und von einer davon losgelösten Beobachtungsposition observiert werden kann, vollziehen sich als dauerhafte Analyse, sowohl der physischen Umgebung wie auch der Nutzung und damit letztlich der Beziehung zwischen beiden.[10]

Um diesen ‚realistischen‘ oder zumindest stabil im Raum verankerten Eindruck zu erwecken ist ein aufwendiges mediales Gefüge aus Hard- und Software notwendig: Auf Hardware-Seite sind dabei als Bestandteile des Smartphones oder Tablet die Kamera sowie Sensoren zur Erfassung von Dreh- und Beschleunigungswerten hervorzuheben, die in allen aktuellen Geräten verbaut sind. Um diese Daten auszuwerten ist aufseiten der Software eine komplexe Analyse jedes einzelnen Kamerabildes nötig, die wiederum in Verhältnis zu den Sensordaten gesetzt wird (vgl. Oufqir et al. 2020: 1). Nun ließe sich annehmen, dass bereits die Sensorik ausreichen könnte, um die Bewegung des Endgeräts zuverlässig aufzuzeichnen. Schließlich bildet das Gyroskop alle Drehbewegungen des Geräts ab, während durch das Accelerometer und dessen Beschleunigungsdaten die Position im Raum abgeleitet werden könnte. Zumindest theoretisch sind die sog. sechs Freiheitsgrade, Bewegung auf drei Achsen und Rotation um drei Achsen, extrapolierbar. In der Praxis zeigt sich jedoch, dass es zum derzeitigen Stand der Technik immer eines Abgleichs mit der Umgebung bedarf, da sich sonst minimale Messfehler aufaddieren und gewissermaßen die Orientierung verloren geht: virtuelle Objekte bleiben dann nicht verankert, sondern schweben durch den Raum (vgl. Parders 2017, Fußnote 8). Um dies zu verhindern, werden in den Kamerabildern markante Punkte (Feature Points) ausgemacht, also etwa Ecken oder Kanten, aus deren Bewegung von Bild zu Bild die Bewegung der Kamera im Verhältnis zu den Feature Points errechnet werden kann (vgl. Oufqir et al. 2020: 2f.). Bewegen sich diese erfassten Punkte also nicht, bewegen sich auch die im Raum verankerten virtuellen Objekte nicht, selbst wenn die Sensorik eine minimale Verschiebung registriert.

Das Zusammenspiel von Kamerabild und Sensordaten lässt sich insbesondere anhand der Nutzungsszenarien nachvollziehen, in denen sich widersprechende Analysedaten zu einer fehlgeschlagenen Verankerung führen. Wenn etwa die Kamera auf eine glatte Wand ohne ausreichend erfasste Feature Points gerichtet wird, geht die Verankerung verloren, kann sich aber durchaus wieder rejustieren, wenn zuvor erfasste Feature Points ins Bild kommen. Ebenfalls kann ein durchaus interessanter Fehler erscheinen, wenn AR in einem fahrenden Verkehrsmittel genutzt wird. Ein auf einem Sitz in einem stehenden Zug platziertes virtuelles Objekt beginnt sich wegzubewegen, sobald der Zug losfährt, da der Beschleunigungssensor eindeutig eine Bewegung registriert. Das gleichbleibende Kamerabild sorgt wiederum dafür, dass das Objekt immer wieder kurzzeitig an den ursprünglichen Platz zurückgesetzt wird, nur um sich gleich wieder entsprechend der gemessenen Beschleunigung wegzubewegen.[11]

Angesichts der aufwendigen Echtzeitanalyse des Kamerabildes und der Sensordaten war AR auf mobilen Endgeräten erst ab dem Zeitpunkt möglich, als diese eine entsprechen hohe Rechenleistung aufweisen konnten (Nowacki/Woda 2020: 358). Zudem erforderte die angesprochene Analyse einen hohen Aufwand vonseiten der Entwickler*innen, was sich signifikant durch die Einführung von Programmierschnittstellen veränderte: Apples ‚ARKit‘ (ab 2017) für Apple-Geräte und Googles ‚ARCore‘ (ab 2018) für Geräte mit Android-Betriebssystem jeweils neuerer Bauart (vgl. Oufqir et al 2020; Nowacki/Woda 2020). Diese Schnittstellen sind in der Nutzung kostenfrei, benötigten keine zusätzliche Hardware und vereinfachen den Bezug auf die abgefilmte Umgebung erheblich. „[They] reduce considerably the difficulty of access to augmented reality for developers.“ (Oufqir et al 2020: 6).

Dabei ist es interessant, wie umfassend ARCore und ARKit die Analyse der Verortung des Endgerätes im Raum automatisieren, wenn sie durch die jeweilige Programmieroberfläche importiert werden. Dabei stehen folgende grundlegende Funktionen zur Verfügung:

• ‚Schwebende‘ Platzierung im Raum
• Verankerung anhand einer registrierten Fläche
• Verankerung an einem voreingestellten Bild oder QR-Code[12]

Aus den im Hintergrund vollzogenen Prozessen der gekoppelten Bild- und Sensoranalyse resultiert ein dreidimensionales Koordinatensystem mit der Startposition als Nullpunkt, in das Objekte eingefügt werden können und das im stetigen Abgleich von Umwelt und Device steht. Es ist also sehr einfach, ganz ohne Verständnis der zugrundeliegenden Operationen, eine Kugel zu erzeugen, die in etwa so aussieht, als würde sie zwei Meter vor dem Device in der Luft schweben. Noch genauer, und im oben genannten Sinne ‚realistischer‘ ist aber die Platzierung von Objekten anhand der erkannten Feature Points. Wie im Falle der Ikea-App kann das eine Fläche sein, die sich aus der Analyse der Feature Points ergibt und ‚auf der‘ (bzw. relativ zu der) ein Objekt positioniert wird. Am stabilsten wiederum erweist sich die Platzierung anhand von physisch vorliegenden QR-Codes oder Bildern, deren digitale Version zuvor in das Programm eingespeist werden. Beide Modi der Verankerung sind als Funktionen einfach abrufbar ohne Flächen- oder Bildanalyse zu verstehen und sind zudem Ausgangspunkt einer Vielzahl entsprechender Tutorials, die den Einstieg in die Entwicklung von AR-Apps erläutern. Eine erkannte Fläche oder Grafik bietet durch die AR-Schnittstellen jeweils ein weiteres Koordinatensystem, das zur Platzierung genutzt werden kann. Ein Objekt an den Koordinaten (0/0/0) des neu verankerten Koordinatensystems erscheint also im Mittelpunkt der Fläche. Ein Versatz entlang der Y-Achse (etwa 0/1/0) verschiebt es orthogonal zur Fläche (auch der Fläche der Grafik). Das heißt es schwebt ‚über’ einer horizontalen Fläche, aber ‚neben‘ einer vertikalen Fläche, je nach Einstellung folgt das Objekt auch dem Kippen eines Anker-Bildes, wenn dieses geneigt wird. All diese erkannten Punkte und Flächen stehen in einem Verhältnis zueinander: Die Position und Neigung einer Anker-Fläche kann also anhand von Werten des ‚ersten‘ Koordinatensystems ausgedrückt werden, das mit dem Starten der Anwendung initiiert wird. So ergibt sich ein virtuelles Environment aus mehreren, sich überlagernden, aber aufeinander bezogenen Koordinatensystemen.[13] Ein entscheidender und doch selten thematisierter Bezugspunkt dieses Gefüges ist dabei die Position der Kamera. Auch ihre Position und Rotation wird in Bezug zu den anderen Koordinatensystemen ermittelt, was die Grundlage für die Darstellung der Objekte auf dem Display ist. Und auch diese Daten können zum Ausgangspunkt einer Objektplatzierung werden, sodass etwa ein Gegenstand, egal wie das Gerät bewegt und gewendet wird, stabil einen Meter vor der Kamera zu schweben scheint.[14]

Diese Ausführungen mögen etwas technisch anmuten, bieten aber einen Einblick in die grundlegende Funktionsweise von AR als ein hochrelationales Geschehen auf mehreren Ebenen: Eine dauerhafte und aufwendige Analyse der Umgebung und der Bewegung des Endgeräts durch Kamera, Sensoren und darauf aufbauende Algorithmen, welche deren relative Positionen zueinander errechnen und nutzbar machen. Für die App-Entwicklung ergibt sich anhand dieser Analyse eine virtuelle Landschaft voller gegenseitiger Bezüge, die in einem möglichst genauen Abgleich mit der abgefilmten Umgebung steht und auf Basis welcher, vergleichbar mit einer vielschichtigen Leinwand, sich die Gestaltung vollziehen kann.

4. Reinigungsprozesse und Illusionen

Nun steht diese zugrunde liegende Relationalität allerdings konträr zur hochgradig dominanten Umgangsweise mit AR, sowohl in kommerziellen als auch in künstlerischen bzw. kulturellen Anwendungsfeldern, weshalb ich überhaupt die Notwendigkeit sehe, die Relationalität von AR so deutlich zu betonen. Ein weitgehender Großteil der Anwendungen zielt auf genau jenen zumindest bedingt ‚realistischen‘ Eindruck ab, dass ein Objekt (bzw. eine Szenerie oder Animation etc.) so in der abgefilmten Umgebung platziert wird, dass es stabil an jener Stelle verbleibt und durch Bewegung der Nutzer*innen unterschiedliche Perspektiven darauf eingenommen werden können. Bevor nun einige der eher seltenen Ausnahmen betrachtet werden, soll die Dynamik der Standardisierung beleuchtet und demgegenüber erörtert werden, warum es notwendig ist, über eine solche Verengung von AR hinauszudenken.

Während bei früheren Anwendungen, wie auch Pokémon Go noch die Sutherlandsche Formel, ‚das Bild verändert sich, weil ich mich bewege‘ offensichtlich ist, da die Augmentationen recht eigenwillig auf die Device-Bewegungen reagiert, bietet der Release vor ARKit (und später ARCore) Entwicklungsbedingungen für stabile Objektverankerungen. Indem ARKit zum Launch 2017 aber, entsprechend der Entwicklungslogik solcher Plattformen, nicht nur als Interface veröffentlicht, sondern zusammen mit Anwendungen wie IKEA Places präsentiert wird, die ebenjene Technik bereits nutzen, entsteht hier eine gewisse Setzung von Use-Cases. Der Titel des bereits genannten Wired-Artikels „Ikea’s New App Flaunts What You’ll Love Most About AR“ (Pardes 2017 o.S.) beschreibt, wie hier (endlich) ein ‚sinnvoller‘ Nutzen von AR vorgestellt wird. Wie weitläufig diese Funktionsweise zu einem ‚Standard‘ geworden ist, zeigt sich, neben der Betrachtung der entsprechenden Anwendungen, insbesondere aber auch in der Tutorial- und Forenlandschaft im Netz: Der Ausgangspunkt annähernd jeder Hinführung zu AR besteht darin, dass die Verankerung auf dem Boden oder einem vorbereiteten Bild per Funktion schnell abgerufen werden kann, ab dann kann bereits das Gestalten losgehen und anhand dieses Ankerpunktes jedes beliebige Arrangement erstellt werden. Mithilfe unter eine Stunde dauernden Tutorials ist diese herausgestellte Befehlsabfolge klar, während die relationale sensorische und algorithmische Analyse zur Blackbox wird.[15] Andere Funktionen, die in dieser Logik abwegiger erscheinen, wie das ermitteln der Koordinaten der Kamera oder die relative Beziehung zwischen den hintergründigen Koordinatensystemen, sind nur schwer zu finden oder werden teils nur nebenbei erwähnt, was es wesentlich schwieriger macht, solche Funktionen nutzbar zu machen.[16] Darüber hinaus entwickeln kommerzielle Anbieter wie Artivive eigene AR-Gestaltungsoberflächen, die auf ebenjene Funktion der einmaligen Verankerung reduziert sind, wodurch nicht einmal die Orientierung in einer komplex und vergleichsweise unübersichtlich anmutende Entwicklungs-Oberfläche, wie etwa der Game-Engine Unity, nötig ist. Mit der entsprechenden App können alle erstellten Augmentationen abgerufen werden, indem die Anker-Bilder auf der Webseite anvisiert, oder im dazugehörigen Shop als Print erworben werden. Manuel van der Veen setzt diesen typischen Use-Case konsequenterweise in eine kunsthistorische Kontinuität zu den sogenannten ‚Trompe-l’œils‘, illusionistischen Malereien, die, etwa in Nischen platziert, eine Dreidimensionalität vortäuschen. Er benennt dabei das „entanglement of object and environment“ (van der Veen 2020, o.S.), das sehr wohl eine Relationalität aufweist, nämlich jene zwischen Objekt und Umgebung. Gleichzeitig impliziert die illusionäre Verschmelzung eine Aufhebung einer der Abhängigkeit von der Betrachtung.

Nun ließe sich auf dieser Basis einwenden, dass hier zwar möglicherweise ungenutzte Potenziale vorliegen, sich aber diese konkrete Anwendungsweise von AR schlichtweg als vielversprechender Use-Case bewährt hat und in dieser Standardisierung viel eher ein Reifungsprozess des Mediums zu betrachten ist. Demgegenüber möchte ich darlegen, dass in dieser Konventionalisierung von Produktion und Rezeption von AR eine durchaus zu problematisierende Reproduktion einer strikten Trennung von Subjekt und Objekt sowie einer einseitigen Zuschreibung von agency nachgezeichnet werden kann. Wie der Soziologe John Law es bezeichnet, wird so „collateral“ (Law 2012: 156), also beiläufig, ohne dies direkt zu thematisieren, ein „Euro-American common-sense realism“ (ebd.) bekräftigt, den er wie folgt beschreibt:

So what is ‘Euro-American common-sense realism’? […] First it tells us – it assumes – that there is a reality out there. Second it tells us that whatever is out there is largely independent of our actions. (A qualification: it is obvious that our actions sometimes influence reality). Third, it tells us that whatever is out there substantially precedes our actions or attempts to know it. […] (ebd.)

Wie Law selbst einräumt, ist dies eine Vorstellung, die bereits in verschiedenen Strängen der Philosophie, vom Pragmatismus über den Poststrukturalismus bis hin zum Neuen Materialismus, auf vielfältige Weise konzeptuell dekonstruiert wurde (vgl. ebd.). Ebenso stellt er aber in Bezug auf sein Forschungsfeld der Science und Technology Studies heraus, wie jener ‚common-sense realism‘ in Wissens- und Darstellungspraktiken unreflektiert – kollateral – reproduziert wird. Dies legt Law etwa anhand von alltäglichen Praktiken wie der Arbeit in Statistiken auf PowerPoint-Folien (vgl. ebd.: 159ff.), wie auch anhand der Entwicklung der Zentralperspektive dar (ders. 2004: 22f.), wobei er jeweils die Operationen der Objektivierung von Wissen und Welt unabhängig von der Betrachtung nachzeichnet.

In der technischen Trennung der Betrachtung vom Betrachteten bei der hier dargelegten Standardisierung von AR lässt sich eine interessante Variante des „göttlichen Tricks“ (Haraway 1995: 81) ausmachen, den Donna Haraway, wie Law ansetzend an der Fiktion des neutralen Wissens, kritisiert. Damit umschreibt sie die Einnahme einer unmarkierten Perspektive aus dem nirgendwo, welche die Situiertheit dieses Blickens ebenso versteckt wie die Operationen der Objektivierung jenes Wissens:

Jegliche Perspektive weicht unendlich beweglicher Vision, die den göttlichen Trick, alles von nirgendwo aus sehen zu können, nicht länger nur mythisch erscheinen läßt, sondern den Mythos zur alltäglichen Praxis gemacht hat. (ebd.)

Im Falle von vielen jener ‚realistischen‘ AR-Anwendungen kommt noch hinzu, dass nicht nur der Blick mythisch ortlos erscheint, sondern zusätzlich eine schöpferische Geste ins Spiel kommt: Mit einem Bildschirm-Tippen auf den abgefilmten Boden wird die Augmentation am beliebigen Ort erschaffen, seien dies Kunstwerke, Möbel oder historische Zeitzeug*innen, die ihre Geschichte erzählen.[17] Daraus ergibt sich ein Paradox anmutendes Verhältnis von Handlungsmacht und Distanz. Von einem nicht involvierten Außen werden Objekte, Szenerien oder Animationen geschaffen, die von nun an unabhängig existieren. Besonders deutlich wird dies bei der App Acute Art, durch die im eigenen Wohnzimmer virtuelle (oder nachträglich virtualisierte) Arbeiten unterschiedlicher Künstler*innen beliebig arrangiert und collagiert werden können. Analog zur medienwissenschaftlichen Forschung Nicola Przybylkas, die in Bezug auf VR vom „Allverfügbarkeitsanspruch, überall alles sein zu können“ (Przybylka 2022: 348) spricht, ließe sich in Bezug auf diesen Umgang mit AR ein gegenläufiger Allverfügbarkeitsanspruch beschreiben, alles von überall zu sich herholen zu können. Die aufwendigen, sensorischen, algorithmischen und gestalterischen Operationen, die den Blick und das Angeblickte in ein zugleich ein schöpferisches und entkoppeltes Verhältnis versetzen, ließen sich mit Bruno Latour als „Reinigungspraktiken“ (Latour 2017: 19) verstehen, die ein hochgradig relationales Geschehen in eine klare Trennung von Subjekt und Objekt überführen, indem die umfangreichen Übersetzungsprozesse unsichtbar gemacht werden.

Gegen diese, in Praktiken erzeugte, Logik der Trennung von Subjekt und Objekt positioniert sich letztlich auch Verhoeffs und Dresschers Konzept der ‚Crossed Reality’:

[…] ‘realities’ of XR are not layering, augmenting, or extending a shared ‚hybrid‘ reality, so much, as they are performative and literally creative in their meeting. (Verhoff/Dresscher 2020: 483, Herv. d. A.)

Anstelle der Augmentation einer gegebenen Umgebung wird also vorgeschlagen, von einer gegenseitigen Hervorbringung von Nutzenden, Umwelten und Technologien auszugehen. So soll an dieser Stelle wieder der Bogen zum Anfang dieses Beitrags geschlagen werden und ein Schlaglicht auf jene eher ‚ungewöhnlichen‘ Anwendungen bzw. Anwendungs-Situationen, nun insbesondere im Bereich der Künste, gerichtet werden, um sowohl Prinzipien der AR-Entwicklung, wie auch Möglichkeiten der Beschreibung aus den Situationen abzuleiten, zu denen sie Anlass bieten.

5. Relationale Experimente in AR-Kunst

Im Fokus stehen dabei drei künstlerische AR-Arbeiten im öffentlichen Raum, die neben anderen Teil der AR Biennale in Düsseldorf 2021 waren, wobei ebenjener Ausstellungskontext in den Beschreibungen eine Rolle spielt. Durch die skizzenhafte Gegenüberstellung soll einerseits ein Spektrum der relationalen Bezüglichkeiten dargestellt werden. Andererseits kann so verdeutlicht werden, dass nicht nur in der technisch anspruchsvollen Nutzbarmachung zugrundeliegender AR-Mechanismen relationale Potenziale angelegt sein können.

I’m glad you asked (2021) von Lauren Lee McCarthy basiert etwa auf ebenjener Logik, dass ein Ankerbild per Smartphone eingescannt wird und daraufhin eine statische Augmentation erscheint. Diese Augmentation ist aber kein dreidimensionales Objekt, sondern ein Textbanner, der über Parkbänken schwebt und zu sozialen Begegnungen einlädt, wie auf McCarthy’s Webseite anhand des Schriftzugs „This bench is reserved for people who are feeling overwhelmed.“ (o.A.)[18] beschrieben wird:

Visitors that identify with the statements may sit, inevitably mixing with unaware visitors that are simply sitting. In the process of determining the other’s reasons for being there, spontaneous conversations may arise. ‚Excuse me, are you also feeling overwhelmed?‘ (ebd.)

Der Textbanner ist in diesem Sinne kein künstlerisches Objekt, das zu betrachten ist, sondern es lenkt den Blick auf die Umgebung. Wie in der im Zitat anklingenden Auslegung des Schriftzugs lässt sich darin ein Aufforderungscharakter erkennen: ‚Wenn du dich mit diesem Schriftzug identifizierst, setze dich.‘ Gerade durch die soziale Konnotation dieser Aufforderung, dass daraus ein Gespräch mit anderen App-Nutzenden erwachsen kann, wird die künstlerische Arbeit als Gelegenheit zur sozialen Involvierung dargestellt, während das Smartphone und die AR-App selbst, nach dem initialisierenden Impuls, keine Rolle mehr spielt. Damit steht die Arbeit in einer gewissen Kontinuität zu der „Relationalen Ästhetik“ (vgl. Bourriaud 2002) des Kurators Nicolas Bourriauds, die hinsichtlich künstlerischer Produktion sehr folgenreich war, aber aufgrund der idealisierten, harmonisierend dargestellten Beziehungsversprechungen nach wie vor umfangreicher Kritik ausgesetzt ist: Inwiefern werden in künstlerisch forcierten Begegnungen Machthierarchien ignoriert und reproduziert (vgl. Bishop 2004), inwiefern werden Rezeptionsweisen normiert statt vervielfältigt (vgl. Rancière 2009: 85ff.) und überwiegt hier eine konzeptionelle Setzung gegenüber einem Interesse an den tatsächlichen Konsequenzen der Aufforderung (vgl. Umathum 2011: 159)? Auch der AR-Pionier Sander Veenhof gibt zu bedenken, dass unbeteiligte Menschen gerade bei AR-Arbeiten in öffentlichen Räumen durchaus ungefragt zum Teil einer künstlerischen Arbeit werden (Veenhof 2023, o.S.). Wenn die Einladung zum Hinsetzen nicht angenommen wird und die Bank samt Sitzender anhand des Schriftzugs betrachtet wird, lässt sich ebenfalls eine voyeuristische Tendenz dieser Lenkung des Blickes beschreiben. Wie mit diesem Angebot umgegangen wird und welcher Umgang angemessen oder interessant ist, kann aber auch als Adressierung der Rezeption, als eine Aufforderung zur Positionierung innerhalb des betrachteten Geschehens verstanden werden. Der Schriftzug situiert gewissermaßen die Rezipient*innen in der Form einer Frage: Möchte ich als Nutzer*in dieser AR-App diesem offensiv beziehungsstiftenden Angebot folgen (vgl. Umathum 2011: 51ff.)?

Um aber nicht nur über Potenziale, sondern auch über den konkreten, situativen ‚impact‘ zu schreiben, ist an dieser Stelle eine Situierung meiner Perspektive als Rezipient und Forschender notwendig. Ich nutze die Anwendung an einem Nachmittag unter der Woche, einige Zeit nach der Vernissage der AR Biennale. Eine Kollegin hat mir bereits berichtet, wie zur Eröffnung die Ausstellungsfläche, ein Park und das frei begehbare Außengelände des NRW-Forums, geradezu geflutet wurde von AR-Rezipierenden, die sich bei der Nutzung gegenseitig als Rezipierende erkennen konnten, sich bei technischen Schwierigkeiten halfen und anhand der (zumindest zu dieser Zeit) noch ungewohnten Rezeptionssituation schnell ins Gespräch kamen. Mit dieser Erzählung im Hinterkopf tritt der Umstand, dass ich die Ausstellung ohne Begleitung rezipiere, umso deutlicher hervor, was sich in einer gewissen Verunsicherung äußert, da die gegenseitige Absicherung und Bestätigung fehlt. Die Nutzung der AR-App der Biennale erwirkt eine Art alien-haftes Verhältnis zu den vielen unterschiedlichen Einzelpersonen und Gruppen, die offensichtlich nicht wegen der AR Biennale hier sind. Als ich nun auf eine der von McCarthy augmentierten Bänke treffe, die eine Familie gerade für ein Picknick nutzt, kommt es mir überaus seltsam vor, das Beziehungsangebot der Anwendung forcierend aufzugreifen. Die Beziehungsstiftung, die möglicherweise in manchen Fällen ein inspirierendes Gespräch zur Folge haben mag, wirkt für mich, unter diesen konkreten Bedingungen, eher wie eine gegenseitige Zumutung – eine interessante Idee, die aber nur unter gewissen Bedingungen, hinsichtlich der Nutzung und der Umgebung, über die hypothetische Beziehungsstiftung hinausgeht. Die tatsächliche Intervention erscheint fast wie ein Gewaltakt der Nutzbarmachung Anderer als künstlerisches Gestaltungsmaterial. In der Masse der 19, an unterschiedlichen Parkbänken platzierten Banner ist es auf der anderen Seite ganz offensichtlich, dass nicht jeder der Schriftzüge situativ passig erscheint. So lädt die Abfolge zu einem Ausprobieren ein, ob nicht ein Text doch sowohl mit den Umgebungsbedingungen wie auch mit dem eigenen Interesse der Involvierung resoniert und zu einer interessanten Situation führt.

Eine andere, durch AR vermittelter Bezug von Nutzung und Umgebung liegt bei der Arbeit Digital Atmosphere (2021) von Studio Above&Below vor. Konzeptuell wird die reale, aber unsichtbare Luftverschmutzung durch die Animation von Luftpartikel-Wolken thematisiert. Indem diese nun als Scharm kleiner, virtuellen Teilchen visualisiert werden, die um Nutzende herumfliegen, ergibt sich eine interessante Konstellation für die Rezeption. Statt dass es sich um ein Objekt handelt, um das herumgegangen wird, ist nun der Standpunkt der Rezipierenden das Zentrum des Geschehens, um das sich die Teilchen in unterschiedlichen Höhen bewegen.

Nach dem Starten der Anwendung durch das Einscannen des entsprechenden Bildes, muss ich die Teilchen zunächst suchen, um sie dann zusammengeballt im Gras zu entdecken. Schnell dehnt sich die Wolke aber aus und umkreist mich, bewegt sich ruckhaft und ich finde sie nach kurzer Orientierungslosigkeit über mir schwebend wieder, mein Smartphone zum Himmel gestreckt. Erst nach einer Weile des Verfolgens dieser Animation erfolgt jener Perspektivwechsel, der bereits bei der Pokémon Go-Anekdote nachgezeichnet wurde: Ich frage mich, wie diese Such- und Folgebewegung für Außenstehende aussehen mag. Da ich mich teils schnell und raumgreifend bewegen muss, um die Partikelbewegung zu betrachten, führt die Rezeption zu tanzähnlichen Bewegungen und wird zu einer choreografischen Intervention in den Stadtraum. Die bewegliche Gestaltung der Teilchen stellt also eine Animation im doppelten Sinne dar: Nicht nur werden die virtuellen Objekte animiert, auch ich werde in der Betrachtung in eine Bewegung versetzt, die den Partikelwolken folgen, welche zu einer Art Partitur werden. Das erinnert ein wenig an William Forsythes Choreographical Objects (Forsythe o.S.), nur dass die Choreografie ganz nebenbei entsteht: Sie ist eher das Ergebnis der Suchbewegung als eines Entschlusses zur Ausdrucksbewegung. In Laws Worten wird die Verschränkung von Nutzung, Medienkonstellation und Umgebung so ‚kollateral‘ hervorgebracht und spürbar, anstatt dass sie direkt adressiert wird. Außenstehende werden so unabsichtlich in einen Rezeptionsprozess hineingezogen. Nicht nur stellen die ungewöhnlichen Bewegungen potenziell eine punktuelle Irritation oder Attraktion dar, sie bieten auch einen Anstoß zur Imagination, was da betrachtet wird. Ohne die virtuellen Objekte selbst zu sehen, sehen sie doch die Spuren der Animation in der Bewegung der Nutzenden.

Auch hier spielen aber Kontext und situative Umgebung der Rezeption eine entscheidende Rolle. Als ich aufgrund des Eindrucks, hier potenziell selbst zum Objekt der Beobachtung Außenstehender zu werden, mich umsehe, deutet zumindest nichts darauf hin. Die Arbeit ist in der Mitte des Ehrenhofs, dem Gelände des Kunstpalastes platziert und ist weit weniger stark besucht als der Park nebenan. So entsteht keine konkrete Aufführungssituation als ein Gefälle von Blickenden und Angeblickten, sondern eher eine antizipierte Aufführung (vgl. Umathum 2011: 106). Wiederum wirkt die Erzählung von der Vernissage nach und lädt zur Imagination ein, wie eine Traube von Kunstinteressierten hier mitten auf dem öffentlich zugänglichen Gelände um den entsprechenden Bildanker versammelt ist, und sich in alle Himmelsrichtungen strecken, und bizarre, ungelenke Formationen ergeben. Wie beim Phänomen Pokémon Go fällt auf, dass es bei einer relationalen Betrachtung einen sehr großen Unterschied macht, ob die Anwendungen allein oder kollektiv genutzt wird und ob, wie viele und welche anderen Menschen zugegen sind.

Hinsichtlich der technischen Komplexität der Gestaltung stellt die dritte hier vorgestellte künstlerische Arbeit, Sarah Rothbergs Longing (2021) wiederum eine Steigerung dar. Mit der provisorischen Abstufung, statisch-animiert-interaktiv, soll allerdings keineswegs eine qualitative Wertung impliziert werden, da, wie dargestellt, auf je unterschiedliche Weisen Bezüglichkeiten zu Nutzer*in und Umgebung hergestellt werden können. In der Folge der vorangestellten medientechnischen Überlegungen ist es aber durchaus von besonderem Interesse, wie durch den künstlerischen Umgang mit diesen sonst hintergründigen Analyseprozessen eine Form einschneidender Relationalität auftreten kann, wie in der anekdotischen Annäherung erkennbar wird:

Das passende Ankerbild für Longing finde ich an einem hinteren Ende des Parks als eines der letzten, meine Wahrnehmung ist bereits trainiert, die kleinen Metallschilder aufzuspüren. Nach einer Wartezeit, in der die Arbeit lädt, erscheint nah vor mir eine nackte, auf reduzierte Weise artifiziell gestaltete Frauenfigur, die mich frontal anblickt, während ein Flüstern erklingt. Das nackte Erscheinen wirkt plötzlich und unangenehm nah. Ich sehe mich um, hinter mir befindet sich eine Spielanlage im Park, ich meine, einzelne Eltern in der Spielplatz-typischen Warte- und Beobachtungshaltung schauen schon zu mir herüber, in meiner etwas seltsamen Haltung, das Smartphone starr auf eine leere Wiese gerichtet. Auch wenn die nackte Figur auf meinem Display viel zu klein ist, als dass sie von der Spielanlage aus gesehen werden könnte, habe ich den Drang, den Blicken auszuweichen, der Menschen hinter mir, wie auch der Figur vor mir. Ich möchte nicht als männlich gelesene Person vor einem Spielplatz mit einer nackten Frau auf dem Handydisplay herumstehen. Noch bevor ich mich in Bewegung setze, fängt mein Smartphone an, synthetische, blubbernde Klänge von sich zu geben und die Hände des weiblichen Avatars kommen mir näher. Ich gehe schnell ein paar Schritte zur Seite, aber die virtuellen Hände folgen mir, während die Klangkaskaden durch meine Bewegung noch intensiver werden. Ich habe den Eindruck, Blicke im Nacken zu spüren. Die Hände folgen mir in meiner Fluchtbewegung, die Arme scheinen auszuleiern, verlängern sich gummiartig und hinterlassen eine Spur meiner Bewegung, eine zackige Deformation, die ansatzweise auch die Beine der Figur betrifft. Während der Torso an Ort und Stelle verbleibt, ist der Kopf weiterhin starr auf mich gerichtet, wodurch der Hals unnatürlich verdreht ist. Wie nach kurzem Spuk endet die Klangfolge, die Hände bleiben in der Luft stehen und ich kann die merkwürdige Skulptur, die ich miterzeugt habe, in Ruhe betrachten. Nur der müde wirkende Blick folgt mir, bis ich die Anwendung schließe. (Protokoll des Verfassers)

In Hinblick auf den konkreten Umgang mit den medialen Bedienungen von AR lässt sich hier bereits das Starten der Anwendung als einen einschneidenden Moment beschreiben. Die Nähe, Nacktheit und Klanglichkeit erscheinen in einer Plötzlichkeit, die konträr zur kontrollierten, schöpferischen Geste des Erscheinenlassens per Tippen auf das Display steht. Aber auch eine langsame, schrittweise Annäherung ist nicht möglich, wie sie bei physischen Ausstellungen, wie auch, diese imitierend, bei den meisten AR-Arbeiten der Fall ist, die in sicherem Abstand visualisiert werden. Longing ‚wirft‘ Rezipierende, die durch die Ladezeit bereits in eine Warte- bzw. Erwartungshaltung gebracht werden, ruckhaft in eine Beziehung, sowohl zur Figur, die in einem Avatar-haften Verhältnis zur Künstlerin selbst steht, als auch zu der konkreten Umgebung im Park. Das Folgen der Hände und des Blickes und die Klangfolge in Abhängigkeit zur Bewegung stellt wiederum einen herausstechenden Umgang mit den Daten dar, die, wie oben erwähnt, sowieso in jeder AR-Anwendung hintergründig erhoben werden. Die Übersetzung der Position des Devices in die virtuelle Umgebung, die zu jeder AR-Darstellung notwendig ist, wird hier zum Gestaltungsmaterial. Aus der relativen Position lässt sich ebenso der Winkel von Figur zum Device ausrechnen, was die Kopfbewegung steuert, wie auch die Distanz von Figur und Device, welche die Tonhöhe des digitalen Synthesizers steuert. Aber nicht nur das, die Position wird auf eigensinnige Weise aufgezeichnet durch die Spur, welche die deformierten Arme hinterlassen. Das Medium wird also mit-ausgestellt, allerdings nicht auf distanzierte, analytische Weise, sondern affektiv spürbar, im Verhältnis zu Rezeption und Umgebung. Meine Ausweichbewegung als Antwort auf die Plötzlichkeit verändert den Avatar und wird sonifiziert, sodass mein Verhalten für Außenstehende, wenn schon nicht auf dem kleinen Display sichtbar, so doch zumindest hörbar wird. Mit der Entfernung von der Figur werden die Töne höher, wie eine Saite, die gespannt wird, was auf der einen Seite der Verlängerung der Arme entspricht, andererseits sind sie gerade nicht ‚auf Spannung‘, sondern ergeben eine kurvige, ausgeleierter Spur. Um auch die nachträgliche Recherche zu situieren, ist dabei anzumerken, dass diese Verknüpfung von Tonhöhe und Distanz erst in der Betrachtung der Videos deutlich und gerade nicht als Funktion erinnert wurde. Stattdessen bleibt der Eindruck einer steigenden Intensität, einer widerständigen Klebrigkeit, die mich gleichermaßen in meiner Umgebung ausstellt. Dies liegt auch daran, dass das Folgen der Hände und die Klangfolge schon nach etwa 30 Sekunden abbricht, zu früh als das die Interaktivität in ein Kontrollverhältnis kippt. Der Avatar interagiert vielmehr mit ihr als ich mit ihm. Im Innehalten der Armbewegung bei fortwährendem Hinterherschauen der Figur vermittelt sich wiederum die titelgebende, unbefriedigt bleibende Sehnsucht: Eine Berührung wird nie möglich sein.

Statt der oben beschriebenen Allverfügbarkeitvision vermittelt Longing also Verhältnisse der Unverfügbarkeit und der Verunsicherung. Die Rezeption sieht sich selbst einer unklaren Situation ausgeliefert, in der nicht von einem neutralen Außen heraus agiert wird, sondern jedes Antwortverhalten bereits involviert ist und eine Positionierung zur künstlerischen Arbeit wie auch zur Umgebung darstellt. Eine dyadische Werk-Rezipient*in-Konstellation durchkreuzend ergeben sich vielschichtige und multipolare ästhetische Aushandlungsprozesse in der Verschränkung von Affizieren und Affiziert-Werden, von Animieren und Animiert-werden.

Abbildung 2: Sarah Rothberg: Longing (2021) im Hofgarten, Düsseldorf. Foto: Jens Fehrenbacher.

6. Ausblick: Nachhaltigkeit und interventionale Erinnerungsorte

Zuletzt soll anhand der skizzierten Potenziale relationaler AR-Gestaltung eine offene Fortführung der anfangs aufgeworfenen Frage des ‚impacts‘ versucht werden: Wie könnte AR einen nachhaltigen, produktiven Einfluss auf öffentliche Räume haben? Dabei greife ich das aktuell ausgeprägte Interesse auf, Augmented Reality in der Erinnerungsarbeit einzusetzen.[19] Die Installation Perspektiven zur Freiheit (2020) von Dagmar Korintenberg und Wolf Kipper in Waren an der Müritz stellt dabei einen besonderen Fall dar, da es sich hier um eines der wenigen physischen Denkmäler handelt, bei der eine virtuelle Augmentation ein gleichwertiger Teil der Arbeit ist. An Stahlstangen sind über Kopfhöhe metallene Rechtecke parallel zum Boden angebracht, in die Losungen der friedlichen Revolution gefräst sind, sodass der Himmel durch die Schrift sichtbar ist. Einige der Schilder dienen dabei als Bild-Anker einer AR-App, durch welche die Schriftzüge überblendet werden mit historischen Foto- und Videoaufnahmen der Demos von 1989. Das Arrangement befindet sich vor der Warener Georgenkirche, an ebenjener Stelle, wo die ersten Montags-Demonstrationen in Mecklenburg-Vorpommern stattfanden.

Die minimalistische Stahlkonstruktion stellt dabei selbst bereits eine gewisse Intervention in das Stadtbild und dessen touristische Raumnutzung dar, die durch mittelalterliche und neuzeitliche Bauwerke geprägt ist. Bereits in vorbereitenden Telefonaten ist die Rede davon, dass einige Warener*innen darin eine unwillkommene Störung der Altstadt-Idylle sehen. Und tatsächlich erlebe ich bei meinem Besuch in Waren an einem belebten Feiertag abfällige Kommentare zur Passigkeit der kühl wirkenden Konstruktion zur gefälligen Umgebung. Wie zum Trotz bewegt mich die Augmentation in eine auffällige Haltung, das Tablet über den Kopf nach oben gestreckt, um die Überlagerung zu aktivieren. Zwei Kinder, die die Installation vorher als Klettergerüst genutzt haben, weichen etwas zurück, als wären sie sich nicht sicher, ob nun ich oder sie etwas Unangebrachtes mit dem Gebilde unternehmen. Meine Geste mit dem Tablet wird gespiegelt durch die nun aktivierten Aufnahmen, in denen größtenteils junge Menschen Transparente gegen das DDR-Regime in die Höhe strecken, Bilder von Widerstand und Aufbruchsstimmung in einer Mischung von harter Kritik und ironischer Persiflage. Zwangsläufig beginnt ein Vergleich der damaligen Hoffnungen und der heutigen Situation in Waren zwischen aufwendig konservierten Baudenkmälern und von Verkaufsständen gepflasterten Flaniermeilen. Vielleicht auch provoziert durch diesen Feiertagsrummel und die abwertenden Kommentare wird Perspektiven zur Freiheit, in der Kombination aus Installation und Augmentation, zu einer Einladung zur Solidarität mit der Unterbrechung des harmonischen Stadtbildes und des konsumistischen Raumverhältnisses. Die AR-Rezeption wird zum Teil der Installation. Eine Bimmelbahn fährt vorbei.

So lässt sich in meinen Augen das Potenzial erahnen, durch langfristig angelegte Arbeit mit AR nachhaltige Impulse für eine Heterogenität der Repräsentationen und Nutzungsweisen öffentlicher Räume zu setzen. Das Problem in diesem konkreten Fall, das aber auch symptomatisch für kulturelle AR-Projekte ist liegt in der Pflege, Aktualisierung und Zugänglichkeit jener Arbeiten, was sich in der Vorbereitung meines Besuchs äußert.[20] Keine Internetseite weist daraufhin, welche App herunterzuladen ist.[21] Beim Anruf bei der Tou­­ris­­mus-­­­Information hört die Angestellte zum ersten Mal von einer solchen Anwendung. Erst vier Telefonate später wird mir die entsprechende AR-Plattform mitgeteilt, deren Support-Service mir wiederum eröffnet, dass die konkrete Augmentation deaktiviert wurde und erst durch Nachhaken für meine Forschungszwecke temporär begrenzt freigegeben wird. So lässt sich festhalten, dass der AR-Einsatz auch eine Intervention in kulturinfrastrukturelle Beziehungen darstellt. Ohne die fortlaufende Arbeit der Vermittlung und Aktualisierung wird eine Augmentation erst gar nicht zur Existenz gebracht und eine preisgekrönte künstlerische (AR-)Arbeit auf die physische Installation reduziert.

Abbildung 3: Dagmar Korintenberg und Wolf Kipper: Perspektiven zur Freiheit (2020) in Waren an der Müritz. Foto: Jens Fehrenbacher

Zwischen Feiertagsrummel, kletternden Kindern, Kommentaren von Passant*innen, und (fehlender) digitaler Infrastruktur zeigt diese Anekdote noch einmal umso deutlicher die relationale Qualität von Augmented Reality. AR ist abhängig von Praktiken ihrer Aktivierung und Distribution und von gewissen Umweltbedingungen. Und umgekehrt stellt AR einen Eingriff in diese Praktiken und Umgebungen dar – auch wenn Außenstehende nur die Spuren der Anwendung in Gesten und Bewegungen erfahren. Damit vermag AR auch, ob direkt oder indirekt, Akteur*innen in einen Aushandlungsprozess zu verwickeln, in dem Relationen zueinander konstituiert, verschoben oder irritiert werden. Gerade in öffentlichen Räumen können in der schwer zu überblickenden Vielzahl möglicher Mitwirkungen zufällige oder ungeplante Faktoren ins Geschehen eindringen: Bei einer Tafel von Perspektiven zur Freiheit muss ich bereits einen sehr schrägen Betrachtungswinkel einnehmen, um die Augmentation zu starten. Ein Baum ist in mehreren Metern Höhe soweit über die Installation gewachsen, dass die Bilderkennung der Tafel erschwert wird, die auf Himmel als Hintergrund ausgelegt ist.

Literaturverzeichnis

Baldwin, Roberto: Ikea’s Augmented Reality Catalog Will Let You Peek Inside Furniture. In: wired.com, 20.09.2017. https://www.wired.com/2012/07/ikeas-augmented-reality-catalog-lets-you-peek-inside-the-malm/ (07.09.2023)

Bishop, Claire: Antagonism and Relational Aesthetics. In: October, 110, 2004, S. 51–79

Bourriaud, Nicolas: Relational Aesthetics. Dijon [Presses du réel] 2002

Fischer-Lichte, Erika: Ästhetik des Performativen. Berlin [Suhrkamp] 2017

Forsythe, William: Choreographic Objects. In: williamforsythe.com, o.D. https://www.williamforsythe.com/essay.html (07.09.2023)

Haraway, Donna: Die Neuerfindung der Natur: Primaten, Cyborgs und Frauen. Frankfurt/M. [Campus Verlag] 1995

Latour, Bruno: Wir sind nie modern gewesen: Versuch einer symmetrischen Anthropologie. Berlin [Suhrkamp] 2017

Law, John: After Method. Mess in social science research. London [Routledge] 2004

Law, John: Collateral realities. In: Baert, Patrick; Domínguez Rubio, Fernando (Hrsg.): The politics of knowledge. London [Routledge] 2012, S. 156–178

Nowacki, Pawel; Woda, Marek: Capabilities of ARCore and ARKit Platforms for AR/VR Applications. In: Zamojski, Wojciech; Mazurkiewicz, Jacek; Sugier, Jarosław; Walkowiak, Tomasz; Kacprzyk, Janusz (Hrsg.): Engineering in Dependability of Computer Systems and Networks. Basel [Springer Nature Switzerland] 2020, S. 358-370

o.A.: Hype um «Pokémon Go». Wenn die Monster-Jagd zu weit geht. In: Faz.net, 20.07.2016, http://www.faz.net/aktuell/gesellschaft/hype-um-pokemon-go-haelt-deutschland-seit-einer-woche-in-atem-14349079.html (07.09.2023)

Oufqir, Zainab; El Abderrahmani, Abdellatif; Satori, Khalid: ARKit and ARCore in serve to augmented reality. In: International Conference on Intelligent Systems and Computer Vision (ISCV). 2020, S. 1-7. https://ieeexplore.ieee.org/abstract/document/9204243 (07.09.2023)

Pardes, Arielle: Ikea’s New App Flaunts What You’ll Love Most About AR. In: wired.com, 20.09.2017. https://www.wired.com/story/ikea-place-AR-kit-augmented-reality/ (07.09.2023)

Przybylka, Nicola: Medienkulturwissenschaftliche Perspektiven auf Augmented und Virtual Reality in formalen Bildungskontexten. In: Medienpädagogik, 47, 2020, S. 331-354

Rancière, Jacques: Der emanzipierte Zuschauer. Wien [Passagen Verlag] 2009

Sprenger, Florian: Epistemologien des Umgebens. Zur Geschichte, Ökologie und Biopolitik künstlicher environments. Bielefeld [Transcript] 2019

Stengers, Isabelle: Cosmopolitics I. Minneapolis [University of Minnesota Press] 2010

Stengers, Isabelle: Relaying a War Machine? In: Alliez, Eric; Goffey, Andrew (Hrsg.): The Guattari effect. London [Continuum] 2011, S. 134–155

Sutherland, Ivan E.: A head-mounted three dimensional display. In: AFIPS Conference Proceedings, 33/1, 1968, S. 757-764

Umathum, Sandra: Kunst als Aufführungserfahrung. Zum Diskurs intersubjektiver Situationen in der zeitgenössischen Ausstellungskunst: Felix Gonzalez-Torres, Erwin Wurm und Tino Sehgal. Bielefeld [Transcript] 2011

Van Der Veen, Manuel: The Occupation of the Natural by the UnNatural. About the Operation of Superimposition in Augmented Reality and Trompe-l’oeil. In: SEQUITUR, 6/2, 2020. https://www.bu.edu/sequitur/2020/07/17/the-occupation-of-the-natural-by-the-unnatural-about-the-operation-of-the-superimposition-in-augmented-reality-and-trompe-loeil/ (07.09.2023)

Veenhof, Sander: Smile, you’re on augmented camera!. In: Medium.com, 18.07.2023. https://sanderveenhof.medium.com/smile-youre-on-augmented-camera-1ce0f797cbb3 (07.09.2023)

Verhoeff, Nanna; Dresscher, Paulien: XR: Crossing and Interfering Artistic Media Spaces. In: Hjorth, Larissa; De Souza E Silva, Adriana; Lanson, Klare (Hrsg.): The Routledge Companion to Mobile Media Art. Milton [Taylor & Francis Group] 2020, S. 482-492

Vollmer, André; Retiet, Florian; Heuer, Thomas: Pokémon Go. Zeitzeuge, Medienkonvergenz und Möglichkeiten von Mixed-Reality. In: Jahrbuch immersiver Medien, 8, 2016, S. 146-158

Fussnoten

---

About this article

Copyright

This article is distributed under Creative Commons Atrribution 4.0 International (CC BY 4.0). You are free to share and redistribute the material in any medium or format. The licensor cannot revoke these freedoms as long as you follow the license terms. You must however give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use. You may not apply legal terms or technological measures that legally restrict others from doing anything the license permits. More Information under https://creativecommons.org/licenses/by/4.0/deed.en.

Citation

Jens Fehrenbacher: AR als Relationale Intervention. Dynamiken ästhetischer Aushandlung zwischen Medientechnologie, Nutzenden und Umwelten. In: IMAGE. Zeitschrift für interdisziplinäre Bildwissenschaft, Band 39, 20. Jg., (1)2024, S. 78-102

ISSN

1614-0885

DOI

10.1453/1614-0885-1-2024-16219

First published online

März/2024