Sehr geehrte Leser*innen, die aktuelle, nunmehr 38. Ausgabe der IMAGE erscheint nun zum zweiten Mal in enger Zusammenarbeit mit dem Herbert von Halem Verlag. Sie enthält dieses Mal zwei Teile: Für die Herausgabe des regulären Teil dieser Ausgabe sind Katrin Brümmer und Martin Scholz verantwortlich. Er ist thematisch gebunden und den verschiedenen Themen der Datenvisualisierung gewidmet. Der Sonderteil wurde von Lukas R.A. Wilde und Klaus Sachs-Hombach herausgegeben. Er versammelt sechs Aufsätze zum Thema Emojis und basiert auf dem Panel „Emoji and Digital Stickers: Affective Labor and Lifeworld Mediation“, das während des 15. World Congress of Semiotics (IASS/AIS), „Semiotics in the Lifeworld“, am 31. August 2022 an der Aristotle University of Thessaloniki (Greece) stattfand.

Von Martin Scholz

Von Volker Ahlers | In vielen Anwendungskontexten spielen Netzwerke aus Entitäten (Personen, Orte, abstrakte Objekte) und Beziehungen zwischen Entitäten eine wichtige Rolle, die mathematisch als Graphen betrachtet werden können. Die Visualisierung solcher Netzwerke – engl. Graph Drawing – erleichtert es dem Menschen, diese zu verstehen und beispielsweise Muster zu erkennen. Im folgenden Beitrag werden Anwendungen aus der Bioinformatik und der IT-Sicherheit mit ihren jeweiligen Herausforderungen vorgestellt. Insbesondere wird darauf eingegangen, wie diese Herausforderungen, etwa die Dynamik eines Netzwerkes, die Wahl der visuellen Mittel bestimmen.

Von André Nakonz | Die Konzeption und Umsetzung von Architektur und Innenarchitektur scheint stark von digitalen und datenbasierten Prozessen geprägt zu sein, vor allem durch den Einsatz von 3D-Visualisierungen, CAD-Konstruktionen und 3D-Drucktechnologien. Es ist allerdings überraschend, dass die Baubranche zu den am wenigsten digitalisierten Sektoren der Wirtschaft zählt. Dabei bietet eine verstärkte Digitalisierung und Datenbasierung des Entwurfsprozesses großes Potenzial, um eine Bauweise zu ermöglichen, die dem Klima gerecht wird und schonend mit Ressourcen umgeht. Neue digitale und datenbasierte Werkzeuge könnten die Herausforderungen, die sich aus der Vereinigung von gestalterischer Qualität, Nachhaltigkeit und Bauvorschriften ergeben, erheblich vereinfachen. Der Artikel untersucht die geschichtlichen Ursachen für die unzureichende Digitalisierung in der Architektur und präsentiert anhand von drei Projekten mögliche Ansätze für eine datenbasierte und nachhaltige Entwurfsmethodik.

Von Carolin Scheler | Der Aufsatz untersucht das Verfahren der Motion Capture-Technologie als Werkzeug zur Datenvisualisierung. Um die aufgezeichneten Bewegungsdaten tatsächlich visuell erlebbar zu machen, reicht es nicht aus, sie lediglich zur Animation von Fantasiewesen zu benutzen. Im Fokus steht hier deshalb nicht die kommerzielle Nutzung, wie sie in großen Spielfilmproduktionen zum Einsatz kommt, sondern die Verwendung der Daten zur Erzeugung eines Erkenntnisgewinns – etwa über Bewegungsabläufe beim Tanz oder im Bereich der Musik. Die Daten werden hier nicht analog an virtuelle Körper gekoppelt, sondern oft abstrakt wiedergegeben. Die Ästhetik dieser so entstehenden Bewegtbilder hebt sich von einer filmischen Erzählweise ab und erinnert stattdessen stark an die frühen Anfänge der Animation, du zu Beginn häufig ebenfalls abstrakte Formen in Bewegung brachte und dabei oft selbstreflexive und sogar subversive Momente hervorbrachte.

Von Jennifer Münch | Auf einer klassischen Landkarte werden geografisch relevante Daten in unterschiedlichen Farben und Formen visuell dargestellt. Dies ist eine einfache Beschreibung einer klassischen Map in der Datenvisualisierung. Notwendig hierfür sind Geopositionen wie Längengrad und Breitengrad, GPS-Positionen oder je nach Visualisierungstool auch einfache Ländernamen oder -kürzel. Jedoch wird das System der Map nicht nur für die klassische Darstellung von Länderinformationen genutzt, sondern auch um Bilder einzubinden und diese als Visualisierungsgrundlage zu verwenden.Die Herausforderung hierbei besteht jedoch in der Verwendbarkeit der Visualisierungsform und deren Umsetzung. Denn je nach Use Case kann die Bearbeitung einer solchen Visualisierungsform viel Zeit und damit auch Geld kosten, was wiederum das Verhältnis zwischen Aufwand und Nutzen in Frage stellt. Um genau diese und andere Fragen zu beantworten, hat die Firma doubleSlash ein Vorgehensmodell entwickelt, welches bei der Planung und Umsetzung von Visualisierungen und Dashboards unterstützen soll.

Von Katrin Brümmer | Der vorliegende Beitrag widmet sich der kartografischen Darstellung von Räumen als Instrument sozialer Konstruktion und Macht. Er hinterfragt, ob Karten lediglich neutrale Abbildungen geographischer Realitäten sind, oder aktiv menschliche Intentionen und soziale Dynamiken beeinflussen. Basierend auf der kritischen Kartografie beleuchtet der Beitrag die enge Verflechtung von Macht und Wissen in kartografischen Diskursen. Dabei liegt der Fokus auf der Nutzung von Karten als Mittel zur Kontrolle und Reproduktion sozialer Hierarchien. Besonders im globalen Kontext erscheint diese Verbindung relevant, da Karten nicht nur Informationen vermitteln, sondern auch aktiv Einfluss auf Wahrnehmungen nehmen können. Die Auswirkungen der digitalen Technologie auf die Kartenerstellung und die Fülle an verfügbaren Geodaten werden dabei besonders berücksichtigt. Können Karten tatsächlich als bloße Orientierungshilfen betrachtet werden, oder spielen sie eine tiefgreifendere Rolle bei der Lenkung von Meinungen und Macht in der Gesellschaft?

Von Jonas Parnow | Trotz der weiten Verbreitung im popkulturellen Kontext und der starken Nutzung im kommerziellen und wissenschaftlichen Bereich ist die Datenvisualisierung als Werkzeug und Methodik noch wenig kritisch beleuchtet. Auf einer praktischen Ebene möchte ich Ansätze für eine reflektierte Auseinandersetzung aufzeigen. Diese Überlegungen sollen die verbreitete Annahme widerlegen, dass Daten die Realität objektiv abbilden. Anhand einiger Beispiele werden Visualisierungen aus popkulturellen Kontexten auf ihre Verzerrungen hin untersucht. Mit der Quantifizierung jeglicher Lebensbereiche und der Zentralisierung der Deutungshoheit über diese Datenmengen entwickelt sich ein zunehmendes Machtgefälle in der Gesellschaft. Als Reaktion darauf möchte ich im weiteren Verlauf dieses Artikels Projekte vorstellen, die Visualisierung zur Selbstermächtigung und Kritik dieser Ordnung nutzen und somit als Werkzeuge der Demokratisierung dienen können.

Von Bernhard Preim und Monique Meuschke | Dieses Buchkapitel stellt eine Einführung in die narrative (computergenerierte) Visualisierung dar. Da diese Visualisierungen auf Daten basieren, wird alternativ der Begriff data-based storytelling verwendet. Dieses relativ neue und dynamische Gebiet ist dadurch gekennzeichnet, dass Strategien aus dem Film, dem Theater und der Literatur eingesetzt werden, um Informationen auf interessante Weise aufzubereiten und zu vermitteln. Spezielle Genres der narrativen Visualisierung haben sich etabliert, wie beispielsweise Data Comics, Datenvideos, Slideshows oder das Scrollytelling, das vor allem in den Online-Varianten von Zeitschriften breit eingesetzt wird. Narrative Visualisierung ist für viele Wissenschaftsbereiche relevant und kann einen Beitrag zur Wissenschaftskommunikation leisten. Besonders wichtig sind Wissenschaftsbereiche, die für breite Bevölkerungsschichten von Interesse sind. Dazu zählen die Klimaforschung, die Astronomie, aber natürlich auch die Medizin. Wir diskutieren basierend auf eigenen Erfahrungen vor allem das Design und die Rezeption von narrativen Visualisierungen medizinischer Themen.

Von Julia Scholz-Köberlein | Die Komplexität unserer Welt wächst. Exponentiell. Alle Bereiche in denen wir handeln und leben sind zunehmend verflochten – die wirtschaftlichen, politischen und technologischen Zusammenhänge immer komplexer. Die aktuellen Probleme der Lösungen von gestern zeigen, dass ein Agieren im Silo langfristig unabsehbare Folgen haben kann. Ob aktuelles politisches Zeitgeschehen, Prozesse in Unternehmen oder wissenschaftliche Erkenntnisse: Um bessere Entscheidungen treffen zu können brauchen wir Details UND deren Kontext. Lineares Denken und lineare Vermittlungsmethoden können dem nicht gerecht werden. Darum hat Julia mit ihrem Team die Plattform KontextMaps entwickelt. Mit ihr können Übersicht und Tiefgang eines Themas in einer interaktiven Wissensmap vermittelt werden. Zum Eintauchen Entdecken und Verstehen.

Von Martin Scholz | Datenvisualisierungen sind, auch wenn für uns der digitale Kontext immer mitgemeint erscheint, letztlich eine alte Erfindung der Menschheit und in vielen Kulturen präsent, bspw. als Landkarten, Strömungsarten oder Klimaaufzeichnungen. Erst mit den Massenmedien des 19. Jahrhunderts gelangen diese Darstellungen zunehmend in die Öffentlichkeit. Die damit einhergehende andere Gestaltung – nämlich die für die Nicht-Expert*innen – muss als Entwicklungsgeschichte der Datenvisualisierung entlang der gesellschaftlichen Prozesse verstanden werden. Der emanzipatorische Prozess der zunehmenden Individualisierung führt zwangsläufig zu einer (explosionsartigen) Nachfrage nach einfachen, interaktiven, selbsterklärenden und zugleich verbindlichen Visualisierungsformen im sozialen Alltag. Der Aufsatz macht einen Vorschlag für ein fiktionales Visualisierungswerkzeug, das, ähnlich zu der Perspektivkonstruktion des 15. Jahrhunderts, die Vielzahl der verfügbaren Datensätze in eine einzige Perspektive, eben die des Subjektes, übersetzt.

By Lukas R.A. Wilde and Klaus Sachs-Hombach | Every day, billions of emoji are sent via mobile devices and chat programs, messengers, and emails. The worldwide emoji standardization – established in 2010 by the California-based Unicode Consortium – was aimed at overcoming linguistic and cultural barriers through a new digital form of pictograms and ideograms. Certainly, much has been written on the various linguistic functions of emoji ever since (cf. the contributions in GIANNOULIS/WILDE 2020). They intensify, neutralize, or soften the content of linguistic messages and serve as markers of interpersonal relationships and social contexts. To Luke Stark and Kate Crawford (2015: 1), emoji can thus be thought of as »signifiers of affective meaning« doing »›emojional‹ labor« (STARK/CRAWFORD 2015: 4) within economies of attention and affect. Vyvyan Evans (2017) conceptualized constantly changing ›emoji codes ‹ – in contrast to an overarching ›emoji language‹ – in order to emphasize that their meaning can only ever be determined in relation to specific cultural circles and according to different social, gender, or age groups. Marcel Danesi (2019) likewise argued that emoji use corresponds to an episodic and in fact narrative logic. A further technical development is represented by digital stickers, which are offered by various messaging services as further ›translations‹ of individual emoji into unique pictorial expressions (cf. WILDE 2021). Going beyond notions of static codes or fixed grammars, this special issue of IMAGE approaches emoji and digital stickers from the perspective of everyday communication and mediation.

By Michael Beißwenger and Steffen Pappert | Over the past decade and driven by the prevalence of messaging apps, images have become an integral part of digital personal communication. This article addresses the emoji phenomenon from a pragmalinguistic perspective. Starting from examples from journalistic media describing emojis as a potential ›threat‹ for language and linguistic competences, we address two aspects of scepticism towards emojis in relation to the (German) language: (i) the question of whether emojis are capable of making language obsolete as a means of interpersonal communication (= ›end of cultivated written language‹) and whether they have the potential to replace language in the form of a pictorial symbol language which is considered less expressive; (ii) whether the high-frequency use of emojis in some domains of linguistic activity threatens the function and expressive power of written communication (= ›language decline‹, which impairs the expressive capacity of our language). Based on authentic examples of private WhatsApp communication from a linguistic corpus, we show that the use of emojis in written everyday communication does not make language ›poorer‹. Quite contrary to the fears expressed in the public discourse, emojis take on important functions for securing understanding and shaping relationships and, thus, have to be considered a multimodal device which support the organisation of interpersonal communication in the digital world.

By Deborah Enzmann | Emojis have become an essential part of the communicative sign repertoires of billions of people. Their use has increased rapidly in recent years. The variability of meanings, the context-sensitive, polyfunctional, and ambiguous character of the signs is fascinating. The inconsistency of their many meanings, however, is a recurring topic in academic discourse. Research on the functions of emojis has mainly come from the field of linguistics, trying to structure and classify these signs from the respected perspectives. But what do sign processes using emojis look like? What influences do the formal, especially pictorial aspects have on the effect and the meaning of these signs? What is the relation between form and content? And how are ›abstraction‹ and ›identification‹ connected to each other? In the present article, the sign process with emojis will be explained based on Charles Sanders Peirce’s semiotics. Using messages from the ›Textmoji‹ case study and proposing a semiotic model, it will be shown what a sign process with emojis looks like. The focus will be on the intentions of users to employ these signs. Charles S. Peirce’s semiotics is applied to specific messages from the case study through a novel model based on his theory of signs. In a concluding step, the present article will demonstrate how recognition of a face takes place across different degrees of abstraction, drawing especially on comic book theory and cognitive semiotics.

By Andrea Ferretti | The integration of digital messaging applications into the most diverse practices of everyday life drives a rethinking of the relationship between bodies, orality, and writing within human communication. Communicative cues such as tone of voice, gestures, facial expressions, etc. find in emojis a way of translating themselves through a new kind of informal writing. Under this lens, some significant aspects of the merging of emojis and alphabetic writing can be investigated. This article reflects on the semiotic features of this translation and on the encyclopedic skills that the use and comprehension of emojis require. Special emphasis is placed on the linguistically mediated nature of emojis meaning. Despite their apparent grounding and iconicity, they can only be explained through the filter of linguistic, cultural, and socio-pragmatic coordinates. In short, the paper provides an understanding of emojis as a semiotic code, which contributes to characterizing digital communication. The semiotic code of emojis creates a space for collective reflection and creativity surrounding the expression of emotions, mutual social evaluation, social relationships, etc. Despite the fragmentation and the exploitative dynamics typical of digital environments, the use of this semiotic code will be depicted as an ongoing collective game, concerned with the replacement of individual bodies, even in the most mundane and informal communicative exchanges.

By Christina Margrit Siever | Emojis have become an indispensable part of digital communication. There are undoubtedly cultural differences and individual preferences in their use, but the utilization of emojis naturally also depends on the communication situation and the topic. The present article is about emojis that are applied in the context of digital mourning on Twitter for so-called ›angel babies‹ (German: »Sternenkinder«), i.e., children who die (shortly) before, during, or after birth, and sometimes also later. The article analyzes the extent to which emojis are used in mourning processes in addition to verbally expressed grief for a deceased child and what function they have in this context. In particular, it will be analyzed what multimodal communication with emojis looks like, i.e., whether emojis are part of the message or rather have an illustrative character. In addition, the question is explored whether there are specific emojis for digital mourning communication and to what extent symbols that can be interpreted in religious terms can also be found (for example angels, praying hands, or candles). The facial signs used will also be examined; for example, the extent to which crying and sad emoticons are used to express grief and empathy. Furthermore, it will be discussed whether the heart as a symbol of love is also as present in grief communication on Twitter – as observed elsewhere in digital communication. The data basis for the analysis is a corpus of around 8,351 German-language tweets containing the sequence of characters »sternenkind« (angel baby).

By Michaela Oberwinkler | This study examines the usage of digital stickers in Japanese LINE communication by analyzing 764 cases in authentic data. Digital stickers are often described as emojis, just larger in size. I argue, however, that stickers differ from emojis in that they are more expressive and fulfill more functions as a result of their ability to perform a distinct speech act on their own, such as intensifying a text message, softening a request, or serving as decoration to indicate one’s positive attitude. Additionally, the analysis of sticker usage among university students brought to light that the majority of stickers are sent independently, i.e., without an accompanying text message, thus revealing a way of communicating visually without words. Moreover, further examination of textual features and gender differences showed that female students used more animal stickers than male students, that men used fewer stickers with an integrated text when communicating with women than with other men, and that women used fewer criticizing stickers than men. Overall, the analysis of the stickers actually employed indicates that sticker usage combines many cultural features that are closely connected to the Japanese way of communicating.

By Marcel Lemmes | The present article explores the affective and communal dimensions of emoji as semiotic resources in digital communication. From a media studies perspective, the author analyzes the usage of emoji on the live streaming platform Twitch and the community chat platform Discord. In exploring the specific affordances these media platforms provide, a comprehensive framework for examining the usage of emoji within these and related contexts is established. The framework takes into consideration emoji’s pictorial qualities, their role as signs, and their intersemiotic embeddedness within digital platforms. Additionally, the article emphasizes the importance of cultural and contextual knowledge in understanding emoji usage. By integrating these elements, the article aims to shed light on the multifaceted nature of emoji and their significance in fostering affective and communal interactions within online communities. It also points toward a broader transdisciplinary perspective that could further enrich an understanding of the social/communal functions of emoji, such as research on internet memes and fandom.