Mit Daten malen Das kreative Potenzial der Motion Capture-Technologie

Von Carolin Scheler

Abstract

Der Aufsatz untersucht das Verfahren der Motion Capture-Technologie als Werkzeug zur Datenvisualisierung. Um die aufgezeichneten Bewegungsdaten tatsächlich visuell erlebbar zu machen, reicht es nicht aus, sie lediglich zur Animation von Fantasiewesen zu benutzen. Im Fokus steht hier deshalb nicht die kommerzielle Nutzung, wie sie in großen Spielfilmproduktionen zum Einsatz kommt, sondern die Verwendung der Daten zur Erzeugung eines Erkenntnisgewinns – etwa über Bewegungsabläufe beim Tanz oder im Bereich der Musik. Die Daten werden hier nicht analog an virtuelle Körper gekoppelt, sondern oft abstrakt wiedergegeben. Die Ästhetik dieser so entstehenden Bewegtbilder hebt sich von einer filmischen Erzählweise ab und erinnert stattdessen stark an die frühen Anfänge der Animation, du zu Beginn häufig ebenfalls abstrakte Formen in Bewegung brachte und dabei oft selbstreflexive und sogar subversive Momente hervorbrachte.

This paper examines the use of motion capture technology as a tool for data visualization. In order to make the recorded motion data actually visually experienceable, it is not sufficient to use it only for the animation of fantasy creatures. The focus here is therefore not on commercial use, as is the case in large feature film productions, but on using the data to gain knowledge – for example about movement sequences in dance or in the field of music. Here, the data are not coupled analogously to virtual bodies, but are often rendered abstractly. The aesthetics of the moving images created in this way stand out from a cinematic narrative and are instead strongly reminiscent of the initial stages of animation, which in the beginning often also brought abstract forms into motion, frequently producing self-reflexive and even subversive moments.

Die Motion Capture-Technologie lässt sich zum Einstieg am einfachsten mit einem bekannten Beispiel aus der Populärkultur veranschaulichen. So ist etwa die Figur Gollum aus den Herr Der Ringe-Filmen damit zum Leben erweckt worden. Verwendet wurden für die Fantasiefigur die Bewegungen des Schauspielers Andy Serkis. Sie wurden aufgezeichnet und anschließend – in einer Reihe von zahlreichen Bearbeitungsschritten – auf sein virtuelles Alter Ego übertragen. Doch, um sich im Folgenden aus produktionsästhetischer Perspektive tiefergehend mit dem Verfahren, das in dieser Art häufig zum Einsatz kommt, befassen zu können, ist ein kurzer, etwas genauerer Einblick in die Funktionsweise der Technologie erforderlich: Zentral ist zunächst einmal die Tatsache, dass ein Motion Capture-System speziell dafür ausgerichtet ist, Daten zu generieren. Es handelt sich dabei in verschiedenen Bearbeitungsschritten jeweils um Positionsdaten (fachsprachlich Translationsdaten) oder um Rotationsdaten von einem beliebigen Objekt, einem Tier oder einem menschlichen Körper. Ein traditionelles und besonders präzises Verfahren besteht aus einer größeren Anzahl an speziellen Kameras, die kreisförmig angeordnet sind und die alle jeweils in die Mitte des Kreises gerichtet sind. Dort in diesem Zentrum muss sich schließlich die Bewegung zutragen, um sie einzufangen. Die Kameras in dieser Art System sind auf eine spezielle Weise kalibriert, sodass sie lediglich starke Kontraste wahrnehmen können. Sie sollen nicht dafür zum Einsatz kommen, gewöhnliche Kameraaufnahmen von Körpern aufzuzeichnen, stattdessen sind sie darauf ausgerichtet, Signale zu erfassen, die sich als Datenmenge weiterverarbeiten lassen. Alles, was die Kameras demnach erkennen können, sind helle Lichtreflexionen. Etwas, das nicht strahlt oder einen bestimmten Helligkeitswert hat, wird nicht erfasst. Aus diesem Grund ist es notwendig, aufzuzeichnende Körper mit Reflexpunkten auszustatten und gleichzeitig dafür zu sorgen, dass sich nicht versehentlich reflexive oder sehr helle Oberflächen im Sichtfeld der Kameras befinden. Die Reflexpunkte sind wie in Abbildung 1 zu sehen ist, kleine mit reflexivem Material beschichtete Kugeln.

Abbildung 1: Motion Capture-Marker, 2013, Fotografie, Carolin Scheler

Um die Bewegungsdaten eines menschlichen Körpers aufzuzeichnen, hat es sich einerseits bewährt, die sogenannten Marker möglichst nah an der Silhouette des Menschen zu platzieren – weshalb sich für die Aufnahmen hautenge elastische Anzüge etabliert haben – und sie andererseits an markanten Gelenkpunkten sowie auch zwischen diesen zu befestigen. Da die Kameras in ihrer Position zueinander und in Bezug auf ihren Ort im Raum entsprechend kalibriert sind, können sie, unterstützt durch ihre kreisförmige Anordnung, anhand der reflexiven Marker schließlich eine dreidimensionale Punktwolke erkennen und diese über eine spezielle Software im virtuellen Raum wiedergeben (s. Abb. 2).

Abbildung 2: Motion Capture-Punktewolke, 2014, Screenshot Vicon Blade

Jeder einzelne reflexive Marker wird also von allen Kameras als derselbe erfasst. In den weiteren Bearbeitungsschritten lässt sich schließlich von den Positionen der einzelnen Punkte, also von den Translationsdaten ableiten, welche Rotationen in den jeweiligen Gelenken des Menschen (oder eines potenziell aufgezeichneten Tiers) stattfinden. Hierbei werden entsprechend für Gelenke, die nur in eine Richtung rotieren können – etwa der Ellenbogen – Rotationswerte nur für eine Achse ermittelt, für Gelenke wie die Schulter, die in alle Richtungen rotieren können, erhält man mit dem Verfahren Werte für alle drei Achsen im dreidimensionalen Raum, also X-, Y- und Z-Rotationsdaten.

Diese Rotationswerte können dann auf ein virtuelles Skelett übertragen werden, das dem aufgezeichneten Objekt ähnelt – etwa Mensch zu Gollum –, sodass sich der virtuelle Körper anschließend bewegt wie der aufgezeichnete.

Abbildung 3: Skelett-Pose in Autodesk® Maya®, 2014, Screenshot, Autodesk Screenshot reproduziert mit freundlicher Genehmigung von Autodesk, Inc.

Da dieses hier beschriebene Verfahren sehr aufwändig ist, wird fortlaufend daran geforscht, weitere Technologien zu entwickeln, die ein weniger komplexes Setup benötigen und nach Möglichkeit ohne Marker und auch ohne die Kameras funktionieren, um Aufnahmen auch außerhalb eines Studios realisieren zu können. Inzwischen sind deshalb ebenfalls Verfahren etabliert, die sich auf Videoaufnahmen stützen, anhand derer Bewegungen auch ohne Marker erfasst werden können, oder die mithilfe eines Anzugs und ganz ohne Kamera funktionieren (vgl. Menolotto 2020: 1; vgl. Skroblin 2019).

Die Anwendungsgebiete für das Motion Capturing sind vielfältig. Neben medizinischen Zwecken und Sportanalysen, ist vor allem die Entertain­ment­industrie – etwa die Bereiche Film und Gaming – auf die Technologie angewiesen (vgl. Menolotto 2020: 2).

Wie nachfolgend jedoch gezeigt werden soll, lässt sich das Verfahren auch abseits dieser konventionellen Nutzungsweisen zum Einsatz bringen, denn dann eröffnen die gewonnenen Daten nicht nur weitere kreative Ausdrucksmöglichkeiten, sondern zugleich neue Erkenntnisse über die aufgezeichneten Bewegungen. Anwendungen wie sie in der Medizin oder auch in der Entertainmentbranche üblich sind, rücken nun also in den Hintergrund. Stattdessen sollen die generierten Daten selbst in den Blick genommen werden.

Als Reibungsfläche für die Untersuchung der Motion Capture-Technologie eignet sich das Feld der Animation, denn gerade im Vergleich dazu lassen sich interessante Erkenntnisse über das Motion Capturing gewinnen. Aus historischer Perspektive sind die beiden Verfahren sogar eng miteinander verwandt, denn das Rotoskopieren, eine frühe Form des Motions Capturings, wurde bereits im Jahr 1917 von den Fleischer Studios als Methode patentiert, um „moving-picture cartoons“ (Fleischer 1917: 1) einfacher produzieren zu können. Auch hier stand also die Entertainmentindustrie im Mittelpunkt. Die Idee war es, eine Schauspielerin zunächst zu filmen, um anschließend ihre Kontur Frame für Frame nachzuzeichnen und diese Bewegungsabfolge schließlich auf eine Cartoon-Figur zu übertragen (vgl. ebd.: 1). Anhand eines Beispiels aus dem Fleischer-Film Betty Boop in Snow White aus dem Jahr 1933 lässt sich das frühe Verfahren veranschaulichen. Abbildung 4 zeigt einen direkten Vergleich zwischen der gefilmten Bewegung des Sängers Cab Calloways auf der rechten Seite und die nachgezeichnete Pose im fertigen Zeichentrick-Film auf der linken Seite.

Abbildung 4: Fleischer Studio, Rotoskopie in Betty Boop in Snow White (1933), 2018, Videostandbild aus Betty Boop Cab Calloway Rotoscoping Comparison, https://www.youtube.com/watch?v=Kwg-MfEwoAM (08.04.2023)

Auch von dem Fleischer-Konkurrenten Disney wurde das Verfahren für die eigene Version von Schneewittchen in dem ersten animierten Zeichentrickfilm in Spielfilmlänge Snow White and the Seven Dwarfs im Jahr 1937 aufgegriffen und weiterentwickelt (vgl. Kitagawa/Windsor 2017: 6). Für Disney war dieser Schritt eine konsequente Entwicklung, da das Studio ohnehin schon frühzeitig, also etwa ab Ende der 1920er-Jahre das Ziel verfolgte, Animation wirtschaftlich zu gestalten (vgl. Wells 2002: 20ff.; vgl. Wells 1998: 22f.). Der Hintergrund soll hier kurz vertieft werden, um die weitere Argumentation zum Verfahren des Motion Capturings besser nachvollziehbar zu machen.

Grundsätzlich existieren zwei unterschiedliche Herangehensweisen zu animieren: Frame to Frame-Animation und Keyframe-Animation. Der Unterschied und die damit verbundenen jeweiligen Auswirkungen auf den Animationsprozess sind zentral für die nachfolgende Argumentation zum Motion Capturing. Wie der Name sagt, wird eine Animation bei der Frame to Frame-Methode Schritt für Schritt entwickelt, sodass sich eine Bewegung über die zum Beispiel zwölf oder 24 Bilder pro Sekunde allmählich entwickeln kann. Das Vorgehen ist intuitiv und nicht sonderlich planbar. Es lässt sich zudem nicht gut reproduzieren. Veranschaulichen lässt sich das Verfahren mit der so genannten kameralosen Animation von dem kanadischen Animationskünstler Norman McLaren. Er malte direkt Bild für Bild auf den Filmstreifen, um seine Bewegungen zu erzeugen (vgl. Jordan 1953: 3f.). Sein abstrakter Animationsfilm Blinkity Blank aus dem Jahr 1955 ist zum Beispiel auf diese Weise entstanden (vgl. National Film Board of Canada).

Doch auch Charaktere lassen sich mit der Frame-to-Frame-Methode animieren, wie etwa für die von Walt Disney produzierten Silly Symphonies. In dem von Ub Iwerks animierten Film Skeleton Dance (vgl. Walt Disney Animation Studios 2015) aus dem Jahr 1929 beispielsweise ist eine typische Eigenart früher Animation auszumachen: Der Zeichentrick lebt hier davon, alles das auszuprobieren, was eine Kamera nicht leisten kann. Die ‚Handlung‘ hangelt sich in Slapstick-artiger Weise von Gag zu Gag.

Für Walt Disney war diese Form der Animation langfristig nicht lukrativ – eine längere zusammenhängende Geschichte ließ sich auf diese Weise kaum erzählen, weshalb der Pionier die Animation in eine neue Richtung lenkte, indem er ein Animationsverfahren entwickelte, das plan- und reproduzierbar war. Die Innovation lag darin, Bewegungsabläufe mithilfe von sogenannten Keyposen zuvor festlegen zu können, bevor die Animation eigentlich durchgeführt wurde. Sie orientierte sich seitdem jedoch auch zunehmend an der Ästhetik des mit der Kamera aufgezeichneten Films (vgl. Wells 1998: 24). Der Animationsprozess wurde aufgeteilt zwischen einigen wenigen, die die Key-Posen der Figuren festlegten und zahlreichen so genannten Inbetweeners, die die Bewegungen zwischen den Hauptposen zeichneten (vgl. Williams 2009: 48ff.).[1] Die Erfindung des Rotoskopierens durch die Fleischer-Studios beschleunigte den Animationsprozess weiter und erzeugte gleichzeitig eine noch größere Nähe zum Film.

Laut dem britischen Animationstheoretiker Paul Wells machte die Animation als Ausdrucksmittel mit dieser Entwicklung erhebliche Einbußen. Typische Merkmale der Animation wie zum Beispiel Metamorphosen und extreme Squash und Stretch-Momente, wie sie noch bei McLaren oder Iwerks – und damit bei Disney selbst – zu sehen waren, bildeten in dem neuen, industrialisierten Animations-Ansatz nicht mehr die treibende Kraft. Darüber hinaus rückte auch die Selbstreflexivität allmählich in den Hintergrund, die gerade zahlreiche der frühen Animationen auszeichnet, denn häufig thematisierten diese ihr eigenes Künstlich-Sein (vgl. Wells 1998: 16). Der Film Tantalizing Fly (vgl. Fleischer Studios 2015) aus dem Jahr 1919 mit dem Charakter Coco the Clown von dem Fleischer-Studio ist ein treffendes Beispiel, da hier zunächst zu sehen ist, wie Max Fleischer die Figur zeichnet und wie sie anschließend mit einer ‚echten‘, also gefilmten Fliege beginnt zu interagieren.[2]

Heute bleibt insbesondere am Computer in den gängigen Programmen – wenn man sich nicht bewusst anders entscheidet – das neuere ‚Disney‘-Verfahren übrig. Die Inbetweeners wurden hier ersetzt durch einen automatisierten Vorgang, bei dem der Computer zwischen zwei Key-Posen interpoliert. Möchte man Einfluss auf die Bewegung zwischen den Posen nehmen, arbeitet man nicht mehr direkt am animierten Objekt, sondern manipuliert stattdessen die so genannten Animationskurven in einem Graph Editor, in dem die Interpolation in einem Koordinatensystem anhand von Kurven dargestellt wird (s. Abb. 5).

Abbildung 5: Graph Editor in Autodesk Maya, 2015, Screenshot, Autodesk Screenshots reproduziert mit freundlicher Genehmigung von Autodesk, Inc.

Angemerkt sei an dieser Stelle, dass auch das Rotoskopieren als digitales Tool überdauert hat. Obwohl mit dem heutigen Motion Capturing heute ein anderes Verfahren etabliert ist, mit dem sich Bewegungen aufzeichnen lassen, lässt sich das Rotoskopieren als historisches Artefakt noch heute als Werkzeug im Rahmen von Compositing- oder Effekte-Software wiederfinden, wo sich die Konturen von Formen in automatisierter Weise verfolgen lassen, um den abgesteckten Bereich gesondert bearbeiten zu können – beispielsweise, wie in Abbildung 6 und 7 veranschaulicht, um Text hinter einem Objekt zu platzieren (vgl. Adobe).

Abbildung 6: Rotoskopie-Werkzeug in Adobe® After Effects®, 2023, Screenshot, Screenshot eines Adobe-Produkts nachgedruckt mit freundlicher Genehmigung von Adobe

Abbildung 7: Bewegtbildmontage mit Schriftzug hinter der Freiheitsstatue in New York, 2023, Videostandbild, Video und Montage: Carolin Scheler.

Der geschichtliche Exkurs mündet nun in die interessante Beobachtung, dass heute – anders als bei den Fleischer- oder Disney-Studios – die Techniken des Animierens und des Motion Capturings nicht mehr als Ergänzung, sondern geradezu als Gegensatz bzw. Konkurrenz betrachtet werden. Yacov Freedman setzt sich in seinem Aufsatz Is It Real … or is it Motion Capture? The Battle to Redefine Animation in the Age of Digital Performance aus film- und medienwissenschaftlicher Perspektive gezielt mit diesem Konflikt auseinander. Unter Bezugnahme auf die Position des Animationshistorikers Tom Sito stellt Freedman heraus: „Sixty years after Snow White, the quality of animation is no longer the sole concern – the technique itself is now a suspect, a tool for ‚people who trace‘ (as opposed, one presumes, to ‚artists who create‘), and is considered somehow fraudulent and immoral“ (Freedman 2012: 40).

Manche Animationsstudios – etwa Pixar – weisen deutlich darauf hin, dass sie keine automatisierten Verfahren nutzen. Freedman nennt hier beispielhaft den Film Ratatouille aus dem Jahr 2007, in dessen Nachspann ein Qualitätssigel eingeblendet wird, das der Produktion das Label ‚genuine Animation‘ attestiert (vgl. ebd.: 38). Im Abspann des Films wird also – wie in Abbildung 8 zu sehen ist – verkündet: „No motion capture or any other performance shortcuts were used in the performance of this film“ (vgl. Bird/Pinkava 2007).

Abbildung 8: Pixar Animation Studios, Ratatouille, 2007, Filmstandbild aus dem Abspann, https://www.disneyplus.com/de-de/movies/ratatouille/4zRnUvYGbUZG, (21.04.2023).

Der automatisierte Vorgang, Bewegungsdaten aufzuzeichnen, – dieser Shortcut, wie es hier heißt – reicht für das Studio offenkundig nicht an das kreative Potenzial des Handwerks der Animation heran. Brad Bird, einer der Regisseure des Films, erläutert in einem Tweet, das Siegel sei „a response to a trend at the time of making ‚animated‘ films with real-time motion capture rather than the frame by frame technique that I love & was proud that we had used on RATATOUILLE“ (Bird 2020). Interessant ist, dass Bird hier auf den Frame-by-Frame-Ansatz verweist, denn auch die Pixarfilme werden tatsächlich nicht Frame für Frame animiert. Gerade Bird hat als Regisseur unter anderem bei dem prominenten Disney-Animator Milt Kahl das Handwerk der Animation gelernt (vgl. Walt Disney Family Museum) – und Milt Kahl lässt sich bereits zu der Disney-Ära zählen, in der das Studio seinen industrialisierten Keyframe-Ansatz verfolgte. Auch Pixar betreibt wirtschaftsorientierte und vor allem softwaregestützte Animation, die nur noch wenig mit der freien Frame-to-Frame-Animation zu tun hat. Allein anhand ihrer technischen Forschung, die das Studio im Rahmen von Konferenzen regelmäßig präsentiert, um die Fortschritte ihrer verwendeten oder neu entwickelten Technologien vorzustellen, wird deutlich, dass die Animation bei Pixar sehr stark automatisiert wird (vgl. bspw. Stelzleni et al. 2015).

Unabhängig davon, welche Motivation für das Animationsstudio hinter dessen Entscheidung steht, die Motion Capture-Technologie nicht zu verwenden, und auch unabhängig davon, ob diese Entscheidung nachvollziehbar ist, stellt sich nun die Frage, ob der von Pixar zum Ausdruck gebrachte Vorwurf an das automatisierte Verfahren gerechtfertigt ist. Es wird deshalb für den vorliegenden Aufsatz – entgegen den gängigen Vorstellungen der Animationsfilmindustrie – die Arbeitshypothese aufgestellt, dass heutige Motion Capture-Verfahren den freien und selbstreflexiven Anfängen der Animation durchaus gerecht werden können. Das automatisierte Verfahren zur Generierung von Bewegungsdaten bietet, so die Annahme, einen kreativen Spielraum, der einerseits wieder einen intuitiven Zugriff auf Bewegungsabläufe und damit neue Erkenntnisse hierzu erlaubt, und der andererseits industrialisierte Animationsverfahren geradezu konservativ erscheinen lässt. Möglich ist dieser Zugriff, wenn ein produktionsästhetischer Blickwinkel eingenommen wird und die Bewegungsdaten selbst in den Vordergrund des Geschehens rücken.

Um in die Begründung der These einzusteigen, bietet es sich an, noch einen Moment bei Pixar zu verharren. Wenngleich das Motion Capturing von dem Studio verschmäht wird, kann dennoch davon ausgegangen werden, dass die Technologie zugleich eine Art Ansporn für das Animationsstudio darstellt. Das Qualitätssiegel in dem Film Ratatouille stellt immerhin selbst einen Bezug zu dem Verfahren her und darüber hinaus gibt Pixar damit indirekt preis, dass sich an ihren Animationen gar nicht direkt erkennen lässt, ob sie automatisierte Prozesse verwendet haben oder nicht. Nicht nur mit Ratatouille, sondern auch mit der neueren Pixar-Produktion Soul aus dem Jahr 2020 lässt sich diese Beobachtung veranschaulichen.

Der Film handelt von dem Jazzmusiker Joe, der sich in New York als Musiklehrer über Wasser hält, aber eigentlich von einer Karriere als großer Jazzpianist träumt. Ein Sturz in einen Schacht und eine damit verbundene ‚Reise‘ ins Jenseits verhindern seine Pläne, spornen ihn jedoch erst recht dazu an, sich für seinen Traum einzusetzen. Für die Szenen, in denen seine Hände am Klavier zu sehen sind, wurde von Pixar ein aufwändiges Animationssetup entwickelt, um die Bewegungen der einzelnen Sehnen und Muskeln, die beim Klavierspielen auf den Handrücken tänzeln, besonders glaubwürdig darstellen zu können (vgl. Insider 2021). Als Vorlage für die Animation dienten Videos von den Händen Jon Batistes, der für die Jazzkompositionen im Film zuständig war (vgl. Marshall et al. 2020; vgl. Disney UK 2020).

Die Animationen sind also – beinahe ähnlich wie beim früheren Rotoskopieren – einer Videoaufnahme nachempfunden. Kemp Powers, einer der Regisseure des Films, der zuvor noch nicht für das Studio gearbeitet hatte, erzählt in einem Interview zum Film, dass er ursprünglich gefragt hatte, warum die Szenen nicht mit Motion Capturing aufgezeichnet werden. Die Reaktion schildert er ebenfalls: „Everyone was like, ‚How dare you? We don’t mo-cap, we animate!‘ And I was blown away. We always applaud when we watch a great sequence for the first time, but the first time we saw one of the jazz performance sequences in the film, it was a level of applause like, ‚Whoa, no way did we just see that!‘ It blew everyone away to see that animated“ (Marshall et al. 2020).

Auch hier bestätigt sich also der Eindruck, dass es Kenntnisse über den Prozess benötigt, um die Arbeit, die in der Animation steckt, als solche von dem Motion Capturing-Verfahren unterscheiden und – was offenkundig auch Brad Birds Anliegen war, seinen Tweet zu verfassen – den Aufwand und die Detailtreue angemessen würdigen zu können. Kemp Powers Frage, warum die Technologie nicht zum Einsatz gekommen ist, hat also eine gewisse Berechtigung und sie zeigt, dass ihm sogar als Regisseur nicht unmittelbar ins Auge gefallen ist, wodurch die Animation bei Pixar ihre Eigenständigkeit gewinnt und sich von einem automatisierten Verfahren ästhetisch abhebt.

Wenngleich die Pixarfilme ihre eigene Bildästhetik betreffend häufig sehr selbstreflexiv mit ihrer eigenen Gemachtheit umgehen und damit in dieser Hinsicht Ansätze der frühen Trickfilme bedienen, lässt sich zumindest in Bezug auf die Animation der klavierspielenden Hand feststellen, dass sie sich nicht besonders eigensinnig verhält, sondern – bis auf den Look der Szene und die Gestaltung des Charakters – so auch gefilmt oder mit Motion Capturing hätte umgesetzt werden können.[3]

Wenn hier nun also die Animation Pixars zumindest in dieser Szene als konservativ beschrieben werden könnte und zudem auch die Technologie des Motion Capturings den Job hätte erledigen können, weshalb lässt sich dann die Behauptung aufstellen, dass das Verfahren ein kreatives Potenzial besitzt, das sich ausgerechnet mit den frühen, freieren Formen der Animation in Verbindung bringen lässt?

Der Grund für diese Annahme liegt zunächst einmal in der prinzipiellen Vorstellung, dass sich innerhalb von Softwaresystemen kreatives Potenzial und Ausdrucksfreiheit erlangen lässt, wenn man vertraute Wege verlässt und die Technologie auf eine Weise zum Einsatz bringt, wie es vielleicht nicht gedacht war. Das Pixarstudio verlässt, so soll hier behauptet werden, diese Wege nur selten, was auch damit zusammenhängt, dass es die Industrie und die vertrauen Wege selbst vorrangig mitgestaltet hat (vgl. Scheler 2021: 139f.) – wenn auch nicht das Motion Capture-Verfahren. Bis heute vertreibt das Studio mit RenderMan zudem eine eigens entwickelte Software (vgl. Price 2009: 259), mit der nicht nur die eigenen Produktionen, sondern die Effekte beispielsweise für die Harry Potter- und auch die Avatar-Filme sowie für viele andere Blockbuster gerendert werden (vgl. Pixar RenderMan).

Um nun also darzulegen, wie sich mit einem so konservativen Verfahren wie dem des Motion Capturings eine Brücke zu den frühen, verspielten Zeichentrickanimationen schlagen lässt, soll zur Veranschaulichung ein eigens angefertigtes Praxisbeispiel herangezogen werden. Gelingen kann der Brückenschlag, wenn man die Daten selbst als Material betrachtet und sich zunutze macht. Um eine bessere Vergleichbarkeit zu der Szene aus dem Pixar-Film herzustellen,[4] wurde eine kurze Melodie am Klavier komponiert sowie anschließend die Bewegung der Hand auf den Tasten zur weiteren Verwendung aus Vogelperspektive getrackt und in Form von Daten gespeichert.

Zur Aufzeichnung der Daten wurde ein intelligenter open source Computer Vision-Algorithmus und eine Webcam genutzt. Computer Vision bedeutet – wie der Name sagt – dass der Computer bzw. eine daran gekoppelte Kamera etwas sieht und erkennt. Im Falle des Beispiels wurde der Code dafür benutzt, die Hand im Bild auf den Klaviertasten zu identifizieren und anschließend die Positionen der Gelenke im Raum zu ermitteln. Der Algorithmus ist dabei sogar in der Lage, von dem zweidimensionalen Bild der Webcam die dreidimensionale Position der Knöchel zu schätzen, also nicht nur zu erkennen, wenn sich ein Gelenk von links nach rechts im Bild bewegt, sondern ebenfalls, wenn sich ein Gelenk von der Kamera entfernt oder sich ihr nähert, beispielsweise, wenn mit einem Finger eine Klaviertaste heruntergedrückt wird. Das Verfahren generiert anders als in der Industrie etablierte Systeme keine Rotations-, sondern Translationsdaten, also jeweils einen x-, y- und z-Wert für jedes Gelenk im Raum. Der Versuch, von diesen Werten rückwärts Rotationsdaten abzuleiten, war nicht zufriedenstellen, weshalb zur Veranschaulichung hier die Translationsdaten dienen.

Abbildung 9: Computer Vision Hand Tracking Test, 2023, Videostandbild, Video und Tracking: Carolin Scheler, https://vimeo.com/816002469 (21.04.2023)

In einer Gegenüberstellung der realen und der virtuellen Hand wird ersichtlich, dass die aufgezeichneten Daten ein starkes Zittern aufweisen.[5] Hierbei handelt es sich um Artefakte, die nicht zur eigentlichen Bewegung der Hand gehören. Jedes Motion Capture-Verfahren bringt solche Artefakte (auch Noise genannt) hervor, allerdings sind sie in dem hier besprochenen Beispiel besonders stark, da es sich bei dem verwendeten Setup eigentlich um ein Tool zur Echtzeitverfolgung von Bewegung handelt, nicht jedoch um ein tatsächliches Motion Capture-System, das darauf ausgelegt ist, präzise Daten auszugeben. Dafür wären allein mehrere Kameras notwendig – so wie es auch bei dem zu Beginn beschriebenen System der Fall ist –, um den Ort der Gelenke nicht nur zu schätzen, sondern ihn tatsächlich ermitteln zu können. Die Qualität der Daten ist zudem abhängig von der Auflösung und Lichtstärke der verwendeten Kamera. Dennoch ist in dem hier gezeigten Beispiel anhand des 3D-Skeletts die ursprüngliche Bewegung der Hand am Klavier auch virtuell noch deutlich zu erkennen.

Die Skelett-Hand, zu sehen in Abbildung 9, wurde in Autodesk Maya mithilfe der vom Computer Vision-Algorithmus getrackten Daten erzeugt. Letztendlich dient das virtuelle Skelett allerdings lediglich zur Veranschaulichung. Die Daten wurden nur deshalb in Maya überführt, um sie dort als Arbeitsmaterial verfügbar zu machen.

Es wäre jetzt möglich, an dieses Skelett eine realistische Hand zu knüpfen und damit die Bewegung in den virtuellen Raum zu übertragen – mit einem ähnlichen Ergebnis wie im Pixar-Film. Doch mithilfe dieser Art von Visualisierung würde man über die Bewegung der Hand am Klavier keine umfangreicheren Erkenntnisse gewinnen als von dem Video der echten Hand. Die Daten lassen sich also – so immer noch die Annahme – wesentlich sichtbarer machen, wenn sie nicht dafür zum Einsatz kommen, ein virtuelles Objekt zu steuern, das der Hand entspricht, sondern ein beliebiges anderes. Für das experimentelle Beispiel wurde deshalb, wie in Abbildung 10 zu sehen ist, an jeden der 5 Finger ein visuelles Element, in diesem Fall eine kreisrunde Fläche geheftet, um diese mithilfe der Daten in Bewegung zu bringen, und zwar entlang derjenigen Parameter, die eine besondere Aussagekraft besitzen. Das ist zum einen die Bewegung, die die Hand auf der Klaviatur von links nach rechts vornimmt und zum anderen die Bewegung, die die Hand ausführt, wenn sie sich von den Tasten hebt und senkt. Im Ergebnis ist schließlich ein Video entstanden, in dem die Kreise sich rhythmisch von links nach rechts bewegen und sich in ihrer Größe verändern.[6]

Abbildung 10: Abstract Hand Tracking Visualization, 2023, Videostandbild, Carolin Scheler, https://vimeo.com/816002532 (21.04.2023)

Die seitliche Bewegung der Flächen wird ausgelöst von der Seitwärtsbewegung der einzelnen Fingerspitzen. So ist zu erkennen, dass diese sich – logischerweise – insgesamt mit der Hand hin und her bewegen, zugleich jedoch auch, wenn sich die Finger spreizen, einzelne Kreise ein wenig von der restlichen Gruppe abweichen. Die Skalierung der Kreise wird gesteuert von der Auf- und Abwärtsbewegung der Gelenke am Ansatz der Finger, also wenn sie sich von der Klaviatur heben und wieder senken.[7] Die Bewegungen der Hand werden so plötzlich wie unter einer Lupe sichtbar.[8]

Durch die Visualisierung ist zudem zu erkennen, dass die gesamte Hand an der Rhythmik der Melodie beteiligt ist, obwohl sie stets nur von einzelnen, aber wechselnden Fingern erzeugt wird. Bei der Betrachtung des Videos allein oder auch anhand einer direkten Übertragung auf eine realistische virtuelle Hand, wären solche feinen Bewegungsnuancen nicht erkennbar. Die zuvor entwickelte Vermutung, dass sich durch die Kreise deutlicher zeigen wird, welcher Finger aktuell den durchgängigen Rhythmus in der Melodie erzeugt, hat sich nicht bestätigt. In weiteren Experimenten ließe sich herausfinden, ob sich diese Beobachtung mit einem besseren Datensatz ändern könnte oder ob sich tatsächlich in einer Visualisierung dieser Art zeigt, dass ein einzelner Finger beim Klavierspiel für den Rhythmus nicht in besonderer Weise ausschlaggebend ist. Ebenso weiterführen ließe sich das Experiment, indem noch weitere Melodien mit komplexeren Fingersätzen eingespielt würden. Die im Experiment verwendete Melodie enthält keine Momente, in denen sich die Positionen der Finger überlagern, wie zum Beispiel bei einer Tonleiter, was vor allem im Hinblick auf die mangelnde Stabilität des Trackings-Systems vermieden wurde. Sobald ein Finger in der Videoaufnahme einen anderen überdeckt, arbeitet der Algorithmus weniger zuverlässig, sodass auch die Daten eine geringere Aussagekraft besitzen. Für weiterführende Experimente wäre also ein komplexeres und für Detailaufnahmen ausgelegtes Motion Capture-System besser geeignet.

Inwiefern sich eine solche Nutzung der Technologie auch in großem Stil und in einem gänzlich anderen Bereich als Forschungsansatz eignet, kann das ursprünglich im Jahr 2010 von dem Choreographen William Forsythe in Frankfurt am Main initiierte und noch andauernde Projekt Motion Bank belegen. Nachdem es die ersten vier Jahre unter Kooperation mit zahlreichen nationalen und internationalen Forschungseinrichtungen stattfand, ist es seit 2016 an der Hochschule Mainz angesiedelt (vgl. Motion Bank-Archiv; vgl. Motion Bank). Das übergeordnete Anliegen des Forschungsprojekts ist es, Verfahren zu entwickeln, um zeitgenössischen Tanz zu dokumentieren. Dezidiert kommen dafür auch Methoden der Softwareentwicklung oder auch Motion Capturing zum Einsatz wie zum Beispiel in einem Teilprojekt mit dem Namen TWO aus dem Jahr 2013, entstanden als Kooperation zwischen der Choreographin Bebe Miller aus den USA, dem aus der Schweiz stammenden Choreographen Thomas Hauert sowie zwei Professorinnen der Ohio State University in Columbus, Ohio: Maria Palazzi vom Advanced Computing Center for the Arts and Design und Norah Zuniga-Shaw vom Dance Department (vgl. Motion Bank: TWO). Mithilfe des eingangs beschriebenen Motion Capture-Verfahrens wurden von den Choreografien Millers und Hauerts jeweils umfangreiche Datensätze erstellt (vgl. Berezina-Blackburn 2013a; vgl. Palazzi 2013). Weiterverarbeitet wurden diese Datensätze beispielsweise von der ebenfalls am Projekt beteiligten Animationskünstlerin Vita Berezina-Blackburn. In einer abstrakten Visualisierung, die in einem virtuellen 3D-Raum erstellt wurde, veranschaulicht sie „the many choreographic techniques of the Bebe Miller company. It is sometimes referred to as ‚storyness‘ or ‚story state‘. It’s not about any specific story, but a state, a sense that emerges from a brief or passing encounter with a human situation“ (Berenzina-Blackburn 2013b). Die mithilfe der Motion Capture-Daten angefertigte Visualisierung befasst sich demnach mit der erzählerischen Qualität der Tanzperformance und übersetzt sie in ein visuell-grafisches Setting. Wie in Abbildung 11 zu erkennen ist, hat Berezina-Blackburn ihrer Visualisierung keineswegs eine realistische Bildästhetik verliehen, die die Bewegung des Tanzes in analoger Weise im virtuellen Raum zeigt. Vielmehr besitzt ihre Visualisierung eine zeichnerische und flächige Qualität. Eine tanzende Figur ist zwar zu erkennen, gleichzeitig ist diese jedoch umgeben von abstrakten Strichen und Formen, die wie in einem Kraftfeld auf die tanzende Figur reagieren. Der Tanz bekommt in dieser Darstellung demnach ein eigenes, neuartiges visuelles Narrativ, das zwar die ursprüngliche Choreografie aufgreift, deren Wirkung jedoch in eine grafische Umgebung übersetzt.

Abbildung 11: Vita Berezina-Blackburn, Storyness/ Story State, 2013, Videostandbild, https://vimeo.com/80121315 (21.04.2023)

In einer vorangegangenen Zusammenarbeit mit Bebe Miller und ihrem choreografischen Projekt Landing Place, das 2005 unabhängig von dem Dachprojekt Motion Bank durchgeführt wurde, verarbeitete Berenzina-Blackburn Motion Capture-Daten in ähnlicher Weise. Den Erkenntnisgewinn, der sich aus dieser Art, die Daten zu nutzen, ergibt, beschreiben Berenzina-Blackburn, Bebe Miller et al. folgendermaßen:

„In the beginning of the project Bebe Miller, the choreographer of Landing Place, sought to examine the process of motion capture, in order to discover new dance improvisation parameters or ways to look at spatial composition of a dance sequence. Her process involved looking at reconstructed data in Vicon’s Workstation after doing a few captures with dancers. Observing the artifacts, such as green lines connecting swapped markers between different captured subjects, we came up with an idea of looking both at ways of visualizing a single dancer and also the space between dancers in one of the first animated sequences called Tribes“ (Berenzina Blackburn et al. 2005: 110).

In Zusammenhang mit dem Projekt Motion Bank entstehen inzwischen umfangreiche Publikationen, die sich mit der Zusammenkunft von Tanz und Technologie auseinandersetzen. Die Anthologie Dance Data, Cognition, and Multimodal Communication herausgegeben von Carla Fernandes, Vito Evola, Cláudia Ribeiro im Jahr 2023 ist hierfür ein Beleg. Das übergeordnete Ziel des Bandes ist es, eine Definition für den Begriff ‚dance data‘ zu entwickeln (vgl. Fernandes 2023: 3f.). Einer der beteiligten Autoren, Daniel Strutt, diskutiert in seinem Aufsatz Motion capture and the digital dance aesthetic: Using inertial sensor motion tracking for devising and producing contemporary dance performance aus kulturtheoretischer, aber auch praktischer Perspektive die Frage, inwiefern die Motion Capture-Technologie sowohl eine Gefahr als auch ein Gewinn für die Tanzpraxis sein kann.[9] Er kritisiert zunächst, dass der Erkenntnisgewinn, der sich aus dem interdisziplinären Setting ergibt, selten hinreichend für eine weiterführende geisteswissenschaftliche Auseinandersetzung aufgearbeitet wird (vgl. Strutt 2023: 132f.). Er macht es sich deshalb zur Aufgabe, die Technologie und damit verbundene Implikationen in einen wissenschaftlichen Kontext einzubetten, bevor er anschließend ein eigenes Praxisprojekt und seine Reflexionen dazu anbietet. Zentral ist für ihn die Gegenüberstellung zweier Pole, zwischen denen sich die Anwendung der Technologie ansiedeln kann: Sie könne einerseits dafür zum Einsatz kommen, Präzision zu erlangen – also beispielsweise um Tanzende zu disziplinieren und eine Performance zu optimieren. Andererseits ließen sich mit der Technologie kreative Prozesse aufbrechen und neue Perspektiven erzeugen. Unter Bezugnahme auf die Choreografin Kim Vincs und die Forscherin für neue Medien Kim Barbour thematisiert Strutt die Problematik, dass die Disziplin des Tanzes kulturellen Zuschreibungen unterliege, die die Praxis prägen und auch einschränken – etwa, dass Ballett stets Form und Kontrolle beachte und zeitgenössischer Tanz im Ausdruck weitgehend frei sei (vgl. ebd.: 135f.). Vincs und Barbour merken an, dass die Tanzstile, wenn sie in Daten übersetzt werden, von diesen kulturellen Diskursen befreit werden. Die Technologie mache zwischen den unterschiedlichen tänzerischen Ansätzen keinen Unterschied und könne einen neuen Blick allein auf die Bewegung als solche ermöglichen (vgl. Vincs/Barbour 2014: 75).

Über seine eigenen Praxiserfahrungen mit der Technologie merkt Strutt an, dass, um wirklich ein kreatives und erkenntnisbringendes Potenzial der Software zu nutzen, es wichtig sei, die Technologie nicht in Tanzprojekte einzubinden, um damit einen Sensationscharakter zu generieren. Stattdessen solle die Technologie ähnlich wie es Vincs und Barbour beschreiben, dafür zum Einsatz kommen, ungeahnte Perspektiven und kreative Räume zu schaffen, in denen Tanz und der Körper in neuartiger Weise untersucht und gedacht werden können. Er fasst deshalb zusammen: „In a simple sense, this is a playful and experimental mode of interactive creation in which the limits of the technology, and of both the dancer’s technical practice and self-perception, are toyed with“ (Strutt 2023: 145).

Insgesamt sieht Strutt ein großes Potenzial darin, den Einsatz der Technologie zu erweitern und sie nicht allein als Instrument dafür zu nutzen, eine virtuelle und repräsentative Wiedergabe einer realen Situation zu erzeugen. Gerade eine Nutzungsweise, die sich von diesen figürlichen Ansätzen löst, kann es ermöglichen den Bewegungsdaten auf abstrakte Weise zu begegnen und damit weiterzuarbeiten. Diese freie Ansatz, die Daten zu nutzen, so erläutert er,

„extends the uses of the technology into less figurative territories of creative expression, and goes even further than this into emotional, phenomenological, empathetic, transformative, and potentially therapeutic realms of engagement and practice. Rather than analysing dace movement as a discrete ‚thing‘ to be captured and catalogued, we can instead imagine a set of virtualised phenomenal experiences of dancing with oneself (in real time), with a different body than our own (or an abstract body of colour and shape), and in virtual and changing spaces. Besides purely aesthetic applications (e.g., in dance performance), these experiences could have other practical functions, conditioning new ways of thinking about corporeal motion, and generating new possibilities for the creation and experience of dance movement“ (ebd.: 131f.).

Dieser gedankliche Ansatz von Strutt, Vincs und Barbour sowie die zuvor beschriebene und damit einhergehende praktische Herangehensweise von Berezina-Blackburn lässt sich nun mit dem für diesen Aufsatz erstellten Beispiel zusammenführen und die Überlegungen zum Ende führen. Berenzina-Blackburn et al. eröffnen sogar – ähnlich wie es im vorliegenden Ansatz die Absicht ist – eine Gegenüberstellung von Animation und Motion Capturing. Sie nehmen zwar in ihren Ausführungen lediglich auf die industrialisierte und geplante Form der Animation Bezug, jedoch erkennen auch sie einen starken Kontrast zwischen diesem Animationsansatz und einer freien Nutzung des Motion Capture-Verfahrens, das lediglich – wie bei Gollum – dafür zum Einsatz kommt, eine Bewegung in Analogie von einem Körper auf einen anderen zu Übertragen. Sie betonen demnach, dass eine experimentelle Nutzung der Technologie größere kreative Freiheit ermöglichen kann als es das geplante Animationsverfahren leisten kann (vgl. Berenzina-Blackburn et al. 2005: 110). Obwohl sie selbst diesen Schluss nicht ziehen, lässt sich aus ihren Überlegungen endgültig ableiten, dass sowohl ihr eigener als auch Strutts Ansatz sowie die für diesen Beitrag gewählte Herangehensweise wieder eine sehr selbstreflexive Herangehensweise darstellt. Alle vorgestellten Projekte setzen sich nämlich mit dem verwendeten Verfahren als solches auseinander und machen es daher sichtbar. Würde man die Daten an realistische Körper heften, bliebe das Verfahren im Verborgenen. Und nicht nur das Verfahren, sondern auch die Bewegung selbst kann mit einer experimentellen Vorgehensweise, wie sie in allen Beispielen vorgestellt wurde, in einzelne Komponenten zerlegt werden und als erkenntnisbringendes Gestaltungselement zum Einsatz kommen. Es lässt sich also, wenn man die üblichen Wege der Hard- und Software verlässt, eine Verwandtschaft zwischen den ursprünglichen selbstreflexiven und womöglich auch subversiven Animationsansätzen und der Motion Capture Technologie herstellen, denn – ganz ähnlich wie es für die frühen Animationen typisch war – wird hier etwas sichtbar gemacht, was sich in dieser Form nicht filmen ließe.

Während die Animation in ihrer Entwicklung einen Weg zurückgelegt hat, der bei einer großen Freiheit begonnen hat und – zumindest in der kommerziellen Industrie – in einem eher konservativen Ansatz gemündet ist, ist es möglich, diesen Weg beim Motion Capturing rückwärtszugehen, und zwar vor allem dann, wenn man die Technik nicht so nutzt, wie sie gedacht ist. Und vielleicht ergibt sich so eine Möglichkeit, das Verfahren wieder an die frühe Animation anzunähern und eine Verbindung zu ihr herzustellen, indem man die konservative Wende von damals umkehrt und beide Verfahren in Selbstreflexivität und einer gewissen Anarchie vereint.

Literaturverzeichnis

ADOBE (Hrsg.): Rotoskopie: Alles, was du über die Animationstechnik wissen musst. In: adobe.com, Ohne Datum. https://www.adobe.com/de/creativecloud/animation/discover/rotoscoping-animation.html (09.04.2023)

BEREZINA-BLACKBURN, VITA; BEBE MILLER; BRIAN WINDSOR: Landing place. remapping motion capture of dance movement to objects and environments. In: ACM SIGGRAPH Sketches. Los Angeles, California (USA), 7/31/2005 – 8/4/2005. Hrsg. v. Juan Buhler. New York, NY (USA) [ACM Press] 2005, S. 110. DOI: https://doi.org/10.1145/1187112.1187245.

BEREZINA-BLACKBURN, Vita: Risky Weight in Bebe Miller’s work. In: Motionbank, 12.07.2013. https://motionbank.asc.ohio-state.edu/2013/07/12/risky-weight-in-bebe-millers-work/(09.04.2023) (2013a)

BEREZINA-BLACKBURN, VITA: Storyness/ Story State. In: Vimeo, 22.11.2013. https://vimeo.com/80121315 (07.04.2023) (2013b)

BIRD, BRAD; JAN PINKAVA: Ratatouille. Pixar Animation Studios, 2007.

BIRD, BRAD: Twitter-Post. In: Twitter, 14.07.2020. https://twitter.com/bradbirda113/status/1282845727446765568 (09.04.2023)

DISNEY UK (Hrsg.): Soul | Music of The Soul – Behind the Scenes! In: Youtube, 18.12.2020. https://www.youtube.com/watch?v=JECWRHk5O74 (05.04.2023)

FERNANDES, CARLA: Introduction. In: Dance data, cognition, and multimodal communication. Hrsg. v. Carla Fernandes, Vito Evola und Cláudia Maria Ribeiro. Abingdon; New York, NY (USA) [Routledge] 2023, S. 1-11. DOI: https://doi.org/10.4324/9781003106401-1

FLEISCHER, MAX: Method of Producing Moving Picture Cartoons. United States Patent Office, 1917.

FLEISCHER STUDIOS (Hrsg.): Tantalizing Fly. In: Youtube, 23.09.2015. https://www.youtube.com/watch?v=qbzjmvCg1aE (09.04.2023)

FREEDMAN, YACOV: Is It Real… or Is It Motion Capture? The Battle to Redefine Animation in the Age of Digital Performance. In: The Velvet Light Trap, 69/1, 2012, S. 38-49. DOI: https://doi.org/10.1353/vlt.2012.0001.

INSIDER (Hrsg.): How Pixar’s Movement Animation Became So Realistic. In: Youtube, 11.03.2021. https://www.youtube.com/watch?v=QbhsMLD9Hb0 (05.04.2023)

JORDAN, WILLIAM E.; NORMAN MCLAREN: His Career and Techniques. In: The Quarterly of Film Radio and Television, 8/1, 1953, S. 1-14. DOI: https://doi.org/10.2307/1209909.

KITAGAWA, MIDORI; BRIAN WINDSOR: MoCap for artists. Workflow and techniques for motion capture. London (UK) [Routledge] 2017

MARSHALL, RICK; PETE DOCTOR; KEMP POWERS: Interview: How the directors of Pixar’s Soul artfully animated the afterlife. In: digitaltrends, 09.10.2020. https://www.digitaltrends.com/movies/pixar-soul-directors-interview-music-disney-plus-pete-docter-kemp-powers/ (09.04.2023)

MENOLOTTO, MATTEO; DIMITRIOS-SOKRATIS KOMARIS; SALVATORE TEDESCO; BRENDAN O’FLYNN; MICHAEL WALSH: Motion Capture Technology in Industrial Applications: A Systematic Review. In: Sensors, 2020 Oct 5; 20(19): 5687. DOI: https://doi.org/10.3390/s20195687.

MOTION BANK (Hrsg.): Tanzforschungsprojekt Motion Bank. In: Motionbank, o. D. URL: https://motionbank.org/ (21.04.2023)

MOTION BANK-ARCHIV (Hrsg.): About. In: Motionbank, o. D. http://www-archive.motionbank.org/en/content/about.html (21.04.2023)

MOTION BANK: TWO (Hrsg.): About. In: Motionbank, o. D. https://motionbank.asc.ohio-state.edu/about/ (21.04.2023)

MURTAZA’S WORKSHOP – ROBOTICS AND AI (Hrsg.): 3d Hand Tracking in Virtual Environment | Computer Vision. In: Youtube, 25.03.2022. https://www.youtube.com/watch?v=RQ-2JWzNc6k&t=2620s (21.04.2023)

NATIONAL FILM BOARD OF CANADA (Hrsg.): Blinkity Blank. In: National film board of canada, Ohne Datum. https://www.nfb.ca/film/blinkity-blank/ (08.04.2023)

PALAZZI, MARIA: Animation and Choreography in the classroom. In: Motionbank, 18.06.2013. https://motionbank.asc.ohio-state.edu/2013/06/18/animation-and-choreography-in-the-classroom/ (21.04.2023)

PIXAR RENDERMAN (Hrsg.): At the Movies. Over 30 years of RenderMan® innovation and movie-making magic. In: Renderman, o. D. https://renderman.pixar.com/products/whats_renderman/movies.html (21.04.2023)

PRICE, DAVID A.: The Pixar Touch. The Making of a Company. New York, NY (USA) [Vintage Books] 2009

SCHELER, CAROLIN: Der bildsprachliche Kosmos im computeranimierten Kinofilm. In: Piktogrammatik. Grafisches Gestalten als Weltwissen und Bilderordnung. Hrsg. v. Geiger, Annette; Bianca Holtschke. Bielefeld [transcript] 2021, S. 136-161. DOI: https://doi.org/10.14361/9783839457436-006.

SKROBLIN, MANUEL: Hey, Monster! – Character Animaton mit Rokoko Smartsuit. In: Digital production, 01.03.2019. https://www.digitalproduction.com/2019/03/01/hey-monster-character-animaton-mit-rokoko-smartsuit/ (08.04.2023)

STELZLENI, RYAN; BRET PARKER; TOM HAHN; SARAH SHEN; DAN MCGARRY; CHEN SHEN: Sketch to Pose in Pixar’s Presto Animation System. In: ACM SIGGRAPH 2015 Talks. Special Interest Group on Computer Graphics and Interactive Techniques Conference. Los Angeles California, 09/08/2015-13/08/2015. New York, NY (USA) [ACM] 2015, S. 1. DOI: https://doi.org/10.1145/2775280.2792583.

STEWEN, CHRISTIAN: „What kind of toy are you?“ Zu Identitäten von Spielfiguren und digitalen Bildern in John Lasseters Toy-Story-Filmen. In: Wende, Johannes; John Lasseter [edition text + kritik ] München (Film-Konzepte, 33), 2014, S. 74-84

STRUTT, DANIEL: Motion capture and the digital dance aesthetic: Using inertial sensor motion tracking for devising and producing contemporary dance performance. In: Dance data, cognition, and multimodal communication. Hrsg. v. Fernandes, Carla, Vito Evola, Cláudia Maria Ribeiro. Abingdon, New York, NY [Routledge] 2023, S. 131-147. DOI: https://doi.org/10.4324/9781003106401-13.

VINCS, KIM; KIM BARBOUR: Snapshots of complexity: using motion capture and principal component analysis to reconceptualise dance. In: Digital Creativity 25/1, 2014, S. 62-78. DOI: https://doi.org/10.1080/14626268.2013.786732.

WALT DISNEY ANIMATION STUDIOS (Hrsg.): Silly Symphonies – The Skeleton Dance. In: Youtube, 15.10.2015. URL: https://www.youtube.com/watch?v=vOGhAV-84iI (08.04.2023)

WALT DISNEY FAMILY MUSEUM (Hrsg.): Nine Old Mentors: Brad Bird’s Reflections. In: Walt Disney, o. D. https://www.waltdisney.org/education/talks/nine-old-mentors-brad-birds-reflections (09.04.2023)

WELLS, PAUL: Understanding Animation. [Routledge] London (UK) 1998

WELLS, PAUL: Animation and America. Edinburgh (IRL) [Edinburgh University Press] 2002

WILLIAMS, RICHARD: The Animator’s Survival Kit. A Manual of Methods, Principles and Formulas for Classical, Computer, Games, Stop Motion and Internet Animators. Erweiterte Ausgabe. London (UK) [Faber and Faber] 2009

Fußnoten

---

About this article

Copyright

This article is distributed under Creative Commons Atrribution 4.0 International (CC BY 4.0). You are free to share and redistribute the material in any medium or format. The licensor cannot revoke these freedoms as long as you follow the license terms. You must however give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use. You may not apply legal terms or technological measures that legally restrict others from doing anything the license permits. More Information under https://creativecommons.org/licenses/by/4.0/deed.en.

Citation

Carolin Scheler: Mit Daten malen. Das kreative Potenzial der Motion Capture-Technologie. In: IMAGE. Zeitschrift für interdisziplinäre Bildwissenschaft, Band 38, 19. Jg., (2)2023, S. 27-48

ISSN

1614-0885

DOI

10.1453/1614-0885-2-2023-15728

First published online

Oktober/2023