Un fitto programma di residenze creative al Teatro alla Misericordia di Sansepolcro, dove l’Associazione CapoTrave/Kilowatt accoglie compagnie di teatro e di danza che soggiorneranno sul territorio per periodi differenti e apriranno il loro percorso di creazione con una prova aperta al pubblico.
Segnaliamo il lavoro di Cinzia PIETRIBASI, MAMA L’origine di tutte le cose, spin off di Padre d’amore Padre di fango (2020) e secondo capitolo del dittico sui rapporti familiari disfunzionali.
Gesto d’amore della regista verso quella figura creatrice di vita che è la madre. Attraverso varie fonti mediali e digitali, la performance ripercorre i viaggi nella ex Jugoslavia con una madre algida e assente, straniera in terra italiana. Se il lavoro precedente esplorava gli anni 70-80, MAMA si sofferma sugli anni 90 e si spinge oltre nella scala temporale: il viaggio diventa siderale e ci si interroga: quando e come ha avuto origine il tutto? Qual è l’origine dell’amore della figlia per una madre?
Note di regia MAMA. L’origine di tutte le cose è la mia seconda indagine sul tema dei rapporti familiari disfunzionali e sulla necessità di un gesto d’amore a riparare il disastro. Se Padre d’amore Padre di fango (che ha debuttato a luglio 2020 a Kilowatt Festival), il primo del dittico, tenta di rispondere alla domanda “Cosa vuol dire amare un padre nonostante tutto” e racconta il dispiegarsi del rapporto difficile di una bambina con un padre eroinomane negli anni ottanta, il secondo prova a far luce su una madre appena diciannovenne, straniera in terra italiana, assente a causa dell’eroina e della malattia. La madre è un brontosauro di 20 cm di altezza, un giocattolo di plastica ingigantito dalla videoproiezione. “Madre di sasso, madre diversa” è l’incipit della canzone di Nada e inizio dello spettacolo. La madre è “ridotta” ad una traccia sottile, non appare mai. Ad essere mostrati sono solo i segni del suo passaggio nella mia vita: una voce che ho registrato, immagini video di un viaggio in auto verso la Slovenia immortalato dal parabrezza, alcune foto, pochi ricordi sbiaditi e parecchi disegni a matita. Il gesto grafico è un filo che lega tutta la performance transmediale, caratterizzata dalla presenza simultanea di media e strumenti digitali diversi. Il segno è presente negli scarabocchi che ho realizzato nel tentativo di esplorare il tempo prenatale, un periodo interstiziale tra il non essere e l’essere. Il segno è traiettoria densa di colore a tempera su una mappa geografica pre 1989, data emblematica che segna un prima e un dopo – una data in cui i dinosauri muoiono.
Il segno è anche digitale e tridimensionale, un disegno che produco nello spazio virtuale e immersivo di Tilt Brush: un viaggio interstellare condiviso con il pubblico grazie al mirroring del visore per VR. E poi c’è la presenza artificiale e al tempo stesso incarnata di Alexa, che dialoga con i miei ricordi, confonde le mie certezze, risponde alle mie domande. La madre è origine: interrogarsi sulla propria madre è mettersi in relazione con l’archetipo dell’inizio e della fine, della nascita e della morte. Voglio spingermi con totale imprudenza in quel territorio rischioso che è il provare a capire qual è l’origine della vita, e perfino dell’universo. Nascita e morte, scale temporali umane e geologiche, addirittura siderali. Se si parla di nascita e di creazione, non si può tralasciare la dimensione spirituaale: la religione è un’altro filo rosso che lega le madri della mia famiglia. Una linea matrilineare fatta di donne slave algide, dure e severe. “Se non esiste Dio, non esiste neanche il paradiso: se non c’è il paradiso non ha senso tutta questa sofferenza” dice la madre interrogata sul valore che ha la religione nella sua vita. Anche lo spettacolo deve finire e lo fa con l’abbraccio di una ninna nanna istriana. Con compassionevole sorriso per gli errori miei e tuoi, madre mia, auguriamoci buona notte.
Breve bio Artista digitale, regista e performer. Fonda nel 2012 Compagnia Pietribiasi/Tedeschi ed è parte del collettivo Jan Voxel. Junior Scientist presso l’Accademia di Belle Arti di Roma dove si occupa di una ricerca artistica che vede l’arte in dialogo con la scienza (e con i ricercatori dell’INFN Roma 3), docente di Sistemi Interattivi presso l’Accademia di Belle Arti di Catanzaro, docente di Drammaturgia multimediale presso Alma Artis, Accademia di Belle Arti di Pisa.
SiNaPS It is an immersive performative installation for unconventional spaces, which invites the audience to the combination between Virtual Reality and live performance by KONIC.
SiNaPS is a phygital (articulation of the physical and digital world) narrative project , which dialogues between the real and the virtual. It refers to the connections necessary to perform a complex process. Three acting bodies share a physical/stage space from which they jointly build sonovisual interactions in the digital world. The connection between the three characters is established by means of a generative Virtual Reality device and a motion capture system that will allow them to create immersive visual and sound environments live. Each performer has a differentiated and complementary role to jointly articulate shared and collaborative creative actions that take shape in the virtual environment.
Their roles are:
‘Sensorized body’: a performer with movement sensors modifies the virtual, visual and sound environment.
‘Visualizer’: she wears VR glasses, navigates the virtual world and shows us different views of the environment, projected. She has an immersive vision.
‘Modifier’: she wears VR goggles, is immersed in the same environment as Visualizer, but has options that allow her to associate different types of interaction to the sensible body.
‘Re-actant’: generative Virtual Reality device: a generative audio and image engine with intelligent agents that, once stimulated, have their own course.
The public presentation has two possible formats:
As a participatory installation-performance: it is carried out in six eight-minute sections, allowing up to twelve people from the public to take the role of ‘Visualizer’ or ‘Modifier’ As a stage format of a single 30-minute session, in which the performers create the live performance for an audience that will be able to enjoy the creative experience as an observer of the interactive work.
VENUES
September 6, 2023: 1st Conference on Dance and Technology, Ada ArtEina. Euroregional Pyrenees-Mediterranean Project. Sa Màniga Auditorium, Majorca, Balearic Islands.
November 3, 2023: 2nd Dance and Technology Conference, Ada ArtEina. Euroregional Pyrenees Mediterranean Project. ECOSS Festival, ecosystems of the unexpected. Fabra i Coats, Barcelona.
November 11, 2023: FIAV International Festival, Casablanca, Morocco.
December 7-8, 2023: 3rd Dance and Technology Conference, Ada ArtEina. Euroregional Pyrenees-Mediterranean Project. Within the framework of the European project Metabody_Toulouse #4. Theater de la Brique Rouge, Toulouse, France.
October 14-19, 2024: CCE Mexico, Cyber Wild Encounter International Festival, Mexico City.
Lepage’s Ring Cycle proved to be the most technically advanced production the Met has embarked upon. Lepage and Met director Peter Gelb are on the record as having tried to imagine the Ring the way Wagner would have staged it if he had access to twenty-first century technology.Video projection and the use of a very unique set required true theatrical innovation and were anything but traditional.
Das Rheingold introduced a high-tech set that rotates, bends and transforms into different shapes — such as a river or a spiral staircase. “It is also a projection screen”, says Lepage. “Whatever configuration it takes, no matter how complicated, it can receive projection and transform itself into all sorts of things. And, of course, the story of the Ring is all about transformation.”
Solutions
The set of 24 swivelling beams formed a myriad of different shapes which, with the aid of complex large scale video projections, created stunning scenic images. The set and Realisations’ projections were used for the entire cycle transforming from walls, into a ceiling, a forest, cliffs and mountain ranges, and even the surface or the bottom of a river through the use of our digital animation and visual effects that generated the simulated 3D imagery.
Though unusual for a Wagner opera, the audience was so enthusiastic about the use of the set and projections during the ride of the Valkyries that it could not restrain itself and started applauding at every performance.
Credits: video: Réalisations, Joël Proulx Bouffard / music: Tab and Anitek (source: freemusicarchive.org, CC License)
Tools Used
Director Robert Lepage chose Realisations to create and integrate 3D interactive effects with the scenography of his production for the Wagner tetralogy.
Realisations combined our video projections and our partner’s Maginaire’s virtual cameras to allow us to project computer-generated images on the stage and décor, creating the illusion of 3D holograms.
The lack of precision in the human eye for seeing real volumetric images created these illusions triggered by the artists’ movement and voices. Opera patrons did not have to wear special glasses since we were able to develop a new technology that allowed projected 3D images on stage to be seen without special eyewear.
Da pochi giorni l’Encyclomedia di Eco con contributi in forma di saggio di moltissimi studiosi di tutt’Italia, è on line gratuitamente. IN questo link l’integrale al mio saggio sul Teatro multimediale per la sezione del Novecento, Teatro e cinema. Buona lettura!
Integrazione, variabilità, interattività, ipermedialità e simulazione: questi sono i tratti che caratterizzano la costruzione di opere in una nuova forma mutante e combinatoria, reincarnatasi in web performance, videoteatro, drammaturgia ipertestuale, con una serie infinita di possibilità trasformative. Tra rottura e continuità, si va dall’utopico progetto di opera d’arte totale (Wagner) all’odierno teatro virtuale, passando, fra l’altro, per lo spettacolo futurista, gli happening, le performances, gli “intermedia”.
Verso un rinnovamento della sintesi scenica dei linguaggi
L’idea di multimedialità e di interattività è stata variamente sperimentata a lungo nel mondo delle arti sceniche, trovando una prima definizione e una significativa dimensione interdisciplinare sin dalle prime avanguardie storiche, quindi in anticipo sull’innovazione tecnologica che oggi la concretizza, ovvero il digitale, con la possibilità di trasferimento, elaborazione e interazione di qualsiasi testo, immagine o suono nell’ambito dello stesso tipo di metamedium. Nuove frontiere per il teatro si aprono grazie alle caratteristiche di variabilità, interattività, ipermedialità, simulazione proprie del sistema integrato digitale, che obbligano a ripensare l’arte nel suo rapporto con la scienza e con la tecnica e per le quali occorre elaborare un nuovo linguaggio critico e una nuova estetica. Le nuove tecnologie digitali trasformano tutte le fasi produttive dello spettacolo, dalla progettualità alla dimensione scenica, coinvolgendo anche il contesto stesso della ricezione, dall’osservazione all’immersione.
Il digitale propone modalità tecniche ed espressive sia di rottura che di continuità: rottura rappresentata dalla tecnologia di sintesi numerica, in base alla quale non c’è più un rapporto generativo con la realtà materiale, e continuità con alcuni motivi cardine del modernismo, tra i quali: l’unione dei linguaggi (anche quelli della tecnica); la partecipazione allargata all’evento spettacolare; la creazione di un ambiente dalla “totalità percettiva” e sinestetica.
Il teatro si apre a condividere altre spazio-temporalità, altre modalità narrative, integrando la tecnica e trasformandola in linguaggio espressivo, sin dalle prime esperienze simboliste, all’indomani dell’invenzione della luce elettrica, con Edward Gordon Craig e Adolphe Appia. La prospettiva multimediale del teatro – come affermano, ad esempio, Béatrice Picon-Vallin, Nicola Savarese, Andrea Balzola – non fa altro che perfezionare l’utopia della sintesi delle arti propugnata dalle avanguardie storiche. Ma già il Gesamtkunstwerk di Wagner, ovvero l’”opera d’arte totale” teorizzata ne L’opera d’arte dell’avvenire (1849), pur suscitando posizioni e interpretazioni divergenti nei registi moderni, prefigura una comune aspirazione a un ideale di accordo dei diversi linguaggi componenti lo spettacolo. Si tratta di una “strategia della convergenza, della corrispondenza e della connessione”, come la definisce lo studioso Emanuele Quinz….
Datagrama lives in the intersection of 3D projection design with interactive media. Datagrama is the alter ego of João Beira. Born and raised in Portugal, he realized from an early age that his mission in life would be to generate immersive experiences through the use of projected light and its influence on our perception.
Komorebi is a Japanese word to describe the light and sunshine filtering through the leaves of trees. Luxate is an improvisational augmented space design to explore interactive light beyond the screen. It is an exploration of the infinite and non screen based projector based augmentations. Exploring the qualities of the projected light beam in the three-dimensional space created by digital video projectors and hazing machines, we create a reactive environment between the dance performer and the perception of a light field.
Inspired in the sculptural exploration of light by Anthony McCall, Sebastian Huber, Jayson Haebich and nonotak, among many other light surgeons.
Datagrama´s work has been displayed at International art festivals such as SXSW, Boom Festival, Symbiosis, Burning Man, and Sonic Bloom. Beira has also been in charge of creative direction for 3D video mapping projects for Vimeo and National Geographic, and in collaborations with talented artists such as Quixotic, Vitamotus, Ninja Tune label, Sorne, etc.
Beira is a designer, performer, and researcher based in Austin, Texas. His researches are focusing on the integration between optical motion sensing technologies and projection-based augmentations.
New media artist and researcher. PhD research Digital Media University of Texas (Austin, United States) and FEUP (Universidade do Porto, Portugal). Professor at Esg in Multimedia and Design (2007-2010). Founder of Datagrama, visual performance art project –
New face projection mapping work using Real-Time Face Tracking “Connected Colors” is included within the Intel Corporation experience amazing campaign.
“Connected Colors” which was planned and produced with the technical direction by media artist Nobumichi Asai (WOW), conceptualizes the coexistence of life. The motif is centered on the colors of nature, and is an expression of electric make-up in the form of various colors intermingling and harmonizing. Expressed from beyond the viewpoint of humanity, “Connected Colors” aims to convey the human desire for harmony and coexistence of life on Earth.
Polymedia, a technical partner of the Moscow Musical Theatre for the play All about Cinderella, helped to prepare a new production. In the fifth theater season, the company worked on a project to stage a rock-opera version of Fyodor Dostoevsky’s classic novel, Crime and Punishment, in Moscow. Polymedia prepared an innovative solution – 6D video mapping – for the implementation of the director’s original idea.
This production is the first in Russia to use an innovative Black Trax real-time tracking system.
The system allows video mapping on moving objects in real time. Until now, that technology was used only by foreign filmmakers and directors, and brought international fame to such shows as Madonna concerts and performances of Cirque du Soleil.
The project consists of the integration of two complex systems – a tracking system and a video mapping system.
A tracking system tracks the position of the movement on stage and rotating scenery, using special cameras and sensors, then it reads the data about the shape and configuration of the scenery and transmits it to the video mapping system, which, in turn, works on the content online so that the projection onto the scenery is displayed correctly, based on the location and dynamic rotation of the objects on stage.
The total number of projectors on the stage is eight; during the performance the stage scenery changes its position 36 times, and the mapping content also changes 36 times. The integration of such an intelligent system with audiovisual equipment creates a dynamic 3D effect, but, unlike a 3D movie, it performs online, with no need to cut.
“We all became spectators of a unique action, and it is not only the merit of the theater team – a brilliant creative team – but also the team of the Polymedia. Thanks to the Polymedia engineers’ idea the rock- opera of “Crime and Punishment” of Moscow Musical Theatre is one of the most technologically advanced performance in Russia,” – said Alexander Novikov, Director of the Theatre.
Andrei Konchalovsky went to work on the production of the rock opera in September 2014, calling its format a “poly-genre fusion performance”.
“The rock opera written by composer Eduard Artemyev in 2009 will serve as the basis for the music, and the action will be set in a modern-day city. The opera will be “harsh” and “without the sentimentality of the Dostoevsky novel of which Vladimir Nabokov was so disdainful,” said Mikhail Shvydkoi, Art Director of the Moscow Musical Theater where the musical will be staged.
The Pygmalion multimedia performance was created by Sila Sveta for the second round of America’s Got Talent TV show and premiered on NBC Channel on July 29, 2016.
Producers: Alexey Rozov, Denis Astakhov, Andrey Kostyuk
Art Director: Ilya Balakin
Creative Director: Alexander Us
Project Manager: Sveta Yermolayeva
Production Director: Vadim Vinogorov
Technical Production: Mursal Mamedov, Maxim Tulin
Supervisor: Vladimir Mischenko
Concept Artists: Tatiana Kazakova, Polina Sukhanova, Ekaterina Konovalova
CG Artists: Vitaly Babich, Oleg Barankin, Zoya Kharakoz, Philat Matveev, Alexander Varlamov, Alexey Mamontov, Pavel Paratov
Choreographer: Oleg Glushkov
Performers: Arielle Libertore, Derek Tabada
Music and Sound Design: Monoleak
Special Thanks to: Fremantle Media, Nigel Caaro
SILA SVETA: The Pygmalion multimedia performance was created by Sila Sveta for the second round of America’s Got Talent TV show and premiered on NBC Channel on July 29, 2016.
Producers: Alexey Rozov, Denis Astakhov, Andrey Kostyuk
Art Director: Ilya Balakin
Creative Director: Alexander Us
Project Manager: Sveta Yermolayeva
Production Director: Vadim Vinogorov
Technical Production: Mursal Mamedov, Maxim Tulin
Supervisor: Vladimir Mischenko
Concept Artists: Tatiana Kazakova, Polina Sukhanova, Ekaterina Konovalova
CG Artists: Vitaly Babich, Oleg Barankin, Zoya Kharakoz, Philat Matveev, Alexander Varlamov, Alexey Mamontov, Pavel Paratov
Choreographer: Oleg Glushkov
Performers: Arielle Libertore, Derek Tabada
Music and Sound Design: Monoleak
Special Thanks to: Fremantle Media, Nigel Caaro
‘Levitation’ is a collaborative performance by Sila Sveta and Anna Abalikhina shown on the TV show ‘Big Ballet’. All visuals were rendered in real time without any post production.
For us it was an opportunity to experiment with no limitations and test technologies developed in-house by the studio itself. We produced special graphics and used an unconventional shooting angle to create an illusion of the dancer levitating in air. To create a smooth viewing experience, the project team led by Sila Sveta’s Art Director Arthur Kondrashenkov needed to define the best location for the camera, as well as the most suitable choreography and graphic imagery because the graphics and dance moves were designed simultaneously.
Another key feature of the project was the graphic imagery itself, which was rendered in real time during the performance, adapting to the moves of the dancer and the camera without any post-production. This was the first and a unique opportunity for the team to implement a tracking system based on the Unity Development software. Levitation is a distinctive project demonstrating unprecedented technological solutions, which can be further developed for art installations and commercial projects.
Arthur Kondrashenkov comments: “Levitation is a unique non-commercial experiment with a large team involved, including staff of the TV channel, the choreographer and the filming crew. From the very beginning they gave Sila Sveta complete artistic freedom. This was a great experience of working with complex tracking software and generative content”.
Yago de Quay is featured using RealSense cameras and Curie-enabled wristbands that track hand gestures and location and use that data to control music and visuals. A project that took 3 months of working with the Intel to develop unique wristbands, gesture algorithms, radio transmission, music, visuals and dance.
Team:
Peter Sistrom – Visual Artist
Yago de Quay – Performer
Zackery Wilson – Composer
Reema Bounajem – Dancer/Choreographer
Shoko Fujita – Dancer
Adam Nurre – Drummer
Mitchell Vandenburg – Bassist
Kelsey Vidic: Costume Designer
Many thank to the Name the Machine’s Evan Pierre, Chris Legaspi and Fred Carlton; Intel’s Lakshman Krishnamurthy, Stephen Xing, Manan Goel, Saurin Shah, Narayan Sundararajan, Tal Ein-Gar; not to mention Shantel Martin and Matt Pinner.
The performer (vocalist) wear various technologies that allows the broadcast of his brain and body bio-signals through wi-fi connection. An electroencephalogram by Emotiv reads his brain waves to enable deliberate mental tasks and facial expressions to manipulate visual and musical parameters. A gyroscope sensor on his upper chest, attached to the under shirt, reports body orientation. A windows 8.1 tablet on his chest, attached to his hoodie, collects all this data, process it, and then broadcasts it over a network so that other computers can use the data as input for their audio and visual creative output in real time.
Using elements of the Pope’s poem the immortal soldier Athanatoi (Greek –“without death”) sings on “bright love,” weaving a voice of hope through the first tableau. Then Athanatoi falls into deep séance, conjuring thoughts of the afterlife and immortality.
Poet: Stephanie Pope
Spoken word: by LaQuetta Carpenter
Choreographer: Yacov Sharir
Composer/Sound Design: Bruce Pennycook
Visuals: Joao Beira, Rodrigo Carvalho
Costume Design: Kelsey Vidic
Vocalist: Yago De Quay
Dancers: Emily Snouffer, Becca Bagley, Gianina Casale, Summer Fiaschetti, Katie McCarn and Allyson Morales
Rodrigo Carvalho [VISIOPHONE], is a Designer & Interactive New Media artist from Porto/Portugal. His work on live visuals, coding and interactive art involves a range of different outputs, from screen digital work, interactive installations, audiovisual live acts, or interactive visuals for stage performance.
His research is focused in the real-time relations between sound, image and movement in audiovisual interactive spaces.
Anna Monteverdi: Can you describe in brief your experience in the sector of interactivity and performance/installations? Why did you start in this field?
Rodrigo Carvalho: I started on this field around 2008/2009 after a Master Degree in Digital Arts, at U. Pompeu Fabra Barcelona. Since then, I have been exploring real-time audiovisuals and interactivity for performance and installations.
My education is on Graphic Design. But after some time working as graphic designer I felt a bit bored, and that I needed something more. Around 2006/2007 I attended to OFFF Festival, and I watched a couple of presentations that changed everything, and led me to think “This is what I want to do”. With no special order the presentation where: Robert Hodgin showing his work with particles; Casey Reas talk about Processing; AV performance by Golan Levin and Zach Lieberman; Raster Noton Live AV showcase).
After some digging I discovered the Master on Digital Arts at U.Pompeu Fabra, and I moved to Barcelona in 2008.
Anna Monteverdi Can you tell something about the relationship between music interaction and performance either in your specific works et in others’?
Rodrigo Carvalho This is an interesting topic, as I am currently writing a thesis for my PhD about the relations between Sound, Visuals and Movement in realtime systems. Where I try to catalogue and systematize all the possible relations between these three domains.
My focus is on the processes of transformations and interactions that occur across the domains (movement into sound, sound into visualizations, movement into visualizations, etc.) in each different system. Each of these domains can be either an input and/or an output of data on the system, and different articulations between the three can be explored, determining how the data flows trough the system, the type of interaction and the expressivity of the artwork. Some examples of interactions between Sound/Visuals/Movement:
With Oui (2015), where a device on stage (an undercover wiimote, sending rotation and accelerometer data) is used to send inputs to sound, and then visuals react to sound. (Movement to Sound. Sound to Visual) http://visiophone-lab.com/wp/?portfolio=with-oui-2015
(in project from others)
Manual Input Sessions (Lieberman and Levin 2004) hand gestures create visual shapes, that are then translated into sound. (Movement to Visual. Visuals to Sound) http://www.flong.com/projects/mis/
Clouds Piano (Bowen 2014). Pictures from clouds in the sky are mapped to Piano keys. In real-time a camera captures sky pictures, and a robotic device presses the corresponding keys on the piano. (From Visual to Movement, to Sound). http://www.dwbowen.com/cloud-piano/
Soft Revolvers (Bleau 2014). Motion data from spinning tops is used to generate Sound. LED lights’ color an intensity react to sound. (From Movement to Sound. from Sound to Visual) http://www.myriambleau.com/soft_revolvers.html
I came from a visual background (graphic design and visual arts),so in my work my mainly focus is on the visual output. I don’t make music (and I don’t dance either!), so I often collaborate with others for the sounds and movement inputs.
Anna Monteverdi. You have a very interesting blog SVM in which you show the experimentation in the field of interactivity and performance/installations: which are your idea about this giant panorama of digital art?
Rodrigo Carvalho: SVM blog started as a notebook for my PhD research where in each post I collect projects with similar relations. It works as an informal list of projects with the main goal of compiling and organizing interactive audiovisual projects. It is divided in six main categories, grouping projects with similar characteristics and technologies, in which the main focus is on the transmutability of digital data and the input/output relations between Sound, Movement and Visual domain on interactive systems.
The main categories are: (1) Motion Sculptures where motion is transformed into visual shapes and forms; (2) Sound Sculptures where sound is mapped into three dimensional physical shapes; (3) Graphic Sound Visualizers where sound is visualized graphically; (4) Shaping Sound where sound is generated from shapes and graphical features; (5) Movement Sonification where sound is generated from movement and (6) Kinetic Structures where movement is generated, setting in motion digitally controlled mechanisms and performing robotic agents.
Later on, other categories were added by collecting not only cases related to transformations of data but also by covering topics that in some way are connected or overlapped with audiovisual interactive systems:Early Computer Graphics for pioneers on computer art; Color Organs for visual music and color organs; Sensitive Interfaces for experimental interfaces for audiovisual creation and Immersive Audiovisual Environments for responsive and immersive spaces. The goal was to merge under the same categories projects that share similar interactions between Sound, Visual and Movement domains.
Anna Monteverdi Can you tell something in specifi about your astonish embody project A WEARABLE ELECTRONIC DRESS ” in which the interaction happens through a costume?
Rodrigo Carvalho “WARNING: A WEARABLE ELECTRONIC DRESS PROTOTYPE” was an explorative project made by me and Kristen Weller (Costume Designer).The goal was to explore wearable interactive technologies to be used on stage performances. The output was a costume prototype that could act as an extension of the performer’s body and as an expressive tool. The costume was composed by a shape shifter collar, controlled by servo motors that react to a proximity sensor, and an interface painted on the costume’s fabric that allow the interaction in real-time with sound.
The costume’s fabric had six black areas painted with conductive paint (http://www.bareconductive.com). These areas work as an interface made of capacitive sensors, where the human body capacitance is used as input. When the performer touches this conductive areas, an Arduino detects the variations on the capacitive sensor’s values, which are then translated into MIDI messages and sent to Ableton Live, where a setup previously prepared triggers notes, controls audio channels volumes and modulate filters over a background soundtrack.
The collar had on the inside four servo motors attached to the collar’s articulations. The rotation of the four Servo’s arms, controlled by an Arduino, defined the shape of the collar. An ultrasonic sensor, placed on the performer’ costume was used as input to interact with the collar, when a determined proximity is detected, the servos start react by moving and/or their motion pattern, modifying this way the collar’s shape.
Anna Monteverdi Lev Manovich speaks about the new software culture: can you describe from your point of view what it means?
Rodrigo Carvalho Yes, software is everywhere, shaping our daily lives, and influencing every decision we make. (a little off topic but very interesting about this topic is the talk, “How algorithms shape our world” by Kevin Slavin https://www.ted.com/talks/kevin_slavin_how_algorithms_shape_our_world)
In my work I am more interested not in the software available, but in creation of my own tools. That was what attracted me the most when I discover the world of Processing, Max, Openframeworks, Arduino and etc.
I was no more limited to the functions and parameters designed by the creators of a specific software or hardware, and for each project I was able to create a specific tool for that specific project.
Anna Monteverdi. As interactive designer for installation and performance, which are the best and update solutions for the stage today in terms of technics and do you think that Kinect is the best and practice solution for interaction performance/dance?
Rodrigo Carvalho: I guess that solutions for interaction on performance and dance varies depending on situation. One of the options is using motion tracking with cameras. For motion camera we have different possibilities with different price ranges. Kinect is the easy and cheap solution, but it has a problem related to the tracking area that is a bit small. (around 4 meters wide, maximum). I have used Kinect on different projects like Breakdown (http://visiophone-lab.com/wp/?portfolio=breakdown) or Dancing with Swarming Particles. (http://visiophone-lab.com/wp/?portfolio=dancing-swarming-particles).
Apart from Kinect there are other 3D camera alternatives with similar functionalities like the Asus Xtion,IntelRealSense, the recent Orbbec, or the Leap Motion (only to track hands and gestures). A good option to work with this type of cameras and easily extract and broadcast motion data is the NI-MATE software (https://ni-mate.com/).
Besides the 3D cameras there are also the infra-red ones(like it was done in most cases before the Kinect era). This will allow to track a much bigger area, but is it much more difficult to set up, and to perform skeleton tracking).
Apart from the motion tracking there are also other strategies like using sensors on the performers body. There are a huge list of sensors which we can use on the performers body to interact, like orientation, flex, force, heart rate, or muscle sensors, among many others. A good example is the work of Marco Donnarumma (http://marcodonnarumma.com/works/#performance) with biophysical sensors.
Another strategy is the use of “normal” devices (consumers electronics devices like smartphones, gaming controller or others). Smartphones can be very useful in many situations, they are powerful devices with many integrated technologies (like orientation sensors, GPS, bluetooth and wifi communication,etc).
As an example on “Ad Mortuos” we used an iPhone on the performers’ body. the iPhone was broadcasting the data from the gyroscope and accelerometer and we used it to interact with the visuals and sound. In a way that when visuals were following the angle of the performers’ body orientation. (http://visiophone-lab.com/wp/?portfolio=ad-mortuos)
Another example was “With Oui” (http://visiophone-lab.com/wp/?portfolio=with-oui-2015) where we used a Nintendo Wiimote attached to the ceiling on the middle of the stage. The dancers were manipulating the device during the performance, and it was broadcasting orientation data that interacted with the real-time sound and visuals.
Other options available are as example the “Curie-enabled wristbands” from Intel (https://www.youtube.com/watch?v=AN4XHaBBVww), or Brain Interfaces like the one used on “Biomediation” by Joao Beira and Yago de Quay (https://vimeo.com/90687541).
Related to software/hardware, usually my weapons of choice are Processing (for visuals and processing data), Quartz Composer (for visuals), MAX (mostly for processing data, and to make the bridge between different softwares and devices), and Arduino to built interfaces. But I really believe that this is a personal choice, and there are many more good options. Like Touchdesigner, Openframeworks, Cinder, and many more.
Also softwares coming from the VJ world can be very useful and are becoming more and more flexible. As an example VDMX(the one I use), Resolume, Madmapper, among many others.
To learn more about the use of technology on stage performance I really recommend to watch:
– Klaus Obermaier talk on Resonate 2013 (https://vimeo.com/73663471)
– Kirk Woolford talk on Corporeal Computing Conference 2013 (https://vimeo.com/77526865)
– Frieder Weiss on Scope Session 2012 (https://vimeo.com/52208994)
– Mark Coniglio, Phoenix Leicester 2016 (https://vimeo.com/157646215)
Some further readings
– Scott deLahunta’s thesis “Shifting Interfaces: art research at the intersections of live performance and technology” (http://www.sdela.dds.nl/)
– Mark Dowie’ thesis “CHOREOGRAPHING THE EXTENDED AGENT:performance graphics for dance theater”
(http://www.media.mit.edu/cogmac/prosem2007/downie_proposal.pdf)
Anna Monteverdi Are you experienced in videomapping? Which are you idea about this form of arts even applied to the theatre not only for urban context?
Rodrigo Carvalho I did some explorations with videomapping, but I don’t have much experience on that particular field. But I think that it has a huge potential in the designing of the theatrical space and in the creation of illusions and immersivity.
It is a very strong tool to merge the virtual with physical world, construct new narratives and explore audience’s perception and states of consciousness. Some examples of video-mapping for stage performance/theaters:
Anna Monteverdi: Which are your favorite artists/project in the field of interaction?
Rodrigo Carvalho: I will divide this answer in 3 different topics.
1 – Historical artists
Manfred Morh (http://www.emohr.com/ww4_out.html) Larry Cuba (https://www.youtube.com/watch?v=HcvN1dt0yJo) Rutt Etra by Steve Rutt & Bill Etra (https://youtu.be/De4DWMyQBfU) Myron Krueger (https://www.youtube.com/watch?v=dmmxVA5xhuo) David Rokeby (http://www.davidrokeby.com/vns.html)
2 – The ones that influence me the most when I started to get interested in field, and that pushed me to learn and explore more.
Robert Hodgin (http://roberthodgin.com/) Memo Akten (http://memo.tv/) Zach Lieberman (http://thesystemis.com/) Golan Levin (http://www.flong.com/) John Maeda (http://www.maedastudio.com/) Klaus Obermier’s Appariotion (http://www.exile.at/apparition/video.html) United Visual Artist (https://uva.co.uk/) Universal Everything (http://universaleverything.com/) Kyle Mcdonald (http://kylemcdonald.net/) AntiVJ (http://antivj.com/) 1024architecture (http://www.1024architecture.net/)
3 – Recent favorite projects
“Onion Skin”, Olivier Ratsi (http://www.ratsi.com/works/echolyse/onion-skin/) “Reading My body”, VTOL (http://vtol.cc/filter/works/reading-my-body)
“Wave is my Nature”, VTOL (http://vtol.cc/filter/works/wave-is-my-nature) “Luxate” Joao Beira (https://vimeo.com/147072640) “Drones vs BodyTracking experiments”, Daito Manabe/Rhizomatiks(https://www.youtube.com/watch?v=SPcZmDTW8KU) “Pathfinder”, Christian Mio Loclair, (http://waltzbinaire.com/work/pathfinder/) “Drawing Operations”, Sougwen Chung (http://sougwen.com/Drawing-Operations-D-O-U-G)
Kvant Laser show “The Prolight+Sound 2014, 56 KVANT lasers were used:
41 x ATOM 800
9 x SPECTRUM 20
3 x SPECTRUM 5000
2 x ATOM 1500XT
1 x ATOM 6000
Laser show by DR Enchant Intesity
http://www.e-intensity.com/
Draw in lights is a unique contemporary project connectiong fine art | electronic music | lights | lasers. After many years of travelling around Europe and the rest the the world, Martin Gabco, Luka Brase, Bohus Aliensky Levcik and Peter Krchnavy decided to bring something new to the audience and create this project. Art of Luka is not anymore just in 2D perspective. With exceptional laser programming of Martin the work became 3D and even more. Bohus as a sound composer and Peter as cinematographer creating also new layers of all projects.
Aula Ottagonale delle Terme di Diocleziano – Palazzo Altemps
Da sempre impegnato nella sperimentazione delle nuove tecnologiche applicate alla rappresentazione scenica, Giorgio Barberio Corsetti torna a Romaeuropa Festival con il ritratto di un’Europa sospesa tra i fasti della sua storia e le odierne trasformazioni economiche, culturali e sociali.
Se il suo spettacolo, Il ratto di Europa, può funzionare come una macchina del tempo è grazie alla rete GARR, la rete nazionale a banda ultralarga dedicata all’università e alla ricerca fondata con il Patrocinio del MIUR – Ministero dell’Istruzione, dell’Università e della Ricerca, che interconnette alla velocità della luce centinaia di luoghi della scienza e della cultura. A questa rete in fibra ottica, che si avvale dei più avanzati strumenti tecnologici, Barberio Corsetti affida il compito di collegare virtualmente siti d’eccezione in una sperimentazione che permette di frammentare lo spazio scenico e riunificare luoghi distanti in un’unica rappresentazione digitalmente aumentata. Aula Ottagona delle Terme di Diocleziano e Palazzo Altemps ospitano il pubblico e dialogano tra loro attraverso due grandi schermi video. Qui vive Europa, interpretata da Maddalena Crippa, intenta a smistare i collegamenti in diretta e in differita con il Colosseo, Crypta Balbi e Laboratori INFN di Frascati, luoghi a loro volta abitati da altrettanti personaggi simbolici.
Il tempo, spiega il regista: «Abita l’anello di DAPHNE (Double Annular PH Factory for Nice Experiments), l’acceleratore di particelle, e dalla vertigine della materia in movimento collega la ricerca più avanzata con le origini dell’universo, usando il linguaggio scientifico ma anche il linguaggio mitico nella successione delle ere in creazione e distruzione».
Attraverso testi di Seneca, Bhagavadgita e Alex Barchiesi, oltre che suoi testi originali, Barberio Corsetti ci racconta il presente delle migrazioni, delle banche, dei mercati collassati, dell’arte ai tempi dell’IS, dell’Io ai tempi di internet. Quando la possibilità di essere ‘sempre e ovunque’ e la schizofrenica elaborazione di masse d’informazioni annulla il mondo e la sua storia in un eterno presente.
Durata 105′
In collegamento in diretta o differita da Colosseo, Crypta Balbi, INFN – Laboratori Nazionali di Frascati
Uno spettacolo di Giorgio Barberio Corsetti che ne cura l’ideazione e la regia
Testi Seneca, Bhagavadg?t?, Alex Barchiesi, Giorgio Barberio Corsetti
Con Maddalena Crippa, Valeria Almerighi, Gabriele Benedetti, Gabriele Portoghese
Immagini, Video Igor Renzetti
Aiuto regia Ugo Bentivegna
Musiche Gianfranco Tedeschi, Fabrizio Spera
Tecnologie di rete distr-active (distibuted and interactive) Consortium GARR Produzione Fattore K.
Coproduzione Romaeuropa Festival, Consortium GARR, Polifemo
Anatta is a dance performance that blends interactive technology and performative art in such a way that neither element dictates how the other proceeds. Via laser-tracking, the mostly monochrome projections on the installation space’s walls and floor react to the movements of dancer Joanna Gruberska (PL) and vice-versa. The result is reciprocal interplay among the human body, the projection and the performance space, whereby the boundary between action and reaction becomes blurred.
“WITH OUI” is an audiovisual dance performance presented at the Ears, Eyes and Feet event in the B. Iden Payne Theater, May 2015, UT Austin Texas.
The narrative of the piece develops around human communication and mutually supportive relationships. A bright object in the middle of the stage acts as source of knowledge and connecting link between the dancers. This object contains inside a motion sensor (a Wiimote controller) and is used in specific moments by the dancers as a performative object to manipulate audio.
AudioReactive visuals were developed in Processing using the Plethora library for the flocking implementation. Boids behaviour’s parameters (cohesion, separation, alignment) are audio reactive. Audio analyze and other parameters controls are done live in a VDMX projec and sent by OSC. Processing code at Github here.
FULL CREDITS:
“With Oui” – May 2015 | B. Iden Payne Theater, UT Austin – Texas. Choreography: Billie Secular, Ladonna Matchett; Sound: Eli Fieldsteel; Live Visuals: Rodrigo Carvalho; Lighting Designer: Ya-Tai Chung; Dancers: Zach Khoo, Kelsey Oliver, Gianina Casale, Nick Kao, D’Lonte Lawson, and Sam O.
NONOTAK studio is the collaboration between the illustrator Noemi Schipfer and the architect musician Takami Nakamoto. Commissioned by the Architect Bigoni-Mortemard to create a mural in the lobby of a public housing building in Paris, NONOTAK was created in late 2011.
In early 2013, they start to work on light and sound installations, creating an ethereal, immersive and dreamlike environment meant to envelope the viewer, capitalizing on Takami Nakamoto’s approach of space & sound, and Noemi Schipfer’s experience in kinetic visual. They presented their first audiovisual installation at the Mapping Festival in may 2013. In summer 2013, NONOTAK come up with a performance, LATE SPECULATION, where they are the creators and contents of the project.
NONOTAK have been commissioned by the Mapping Festival ( GENEVA ), EM15 ELEKTRA / MUTEK ( MONTREAL ), la Nuit Blanche ( PARIS ), Roppongi Art night ( TOKYO ), Axcess Art Gallery ( NEW YORK ), Stereolux ( NANTES ), Playgrounds Festival ( TILBURG ), Mirage Festival ( LYON ), Vision’R, Insanitus Festival ( LITHUANIA ), FUZ Festival ( PARIS ), Lunchmeat Festival (PRAHA ), KIKK Festival ( BELGIUM ), Nokia by Lumia ( ISTANBUL ). Their work have been exhibited at institutions and galleries including Tokyo Grant Hyatt Hotel, l’Opéra de Lyon, Batiment d’Art Contemporain de Genève, Theater de NWE Vorst, La Fabrique, Pavillon Carré de Baudouin, Le Générateur.
Yago de Quay is an artist and multimedia researcher. His performances are concerned primarily with connecting gesture, music and visuals. In 2013 he received the Audience Favorite Prize at West By West Campus Film Festival for the film NOLA and the Critics Table Awards nomination for the Best Video Design in the multimedia performance 3D[Embodied]. In 2011 he published the book “Interactive Music 2.0″ and on the next year launched his music album “Take You to The Party”.
His latest show features interactive holographic projections and electronic sounds that respond to the gestures and brains waves of the singer.
Motion tracking done with a Kinect Camera. Brain waves analyzed with a MUSE EEG. Projections on a translucent scrim.
Video by:
Filipa Rodrigues – Editor/Producer
Drew Daniels – Director of Photography
Chris Rush – Camera Operator
Yago de Quay – Music/Visuals/Voice
Sam Reese – Lyrics
Eric Lara – Lighting
Daniel Swan – Bass
Kendall Clark – Drums
The performer (vocalist) wear various technologies that allows the broadcast of his brain and body bio-signals through wi-fi connection. An electroencephalogram by Emotiv reads his brain waves to enable deliberate mental tasks and facial expressions to manipulate visual and musical parameters. A gyroscope sensor on his upper chest, attached to the under shirt, reports body orientation. A windows 8.1 tablet on his chest, attached to his hoodie, collects all this data, process it, and then broadcasts it over a network so that other computers can use the data as input for their audio and visual creative output in real time.
Using elements of the Pope’s poem the immortal soldier Athanatoi (Greek –“without death”) sings on “bright love,” weaving a voice of hope through the first tableau. Then Athanatoi falls into deep séance, conjuring thoughts of the afterlife and immortality.
Poet: Stephanie Pope
Spoken word: by LaQuetta Carpenter
Choreographer: Yacov Sharir
Composer/Sound Design: Bruce Pennycook
Visuals: Joao Beira, Rodrigo Carvalho
Costume Design: Kelsey Vidic
Vocalist: Yago De Quay
Dancers: Emily Snouffer, Becca Bagley, Gianina Casale, Summer Fiaschetti, Katie McCarn and Allyson Morales
Nominated for Best Video Design 2013 by the Austin Critics Table Awards. Motion Tracking, Bio Sensors, dancers, and virtual reality make magic on stage.
DESCRIPTION
Messa di Voce is an audiovisual performance in which the speech, shouts and songs produced by two abstract vocalists are radically augmented in real-time by custom interactive visualization software. The performance touches on themes of abstract communication, synaesthetic relationships, cartoon language, and writing and scoring systems, within the context of a sophisticated, playful, and virtuosic audiovisual narrative.
The software transforms every vocal nuance into correspondingly complex, subtly differentiated and highly expressive graphics. These visuals not only depict the singers’ voices, but also serve as controls for their acoustic playback. While the voice-generated graphics thus become an instrument which the singers can perform, body-based manipulations of these graphics additionally replay the sounds of the singers’ voices — thus creating a cycle of interaction that fully integrates the performers into an ambience consisting of sound, virtual objects and real-time processing.
Messa di Voce lies at an intersection of human and technological performance extremes, melding the unpredictable spontaneity and extended vocal techniques of two master composer-improvisers with the latest in computer vision and speech analysis technologies. Utterly wordless, yet profoundly verbal, Messa di Voce is designed to provoke questions about the meaning and effects of speech sounds, speech acts, and the immersive environment of language.
2. Mi exposición Alsaxy:
Desde el día 22 de octubre Le Shadok, fabrique du numerique de Estrasburgo, Francia, presenta mi exposición Alsaxy. Esta exposición es muy importante para ya que presenta una parte de mis instalaciones, documentos y dispositivos que conforman mi carrera, así como mi nueva producción Alsaxy, una instalación interactiva fruto de la residencia y de la colaboración con los habitantes del barrio de Hautepierre de Estrasburgo. En torno esta nova instalación están expuestos dibujos preparatorios, fotografías del proceso y algunos elementos escultóricos del rodaje, tales como carros, vestidos y otros objetos. Con motivo de esta exposición se ha publicado el libro ALSAXYWorkbook. Esta publicación recoge buena parte de los dibujos preparatorios y algunas fotos de este proceso.
Harket Cristina è una giovane volontaria in un progetto che esplora la possibilità di sopravvivere in un bunker per un mese. Ha solo l’aiuto di un sistema di intelligenza artificiale, denominato MAP # 2. Qualcosa va storto e il mese si prolunga fino a un anno e mezzo. Nel Bunker le porte restano chiuse. Lo spettacolo parla di fiducia e tradimento. La necessità di un legame con qualcuno o qualcosa, anche se questi non è umano ma una macchina.
Harket [Protocollo], è più di uno spettacolo interdisciplinare, in cui danza, teatro, umorismo, musica, definizione e video-mapping interagiscono nella messa in scena dello spettacolo. E ‘anche un progetto transmediale che ha un’ estensione in rete attraverso blog e social network in cui lo spettatore può espandere l’esperienza prima di entrare nella stanza e poi dopo che rientra a casa.
TRAMA: CRISTINA Harket è la figlia del defunto professor Pol Harket i Mateu inventore del progetto Harket [Protocollo] dell’Università Politecnica della Catalogna.
Selezionata da 35 volontari per testare una sopravvivenza di un mese nel bunker, entra il 6 gennaio, 2010 alle ore 00: 00. Il soggiorno previsto era di un mese, ma un guasto nel sistema di intelligenza artificiale MAP # 2, che controllava l’intero bunker, ha fatto in modo che le porte non si aprissero nei tempi previsti.
MAP # 2 è un sistema di intelligenza artificiale sviluppato a Barcellona da un gruppo di ricercatori della UPC, coordinato dal professor Pol Harket i Mateu
La sua missione è quella di garantire la sicurezza degli abitanti di un bunker costruito per l’uso di un possibile disastro o di minaccia.
L’interfaccia di accesso principale opera attraverso un software di riconoscimento vocale in modo che sia più facile integrare MAP # 2 nella vita quotidiana degli abitanti.
IMMERSIVE AUDIOVISUAL ENVIRONMENTS – XVList of five more interactive dance performances in responsive audiovisual spaces. The performers are immersed in hyper-sensorial alternative mixed realities and interact with sound and visuals.
[PIC.: I DON’T REMEMBER BEING RAISED LIKE THIS: The Symptoms + Gábor Karcis +
Zsolt Korai + Gábor Papp // DIVIDE BY ZERO: Nina Kov + Catarina Carvalho +
Hellicar & Lewis // MOVEMENT DEL AIR: Adrien M & Claire B ]
WITH OUI
“WITH OUI” is an audiovisual dance performance. The narrative of the piece develops around human communication and mutually supportive relationships. A bright object in the middle of the stage acts as source of knowledge and connecting link between the dancers. This object contains inside a motion sensor (a Wiimote controller) and is used in specific moments by the dancers as a performative object to manipulate audio.
“Don’t Remember Being Raised Like This is a subjective inventory of recollections, both real and fictitious, collected by each company member in 7-year intervals, up to the imagined age of 77. The show was inspired by a workshop with Petra Ardai, founder of the Space Theatre.”
Creator-performers: Réka Szabó, Emese Cuhorka, István Gőz, Dániel Szász | Light and space: Attila Szirtes |Costume: Edit Szűcs | Visual design, interactive technology: Gábor Karcis, Zsolt Korai,Gábor Papp. 2014. More info here.
MOVEMENT DEL AIR
“The performance matches seemingly impossible visions: images look alive while bodies fly, defying gravity. The acrobatic and digital choreography outlines a body language that involves a new relationship to time, space and the whole world. Beyond looking for technical achievement, what matters is the attempt at creating a motion dreamscape by way of images.”
“FUTURE SELF studies human movement, mirroring interaction in dance, light and sound, while exploring the self, present and future.”
By rAndom International (media artist collective), Wayne McGregor (choreographer),
and Max Richte (composer). 2013. Produced by MADE. Video Documentation here.
Sketches for body-machine configuration: Corpus Nil
From Marco Donnarumma’ Website
“Brewing in studio is a new body performance for sound, light and biotechnologies entitled Corpus Nil. Through a choreography that strains the edges of muscular tension, limbs torsion, skin friction and equilibrium a non-human body of flesh struggles to take form. The sound of the muscles stretching beneath the skin and the electrical activity of the brain are turned into sound and light. A preview of Corpus Nil is scheduled at NIME, the leading conference on New Interfaces for Musical Expression
As my PhD draws close to an end this summer, I’m in studio rehearsing a new performance that will be previewed at NIME, the international conference on New Interfaces for Musical Expression, at the end of the month.
I’ve been working together with Baptiste Caramiaux to create Corpus Nil, a new body performance that wraps up the research I’ve done in the past three years combiningphysiological computing, performance art and cultural studies of the body to examine physical expression in sound performance.
Here are some rehearsal pictures, visual sketches of the final performance.
Corpus Nil is a performance for reorganised body, octophonic surround sound, interactive lights and biowearable musical instrument.
Through a series of movements that explore the limits of muscular tension, limbs torsion, skin friction, and equilibrium the body is reorganised.
As the body morphs, its muscular force and brain activity are transformed into digital sounds and light patterns.
The body and the machine are configured into one entity. Their relation is not one of control, but one of becoming.
Together, the human body and the machine body become a new body.
A body that is not necessarily human nor cyborg, it’s an expressive body of flesh, circuitry, transducers, sound and lights.
Nuove frontiere per il teatro si aprono grazie alle caratteristiche di immersione,integrazione,ipermedialità,interattività, narratività non lineare propri del sistema digitale: dall’evoluzione nel web delle performance alla creazione di ambienti interattivi, all’elaborazione di una nuova scrittura e drammaturgia multimediale.
I nuovi media di oggi non equivalgono ai nuovi media di ieri per le caratteristiche tecniche innovative, per i meccanismi sociali che innescano e per l’impatto comunicativo che determinano, ma di una comunicazione di nuova generazione, ramificata, orientata all’immediatezza, all’interattività, allo scambio, alla creazione di reti di relazioni, proiettata cioè, al network.
Emerge una nozione di scena aumentata (enhanced theatre è la definizione di teatro digitale data da Dan Zellner) che ha a che fare con il trattamento/processamento in tempo reale di informazioni multimediali, con il coinvolgimento sensoriale del pubblico e con la mediazione tra performer e computer. Una scena aumentata negli effetti e animazioni tridimensionali, nelle immagini in movimento, nella scena interattiva e in quella virtuale che sostituisce quella reale, negli attori sintetici che recitano in una live action insieme ai loro doppi in carne ed ossa, nella percezione del pubblico sollecitato a una visione multipla, a una compresenza di punti di vista. La scena diventa caleidoscopica e le immagini sono frammentate, simultanee, proiettate su più schermi, su superfici curve o su oggetti in movimento, e lo spettacolo diventa ‟polivisuale e sembra che siano convocati tutti gli stadi della storia del nostro sguardo”1.
Uno stile ambivalente e mimetico per il teatro tecnologico: Masbedo.
Teatro e digitale, per usare una terminologia cara a Marshall McLuhan, si stanno ibridando, anzi forse oggi siamo già alla seconda generazione tecnologica che sta dando vita a quello che si può definire, prendendo a prestito un termine dalla biologia, un teatro-chimera, un teatro dal doppio codice genetico caretterizzato da un libero nomadismo e mimetismo dei linguaggi.
Le immagini in movimento, le animazioni, i sistemi interattivi, i programmi informatici per una gestione live del materiale audiovisuale sono stati già da tempo assorbiti nella materia teatrale inaugurando un nuovo genere al confine con le altre arti (installazioni, concerti, film, opere video).
L’ibridazione, ovvero per usare l’esatta definizione mcluhiana, ‟l’interpenetrazione di un medium nell’altro” in questa generalizzata computerizzazione della cultura, produce una fenomenologia artistica mutante derivante dal web, dal fumetto, dal videoclip, dalla videoarte, dal vjing, dallamotion graphics, al passo con le tecnologie digitali, altrettanto metamorfiche e “mimetiche”.
“L’arte digitale è arte dell’ibridazione” afferma Edmond Couchot, una elaborazione interna alla scrittura, alla composizione, alla visione, alla forma della creazione d’arte di cui sarebbe responsabile proprio la natura “mutevole” dell’oggetto artistico multimedializzato. Le cross-ibridazioni tra sistemi di informazione, scritture, dispositivi di visione e di ascolto, complice il comune codice digitale, sono potenzialmente infinite: dai radiodrammi alle video performance, dalle installazioni performative, ai live set fino alla drammaturgia ipertestuale e on line in un’evoluzione continua e in una serie pressoché infinita di possibilità trasformative. Il testo, o meglio l’ipertesto drammaturgico, il progetto scenico, la partitura sonora-musicale, l’installazione, il video, il software, lo spettacolo, non appartengono più a generi diversi ma divengono fasi di un processo aperto, tassello di un mosaico spaziale e temporale mutante, flessibile e comunicativamente forte.
Se Rosalind Krauss proponeva in Art in the age of the post moderncondition (2005) di tracciare una riga definitiva per eliminare la parola medium “così da seppellirla come tanti altri rifiuti tossici della critica e procedere nel mondo della libertà lessicale”, Zygmunt Bauman in Modernità e ambivalenza (2010) individua nel concetto di “ambivalenza” che romperebbe la pratica del modello strutturale normativo, dell’ordine classificatorio delle categorie estetiche, uno dei temi chiave del postmoderno:
La situazione si fa ambivalente se gli strumenti di strutturazione linguistica si rivelano inadeguati: o il caso in questione non appartiene a nessuna delle categorie individuate dalla linguistica, oppure si colloca in più classi contemporaneamente. In una situazione ambivalente nessuno dei modelli appresi è quello giusto ovvero se ne potrebbe applicare più di uno (…) L’ideale che la funzione nominatrice/classificatrice si sforza di raggiungere è una sorta di ampio archivio che contenga tutte le cartelle che contengono tutti gli oggetti che il mondo contiene: ogni cartella e ogni oggetto sono però confinati in un loro posto distinto. E’ l’impossibilità di realizzare un simile archivio che rende inevitabile l’ambivalenza (…) Classificare consiste negli atti di includere e escludere. Ogni volta che diamo un nome a qualcosa, dividiamo il mondo in due: da un lato le entità che rispondono a quel nome; dall’altro tutte quelle che non lo fanno (…) L’ambivalenza è un effetto collaterale del lavoro di classificazione (…) Quella all’ambivalenza è una guerra suicida.5
Ambivalenza delle tecnologie in atto quale potenzialità di scambio: Masbedo, Big Art Group, Dumb Type, Tam Teatromusica e Motus sono emblematici di questa “tendenza ambivalente” del teatro. Privilegiano infatti, la libertà espressiva di un nuovo genere tecno-artistico affrancato dai vincoli e dalle convenzioni del singolo mezzo e derivante indistintamente dal videoclip, dalle installazioni, dai concerti, dal vjing, dalla graphic art, fino al cinema di animazione e persino allavideogame art. Nelle performance dei giapponesi Dumb Type la partecipazione dello spettatore è di natura immersiva, ricca cioè, di stimolazioni sensoriali multiple (dalle sub frequenze al noise, dalle immagini distorte, velocizzate ai video multipli), come se fosse un’installazione audiovisiva sperimentale.
Motus sperimenta da sempre la contemporaneità di teatro-cinema in scena (da Twin rooms a X-racconti crudeli della giovinezza) e introduce anche la grafica animata (Rumore rosa); gli statunitensi Big Art Group con il ciclo di spettacoli definito “real time film”(Flicker, House of no more) ricreano un vero set cinematografico (usando un green screen) con la messa in mostra degli effetti da truquage. Approda a teatro una “composizione digitale” che unisce in una continuità senza cesura, televisione, cinema e teatro secondo una nuova estetica – seguendo Lev Manovich – “anti-montaggio” ovvero, “una creazione di spazi contigui in cui interagiscono diversi elementi (…)Nella composizione digitale gli elementi non sono più contrapposti ma miscelati; i loro confini vengono cancellati più che enfatizzati”.
Masbedo (i video-maker Bedogni-Masazza) provano nuove forme di performatività trasversale, traslocando dal video al teatro tematiche esistenziali profonde. In Teorema di incompletezza,Glima,Autopsia del tralala,Togliendo tempesta al mare,Person, protagonista è il senso di vuoto, di disincanto e di precarietà esistenziale, l’incomunicabilità, l’isolamento volontario come rifugio ultimo, la custodia sisifica dei valori societari, l’arte che trattiene gli ultimi brandelli di umanità, la sterilità dei rapporti umani nel generale inaridimento e decadenza morale della società occidentale, il bisogno di infinito. Come Amleti irrequieti, vaganti nel vuoto pneumatico di una condizione tragica, evocata nella sua abissalità da una camera iperbarica o da interminabili silenzi, i protagonisti vivono distillandosi l’ossigeno per una rinascita, o almeno, per una via di fuga. La loro è un’arte intermediale in cui la musica il cinema, il video e la performance sono sempre strettamente collegati. Il riferimento principe per Masbedo è il territorio multidisciplinare dell’arte video della metà degli anni Sessanta, fecondo terreno per sperimentazioni di incroci, attraversamenti e transizioni. In quel contesto di effervescenza creativa e sperimentale, il medium video ha vissuto in perfetta promiscuità con le altre arti con le quali si è intrecciato, mescolato, confrontato. Citando le pionieristiche esperienze video performative di Nam June Paik, ma anche quelle successive di Laurie Anderson, Peter Gabriel e Metamkine, Masbedo allestiscono le loro performance a partire da originarie videocreazioni per poi arricchirle ed espanderle –alterandole radicalmente- con una componente musicale live (Schegge d’incanto in fondo al dubbio, Glima).
Schegge d’incanto in fondo al dubbio di MASBEDO è nata come videoinstallazione per due schermi sincronizzati per la Biennale di Venezia (2009) ed è successivamente diventata una performance di live video con musica suonata sul palco da Lagash dei Marlene Kuntz.
La donna, novella Antigone, opponendosi all’omologazione del mondo, alla vita umiliata, compie un gesto impetuoso e solenne di ribellione: trascina nell’acqua a fatica, oggetti che rappresentano la vita vissuta e il quotidiano; infine, si immobilizza come statua, su un piedistallo in mezzo al mare, con gesti ricchi di pathos evocando miti tragici e archetipi del femminile che raccontano come la vita umana, pur nelle difficoltà e nel dolore, lasci dietro di sé schegge di bellezza. La donna mostra una maschera tragica del dolore, un urlo muto che porta con sé tutto il lamento dell’esistere. Il video trasmette proprio quel senso profondo e necessario di purificazione e metamorfosi dell’essere e quel bisogno di rivelazione da cui nasce la tragedia attica antica e che ci è stato trasmesso dalle pitture vascolari greche e dai frammenti orfici: “desistere dal ciclo prendere fiato dalle miserie” (frammento da Proclo cit. da G. Colli, La sapienza greca).
Il video Glima, nato dall’esposizione di una proposizione base, sviluppata dagli attori senza indicazioni registiche dettagliate, come una performance corporea di enorme fisicità e di grande impatto, si è incarnato prima in un’installazione monocanale, poi in uno spettacolo vero e proprio con attori che interagivano in una scena video live con doppia proiezione. Da un formato video di breve durata si genera, stretchandosi, lo spettacolo. Un uomo e una donna lottano legati da vincoli di lacci in pelle come un’appendice organica che rimanda a un rito di possessioni sadomasochistiche e afflizioni autoindotte; intorno a loro una terra vulcanica, un paesaggio video-esistenziale: l’Islanda con la sua particolare orogenesi, con la sua attività vulcanica e la presenza della dorsale media-atlantica il cui processo tettonico sta spezzandola in due tronconi alla velocità di due centimetri l’anno, va a definire coordinate geoestetiche potentissime. Questi paesaggi fisici raccontano simbolicamente la distanza tra uomo e donna, ma anche il desiderio di riscatto, il disperato tentativo di opporsi a una deriva di rapporti umani e sociali basati su banalità e prevaricazione.
Il paesaggio non è estraneo, entra nella violenza perpetrata nei corpi dove alternativamente uno diventa carnefice e l’altro vittima; in questo rituale della coercizione sotto cui si può leggere la generale volontà a non integrarsi, a non piegarsi e a non sottomettersi alle regole del mondo e la generale riluttanza ad obbedire all’ordine sociale, i protagonisti hanno abbandonato la civiltà ma non la disponibilità a combattere magari in nome di un’ipotetica causa comune che presuppone l’unirsi degli uomini in una catena umana a difesa del proprio patrimonio di valori. La performance con due schermi e una pedana ad altezza del pubblico proposta al Festival DRO e a ROMAEUROPA (2010), ripropone l’identica performance ma il paesaggio reale dove agivano i personaggi nel video, in teatro viene evocato dall’elettronica7.
Gigantismo e video mapping architettonico: Urban screen
Caratterizza la scena degli ultimi anni il fenomeno del gigantismo: enormi superfici schermiche sono presenti in Voyage di Dumb type, in By Gorky di New Riga Theater, in Madre assassina di Teatrino clandestino, in Ta’ziyé di Abbas Kiarostami che recupera un antico rito iraniano; multipli e giganteschi sono i dispositivi per le proiezioni dell’Ospite di Motus, claustrofobico è il cubo di schermi per (a+b)3 di Mutaimago, enorme è il cilindro a specchi per la Damnation de Faust e la gabbia di plexiglass in Metamorphosis della Fura dels Baus.
Oggi sta prendendo campo una nuova arte media-performativa che usa come fondale scenografico le ipersuperfici urbane e le gigantesche facciate dei palazzi già adoperate per la pubblicità di grande formato: animating space o architectural mapping è la tecnica che fa interagire la realtà architettonica e la sua ricostruzione digitale e ne modifica la percezione visiva sovrapponendosi ad essa, inserendo personaggi digitali che si arrampicano virtualmente su edifici e finestre a ritmo di musica. Ne sono artefici: Urban screen, AntiVJ, Rose Bond, NuFormer, Apparati effimeri, Claudio Sinatti e Giacomo Verde, fondatore con Enzo Gentile di White Doors Vj.
Sulla base di questi esperimenti di realtà aumentata, sono state create opere video artistichesite specific di grandi dimensioni e persino spettacoli teatrali con scenografia/attore virtuale che prevede una mappatura (mapping) 2 e 3D. Spettacoli che si adattano alla superficie e che imitano le modalità di impatto della pubblicità a grande formato e del digital signage. Urban Screen, architetti specializzati in allestimenti digitali e installazioni anche in aree urbane, nascono come gruppo nel 2008 (ma già attivi sin dal 2004) con sede a Brema, in Germania: lavorano nel campo dell’intrattenimento, della pubblicità e dello spettacolo usando i nuovi media digitali e le videoproiezioni. Aperti alla collaborazione con artisti che lavorano nell’ambito della motion graphicse del video, hanno creato un nuovo genere di arte pubblica rigorosamente digitale. L’operazione artistica che loro inaugurano con tecniche e programmi creati appositamente, è quella che prevede un preciso mapping della superficie da proiettare (la problematica riguarda proprio la precisa rilevazione omografica) e la proiezione di un fondale digitale video o animato, perfettamente sagomato sullo sfondo architettonico; questo procedimento dà vita a straordinari eventi ed effetti tridimensionali, improbabili quanto fantasmagorici. L’illusione percettiva, nei casi più riusciti, è quella di una “architettura liquida”, mobile, che aderisce come pellicola o si stacca improvvisamente dalla superficie vera a creare un’ illusione ottica di forte impatto, il tutto sotto gli occhi del pubblico inconsapevole o del passante il quale non distingue più tra la trama architettonica vera e propria e quella virtuale.
Subito acquisita dai grandi marchi internazionali per la pubblicità e il lancio di nuovi prodotti, la tecnica del video mapping fa intravedere anche un possibile utilizzo performativo digitale che unirebbe definitivamente video art, installazioni, graphic art, light design e teatro dal vivo. Facciate di case e chiese con i singoli elementi architettonici coperti da un rivestimento digitale, tale da rispecchiare perfettamente i volumi esistenti e alterare la percezione dell’oggetto statico da parte del pubblico diventano quadri/pitture in movimento, arricchiti di macchie di luci e di colore che si modificano a ritmo di musica, con personaggi digitali che si arrampicano virtualmente su finestre, portoni, tetti in questa nuova arte mediale, arte media- performativa. I confini del teatro si sono così allargati: l’ambiente non è più lo sfondo, è l’opera.
Bibliografia:
A.M.Monteverdi, Nuovi media, nuovo teatro, FrancoAngeli, Milano, 2010
A.M.Monteverdi, A.Balzola, Le arti multimediali digitali, Garzanti, Milano, 2005 (3ed.; anche in e-book).
A.M.Monteverdi, Il teatro di Robert Lepage, Pisa, BFS, 2005
A.M.Monteverdi, Per un teatro tecnologico internazionale, DOSSIER « Teatro e nuovi media », Hystrio gennaio 2011.
1B. Picon-Vallin, Un stock d’images pour le théâtre. Photo, cinema, video, in B. Picon-Vallin (a cura di), La scène et les images, Parigi, CNRS éditions, 2001, p. 21.
2R.Krauss, Reinventare il medium, Milano, Mondadori, 2006.
3E.Quinz, Tekno-teatro-logie, in A.M.Monteverdi, O.Ponte di Pino, Il meglio di ateatro, Milano, Il principe costante, 2004, p.267.
4Prendo in prestito il termine da Derrick de Kerchove (“Perform Arts”, estate 2006).
5Z. Bauman Modernità e ambivalenza, Torino, Bollati e Boringhieri, 2010 p.12.
6Nel capitolo Composizione da Il linguaggio dei nuovi media, Lev Manovich sottolinea come nella composizione digitale si oggettivi quell’estetica della continuità tipica della cultura dei computer e opposta all’estetica del montaggio cinematografico: ‟Il montaggio mira a creare una dissonanza visiva, stilistica, semantica ed emotiva tra i vari elementi, invece la composizione digitale tende a miscelarli in un tutto integrato, un’unica gestalt”. L.Manovich, Il Linguaggio dei nuovi media, Milano, Olivares, 2001, p.187.
7 Su Masbedo vedi : A.M.Monteverdi: Per un’estetica dell’ambivalenza, ateatro.it agosto 2010.
8Per Motion Capture o Mocap si intende precisamente un programma che rende possibile la rappresentazione 3D di corpi in movimento o la traduzione in forme digitali diverse, attraverso sistemi di tracciamento in tempo reale con telecamere o particolari sensori detti marcatori che forniscono le informazioni al software. Come è noto, la motion capture è soprattutto applicata al cinema degli effetti speciali, permettendo la continuità tra personaggio reale e personaggio virtuale. La storia della mocap che è stata sperimentata pionieristicamente nell’ambito della coreografia da Merce Cunningham e Bill Jones, dovrebbe includere Etienne-Jules Marey e Muybridge, padri della registrazione fotografica del movimento. Vedi a questo proposito S. Delahunta, Coreografie in bit e byte: motion capture, animazioni e software per la danza, in E. Quinz, A.Menicacci, La scena digitale, cit. pp.88-89.
Os informamos de las próximas actividades de la exposición Sistematugia. Acciones, Dispositivos y Dibujos en Arts Santa Mònica. Una retrospectiva de mi obra centrada en el fenómeno más relevante de mi carrera, las performances interactivas y el método que utilizo para producirlas: la Sistematurgia.
–Performance PSEUDO(2012). Viernes, 21 de febrero, 20h. Claustro.
–Proyección + debate. La Fura Preolímpica. . Martes, 25 de febrero, 19h.Claustro.
Proyección Ulele (1987) + Debate con Marcel·lí Antúnez Roca, Carlus Padrissa, Pere Tantinyà, Roland Olbeter y Quico Palomar.
–Proyección + debate. L’esperit dels 90. . Martes, 4 de marzo, 19h. Claustro.
Proyección de Rinolàcxia (1991), Retrats (1993), Frontón el hombre Navarro va a la Luna (1993); y el documental Satèl·lits Obscens (1996/7) + debate con Marcel·lí Antúnez Roca, Josep Miquel Aixalà, Pau Nubiola, Sol Picó, Joan Simó y Sergi Caballero.
–Concierto poético Membrana. Viernes, 7 de marzo, 20h. Claustro.Estreno.
Con Marcel·lí Antúnez Roca, Guillamino y Núria Martínez Vernis.
–Performance Epizoo (1994). Viernes, 14 de marzo, 20h. Claustro.
–El desafío de los cuerpos. Accionismo, performance, para-teatro. Sábado, 15 de marzo. 10h–14h y 16h–20h. Sala de Actos.
Con Tania Alba, Dominique Chateau, Pilar Parcerisas, Jolanta Rekawek, Pere Salabert, Mercè Saumell y Barbara Verzini.
–Performance Protomembrana (2006). Viernes, 21 de marzo, 20h. Claustro.
–Performance ProtoPseudoKIDS (2006/12). Domingo, 23 de marzo, 12h. Claustro. A partir de 5 años.
Breve historia de la computación con el enano Quaqueo y el minúsculo Pitufet.
–Performance Hipermembrana (2007). Viernes, 28 de marzo, 20h. Claustro.
La performance ha tenido varias formaciones. Aquí llega con Les Filles Föllen, Nacho Galilea, y Marcel·lí Antúnez Roca.
–Performance Afàsia(1998). Viernes, 4 de abril, 20h. Claustro.
Saludos,
English. Activitites. Systematurgy. Actions, Devices and Drawings. Marcel·lí Antúnez Roca. I would like to inform about the next activities linked to the exhibition Systematurgy. Actions, Devices and Drawings at Arts Santa Mònica. It is a retrospective exhibition focused on the most relevant element in my career, the interactive performance and my method of creation: the Systematurgy.
–Performance PSEUDO(2012).Friday, 21st of February, 8pm. Cloister.
–Projection + Debate. La Fura Preolímpica. Tuesday, 25th of February, 7pm. Cloister.
Projection of Ulele (1987) + debate with Marcel·lí Antúnez Roca, Carlus Padrissa, Pere Tantinyà, Roland Olbeter and Quico Palomar.
–Projection + Debate. L’esperit dels 90. Tuesday, 4th of March, 7pm. Cloister.
Projection of Rinolàcxia (1991), Retrats (1993), Frontón el hombre Navarro va a la Luna (1993); and the documentary Satèl·lits Obscens (1996/7) + Debate with Marcel·lí Antúnez Roca, Josep Miquel Aixalà, Pau Nubiola, Sol Picó, Joan Simó and Sergi Caballero.
–Poethic concert Membrana. Friday, 7th of March, 8pm. Cloister. Premiere With Marcel·lí Antúnez Roca, Guillamino and Núria Martínez Vernis.
–Performance Epizoo (1994). Friday, 14th of March, 8pm. Cloister.
–Conference.The challenge of the bodies.Saturday, 15th of March, 10am – 2pm and 4pm – 8pm. Auditorium.
With Tania Alba, Dominique Chateau, Pilar Parcerisas, Jolanta Rekawek, Pere Salabert, Mercè Saumell and Barbara Verzini.
–Performance Protomembrana (2006). Friday, 21st of March, 8pm. Cloister.
–Performance ProtoPseudoKIDS (2006/12). Sunday, 23rd of March, 12pm. Recommended for ages 5 and over. Cloister.
–Performance Hipermembrana (2007).Friday, 28th of March, 8pm. Cloister.
With Les Filles Föllen, Nacho Galilea and Marcel·lí Antúnez Roca.
–Performance Afàsia(1998). Friday, 4th of April, 8pm. Cloister.
Kònic thtr is an artistic platform based in Barcelona dedicated to contemporary creation at the confluence between arts, new technologies and science. The main activity beeing focused on the application of interactive technologies to artistic projects. Rosa Sánchez & Alain Baumann are generating the conceptual, creative and technological ideas in Konic Thtr. Since 1990 they co-direct the activities of that artistic platform and by their projects they promote the meeting and collaboration between artists, theoreticians and technologists of varied disciplines and countries, who are invited to share their creative and research proposals. Rosa Sánchez. Multidisciplinary and multimedia artist, performer & choreographer. Artistic director and co founder of Konic thtr. Alain Baumann. Musician, multimedia artist and researcher of new systems for producing sound. He is in charge of the interactive systems used by Konic thtr. Both have and extensive knowledge and experience of working with new technologies applied to performance, dance, installation and theatre.
Konic is specialized in interactive theater with the use of sensors and in recent years your poetry is almost entirely devoted to the so-called network theater or telematic performance. For a long time the artists have tried to concretize the utopia of connecting minds and bodies at a distance. What is your definition of that and your goal as theater artists and not only as a digital artists?
Connecting minds and bodies at a distance is not a utopia anymore. Maybe it does not take place as we were used to imagine when we were watching science fiction movies, but the connection definitely exists. The whole planet is now covered by a transparent but very active layer of connection between people from different cultures, ideas and ways of perceiving life. As performers and theatre artists, we have always been interested in bringing the ‘outside’ to the theatre, and show the way in which our society is evolving, very closely linked to the way the available technology is evolving. We are interested in the concept of distributed event, networked, as it combines the concept of Telematics with that of network, particular of the digital media
As theatre and performance artists we are always attracted by the exploration of new experiences with the audience. When we started to be interested by telematic works, one of the things that attracted us was the way the piece is experienced by the performers and by the audience. In this type of work, there is a different concept of what the show is and how the audience can perceive it. The stage is spread across countries and sometimes distributed on the Internet, and the audience is attending the show in the different countries where the event takes place. The audience assisting locally in each node will see a different setting on stage, combined with the information received from the other performers and countries. The audience at each location can therefore have a completely different perception of the same piece. This is something that is quite interesting, and although it might also happen in a theatre show in which different members of the audience can see and live a different experience of the same show, in the case of telematics there is always a part (the other part) that can only be seen as a visual and sonic representation.
Your shows (Before the beep, Cuerpo sms) have to do with the mediated image of the person, through thousands of devices and media that speak of us, photographs, social networks, and have to do with his relationship with the media and how they can create or deform personality.Is it a general media critic towards overall social excessive use of media?
In Before the Beep we wanted to explore how our cultural context, highly mediatized, constructs and determines our behaviour and the way in which we communicate. The use of social networks, Internet and the apps we have installed on our inseparable mobile devices are creating new communication codes, and establish new, more playful, social relations. The society has become more proactive and we take this into account when we invite the audience to participate actively during the show. Ask them for instance, by sending phrases through their mobile phone, to bring the semantics of a situation that the actors have to follow. In Before the Beep, we are not really making a criticism about the excessive mediation of our society as much as asking ourselves – and the audience – where can we situate the membrane that separates the private space from the public space on the Internet. A Connected Room of my Own (El Cuarto Propio Conectado) from author Remedios Zafra was a source of inspiration for this piece. In Before the Beep, we also ironize on some situations brought by that intensive use of communication devices, as for example one performer is calling by phone the other performer on stage at sight, something which we experience everyday when people are meeting in crowded areas and cannot see each other even though they are a few feet from each other.
Could you explain exactly how does a network performance work? how one could connect, or partecipate actively and what kind of interactivity do you create? In addition, connected with this, what kind of thematic and dramaturgy (visual, aural) did you created with these specific media?
One of the particularity of network performances is that since they are based on internet networks, they are built on the paradigm of nodes. In theory there could be as many nodes as one wishes. The practice is a bit different, and is technologically complex. Most of the projects we have developed were made possible thanks to a strong technological support and high-speed networks. This is how we can share images between one end of the world and another with good image and sound quality and nearly without delay in the transmission. We have made one piece ‘Arts en Viu en las Llars’ (Live arts from your home) that connected many nodes in which we invited 20 people to take part to a kind of ‘social dance party’ from the comfort of their homes. It was a fantastic project; these people which we did not know at all were suddenly taking an active part in the piece, dancing in front of their webcams. The result of the piece was specifically for the Internet and the visual dramaturgy was based on the creation of visual spaces in which a dancer from our company and the people participating from their home were dancing together.
These projects are highly collaborative, and the dramaturgy that is created depends on how we work with the other partners. Most of the times it is a dramaturgy based on the body, and the choreographed images of the bodies. On the encounter between the remote bodies. The result is usually abstract, and is very much composed live, recreating a virtual space where all the performers intercommunicate, projected on stage and in dialog with the live performers.
The central idea is that one of presence. ..Dance is your language on the scene. How can you manage a dance, a coreography at a distance, using images of distant bodies?
This is exactly the key. We are working with the images of distant bodies and with the bodies present on stage, fed back as images to the other nodes. It is somehow like creating a live videodance. The choreography is not between real bodies, but between their visual (and sometime sonic) representation and the way the cameras capture them. At the same time, there is always a presence, and it is quite easy to loose the sense of what is real and what is virtual, when we have the representation (filmed) of the actual space, superimposed or juxtapose with the images from the ‘other’ space. The shift between the actual and the virtual becomes seamless and it makes the image coming from the other side become a body that is also ‘present’. In our more recent pieces we also start to explore the virtual encounter. In this case, the dancers share on unique virtual three dimensional space, rather than video, and they are represented by digital graphical or sound elements in this space. The information we receive from the dancer is that of their movement in ‘their’ space, and we reconstruct a virtual space in which they all appear together, creating a common virtual choreography. This is something that we are keen to explore in relation with the concept of (tele)presence.
To carry out projects so complex, with rich technology and with a need for fast connection, you needed telematic nodes but also human connections with various artistic groups and cultural spaces in the world. How have you made this network of partnerships given that there are very few artists who are dedicated to this aspect of the theater?
Since we started to work with technology in the early Nineties, we have developed a work praxis in which we generally involve many different partners. Collaborating with technological specialists, but also universities as research partners that can help us to find ways to develop new tools. Since the year 2000, a strong interest from technological experts working in the field of research in high-speed communication technologies has been to open their field of work to the humanities and cultural fields. This means that there are now spaces more or less all around the world where there will be the right people with similar interests. The difficulty is to connect all the elements – the artistic team, the high-speed Internet technologist, and the space to which this high speed connection arrives (most of the time universities). These are new fields to be explored by both artists and technologists and good collaboration is possible while mutual interest exists. Live arts are challenging to networks, as they rely on the interaction between the performers, and the real-time interaction between remote spaces and with high quality audio and video is still a challenge, even for advanced networks. This means that there can be some symbiosis between the artists and the technologists in this case.
Do you consider your art as a politic theater?
To some extend, yes. There are rarely any direct political slogans in our pieces but our proposals are developed with the intention to trigger reflexion in the viewers. Our proposals are usually intended to be destabilizing, hence critical with the dominant system.
Which is the effects on the audience to this new type of performance?
It is quite clear that there is a growing interest of people to access cultural offer via the Internet. Streaming is for us a part of the pieces that we do in this field of telematics. We compose it as an autonomous piece, of videodance or videocreation, which is forming part of the whole work. We detect a growing interest in this type of proposals. On one hand, the audience assisting in the theatre is enthusiastic to see performers that are acting from a remote location with the local performers. On the other hand, there is a part of the audience that experiences the event from the Internet, viewing the piece live as streaming.
The effect on the audience depends on how you show the work, on how open the audience is to come and see something that is unconventional and it also sometimes depends on their age. In Kònic we like to make pieces that are unconventional, and so the audience who come to see us has to connect with the unconventional (whatever this might mean). That said, the audience does not necessarily have to see this as a new type of performance, it is just not conventional, but we still have the intention to transmit emotions and create a live event in the same way as any other theatre piece or live event. In the case of telematics, the audience has sometimes asked us to communicate with the other node, just as if they wanted to make sure that it was real!
Some years ago there was an authentic euphoria for the possibilities of the theatre to create with media a collective piece-performance: there are some examples of net drama, using chat rooms, and some experimentation of mixing video scenography from external of theatre by webcam and texts. But it finished into few years without creating nothing real special and unforgettable. Now some groups are devoted to this aspect like you, I quote Rimini Protokoll. DO you think that this genre, could renewal the contemporary theatre?
The net dramas and other similar experiments were a great way to explore the possibilities of the Internet for rizhomatic creation, but maybe at that time nor the audience nor the technology was ready for a satisfying experience of the work (which would be a first step to make them unforgettable). Since the beginning of theatre, technological advances made the apparition of new artistic genres possible. The work of Rimini Protokoll or of Kònic Thtr would not be possible without the new communication and interaction spaces offered by the Internet or social networks.
There are many people out there creating very interesting works, and the technological changes are making it easier for the audience to be connected to new proposals. We are very interested in pieces that are using the media in a somehow transgressive form, rather trying to reproduce a new version of the old, and this is in our opinion a key to renewal. As well as creating new trends, the way in which contemporary theatre pieces are developed is marked by the way the society apprehends these new communication spaces. These new genres can reach audiences that conventional theatre cannot reach, and it will also open new spaces for artistic expression. An example that comes to mind are the Flash Mobs for instance, and how this type of intervention has become widespread very quickly thanks to the social networks
Do you think to use videomapping for future shows, considering your important experience in this tecnique?
Right now we are very interested in exploring the great possibilities of Video Mapping onto architectural elements but also on stage. We are partner of the European project IAM, a project that was initiated by a group of people in Italy, who are specialists in video mapping, technical experts such as Enzo Gentile and Anughea Studio and media-art history expert like you. The project is proposing the use of Video Mapping for enhancing cultural heritage and this means that we are immersed in the exploration of this technique. Videomapping offers incredible possibilities for live performances, especially for showing work in large scales and on architectural elements, but it also has great possibilities in theatre. We are now preparing a piece to be premiered at the end of 2014 that is based on architectural VideoMapping.
Could you tell something about the IAM experience and your important role for the internationals projects?
IAM is a great project that combines technology and culture. We are really pleased to be part of this project in which different pilot projects are being developed around the same concept: enhancing cultural and natural heritage through Augmented Reality, Video Mapping and other technological tools. In this project we are involved in coordinating a series of festivals that will happen every year around this theme. We want it to be a festive event in which technologist and heritage specialists can meet and find affinities. It is a great experience for us, and of course there will be Video Mapping!
Germany’s ART+COM used augmented reality in the stage setting and costume design of the opera The Jew of Malta premiered at the Opera Biennale Munich in 2002. Both the furniture (markers) and all other aspects of the stage were white, as was the costumes (markers) of the actors. Using tracking technology and gesture-based control, the system projected images onto the stage setting and costumes – a milestone in using augmented reality in opera. Here The original English Text
Nel 2002 il gruppo di artisti digitali Art+Com su commissione della Biennale d’Opera di Monaco e con il supporto dello ZKM ha realizzato un’opera musicale con il supporto di un sofisticato sistema tecnologico di motion graphics e motion tracking particolarmente emblematica per l’innovativa proposta di scena virtuale e di digital costume design.
Si tratta di The Jew of Malta, libero adattamento dall’opera di Christopher Marlowe firmato dal compositore e regista contemporaneo Andrew Werner. Lo scopo del progetto era quello di rinnovare la classica e statica scena per un design tecnologico “reattivo” e dinamico. La tecnologia si indirizza verso sistemi di bitmap tracking, gesture recognition e physical contour recognition per architetture e costumi
Protagonista era Machiavelli: le scenografie e persino i costumi digitali erano legati al concetto che Machiavelli era il detentore di un potere assoluto e di conseguenza tutto doveva ruotare intorno alla sua persona. La topografia dei luoghi, le trame virtuali dei tessuti e gli ambienti sintetici creati in grafica 3D – che andavano a configurare un bunker della Seconda Guerra Mondiale – si trasformavano real time sulla base di un sistema di rilevamento ottico del movimento del protagonista. Pochi attori ricoperti solo di una speciale stoffa bianca riflettente la luce interpretavano tutti i personaggi e i rapidi cambi di costume erano possibili grazie a videocamere a infrarossi che rilevavano i loro contorni e permettevano una proiezione di particolari texture virtuali sulle maschere digitali generate dal sistema. Spiegano i progettisti ARt+Com:
L’obiettivo non era quello di sviluppare una nuova forma di arte narrativa o celebrare la tecnologia sulla scena; al contrario stavamo cercando di estendere le potenzialità delle tradizionali discipline del teatro e del design del costume grazie all’aiuto dei media interattivi per farli diventare un ulteriore supporto alla narrazione.
Art+Com messo a disposizione un video che spiega le caratteristiche tecniche di questo pionieristico progetto di stage design interattivo.
Di seguito la traduzione in italiano del testo del documentario scaricabile dal loro sito.
(Traduzione di Anna Maria Monteverdi, supervisione:Andrea Piegaia)
A VIRTUAL OPERA
Nel 1996 il Festival di Monaco commissionò al compositore Andrew Werner un’opera musicale contemporanea. L’opera è stata premiata nel 2002. Sin dall’inizio prima di scrivere la prima nota o il primo verso del libretto, il compositore aveva incluso artisti digitali nello sviluppo di tutto il progetto. Il nostro compito fu di creare una scena interattiva e uno speciale design digitale per i costumi, in stretta collaborazione con Werner per tutto il processo di scrittura. Era chiaro sin dal principio che l’obiettivo non era quello di sviluppare una nuova forma d’arte narrativa o celebrare la tecnologia sulla scena, al contrario stavamo cercando di estendere le potenzialità delle tradizionali discipline del teatro e del design del costume grazie all’aiuto dei media interattivi e farle diventare un supporto alla narrazione.
Il libretto dell’opera era basato sul testo L’ebreo di Malta scritto da C. Marlowe nel 1590 e che fu riscritto dal compositore Andrew Werner. Il testo è ambientato per la maggior parte in un monastero. Così il nostro primo passo fu quello di trovare una metafora contemporanea per l’ambientazione originaria. E ci venne l’idea di un bunker della seconda guerra mondiale perché il monastero e il bunker sono sia rifugio che prigione. Lo step successivo fu lo sviluppo di un concept per portare un bunker creato al computer, sintetico dunque, sulla scena e creare un’architettura tridimensionale e dinamica. Ci venne l’idea di usare tre schermi di grande formato retroproiettabili; poiché non potevamo proiettare un volume architettonico in forma olografica – come invece vediamo qui – decidemmo di proiettare soltanto le intersezioni verticali del bunker, definite dalla posizione e dalle dimensioni degli schermi. Queste intersezioni o piani che si congiungono, ci fornirono da una parte un interessante punto di partenza astratto, dall’altro crearono l’impressione di una gigantesca architettura tridimensionale.
Per testare quest’idea, creammo un modellino 1:10 con tre schermi retroproiettati: 3 schermi e 3 computer. Ciascuno di essi calcolava il piano di intersezione del bunker secondo la posizione e le dimensioni degli schermi. Per rendere possibile l’interattività abbiamo fatto aderire il movimento del bunker al movimento del corpo del personaggio principale, Machiavelli. Se lui si muoveva verso l’architettura o indietreggiava rispetto ad essa, tutta l’architettura lo seguiva; se si girava, l’intera architettura si girava esattamente secondo i suoi movimenti. Tecnicamente il protagonista era “tracciato”, seguito da una telecamera a infrarossi che forniva un traccia digitale in forma di bit map che permetteva di determinare l’esatta posizione sulla scena del protagonista. Era possibile interpretare il suo gesto calcolando il centro di gravità e trasmettendo la distanza tra questo e il punto più lontano dal centro.
Qui il protagonista Machiavelli è in grado di cambiare la scena solo muovendo le braccia. E qui un altro esempio di come può muovere l’intera scena digitale solo col gesto. Una potente impressione di tridimensionalità scaturisce da questa idea di intersecare l’ architettura virtuale.
Abbiamo scelto di attribuire a Machiavelli il potere attraverso l’interattività perché nell’adattamento di Werner dal testo di Marlowe Machiavelli è il personaggio centrale. Egli si considera il creatore dei mondi. Pensa che il mondo si muova secondo i suoi piani e crede di poter determinare anche le azioni degli altri. L’architettura in sé non è stata completamente pre-modellata. In alcune sequenze l’architettura è stata generata real time basandosi sull’algoritmo di crescita delle piante.
Oltre all’architettura interattiva generativa, abbiamo esteso le possibilità espressive del design del costume attraverso i nuovi media. Lo scopo era quello di proiettare le condizioni interiori dei cantanti sulla pelle esterna. Per fare ciò tecnicamente abbiamo sviluppato un sistema altamente complesso che ci permetteva di fare una proiezione precisa, soltanto dentro i contorni visibili dei personaggi. Essi potevano muoversi e la proiezione li seguiva secondo i diversi e continui cambi di posizione e di movimento.
Per fare questo gli attori indossavano un costume bianco che rifletteva gli infrarossi, illuminato con una luce rossa a infrarossi. Una telecamera ad infrarossi veniva puntata sulla scena e produceva 25 immagini ad alto contrasto al secondo. Da qui un algoritmo generava una maschera su cui era applicata una texture, una trama. L’immagine finale veniva poi proiettata sull’attore da un proiettore posizionato esattamente nello stesso punto della telecamera a infrarossi. Questo sistema è stato usato su due lati della scena per permettere che la proiezione dell’immagine avvolgesse l’attore per intero. Una delle molte possibili applicazioni è questa scena in cui tre ebrei vogliono convincere un quarto a pagare le tasse. Quando il quarto personaggio sembra essere convinto e si avvicina ai tre e assume la loro stessa “trama digitale” sul costume. Quando invece non è d’accordo, perde la trama.
Poiché abbiamo utilizzato quattro attori sulla scena su cui bisognava proiettare immagini, abbiamo sviluppato un ulteriore sistema piuttosto complesso che ci permetteva da un lato di identificare dove ciascuno degli attori era collocato e dall’altro lato dove il confine (per la proiezione) di uno di loro terminava e cominciava quella di un altro. Per fare questo abbiamo usato 4 telecamere laterali, una frontale e un’altra dall’alto che ci permetteva di generare real time un modello 3D architettonico per ciascun attore. Ecco le immagini dalle 4 telecamere. Ecco il modello 3D real time che veniva generato e che ci permetteva di capire esattamente la collocazione di ciascuno dei 4 attori e quale attore copriva gli altri. Questa informazione ci permetteva di capire dove una sagoma di uno doveva terminare e dove quella di un altro doveva cominciare. Ecco la trama proietatta risultante da sinistra e da destra. Ed ecco ancora il risultato finale sulla scena.
Come abbiamo detto all’inizio la tecnologia che avevamo sviluppato era la base per un contenuto che guidava l’interazione che era l’obiettivo principale e il supporto al racconto.
Machiavelli è la figura dominante che governa e conduce il gioco, che ha il potere interattivo sui media in scena e sui costumi digitali. All’inizio egli può controllare tutta la scena i cui diversi principi di interazione sono qui mostrati. Come l’opera musicale prosegue Machiavelli perde il suo potere che viene espresso da una perdita dell’interattività della scena. Infatti in poco tempo gli altri personaggi sono in grado di interagire con la scena disturbando il potere di Machiavelli. Alla fine addirittura la scena stessa prende controllo su di sé e comincia a essere interprete da sola, lasciando Machiavelli privo di potere. Il declino di Machiavelli è anche espresso dalla perdita di potere sulle proiezioni sui costumi sugli altri personaggi. Quando l’attore si leva il suo abito riflettente la luce infrarossi bianco, mostrano costumi neri che non possono essere catturati dalla telecamera e quindi su cui non si può proiettare immagini.
Quando il processo finisce i personaggi prendono il controllo del loro destino e il potere di Machiavelli viene meno definitivamente. Viene ridicolizzato dai personaggi. Nel finale il tema centrale è nuovamente messo in vista. La lotta di potere tra le tre religioni mondiali, Cattolicesimo, Islam e Ebraismo. Machiavelli è incastrato tra le religioni che sono rappresentate da tavoli con tovaglie dalle trame di tre colori differenti. Alla fine anche Machiavelli perde questa lotta e le Religioni dominano crescendo fino a riempire l’intero palco.
ART+COM – COMMUNICATING SPATIALLY WITH NEW MEDIA
By the mid-1980s an interdisciplinary group of designers, architects and artists coming from various departments of the Berlin University of the Arts and hackers from the ChaosComputerClub foresaw that the upcoming digital technology was not only a tool, but potentially a (mass) medium. Therefore ART+COM was founded as an non-profit organisation to explore the new mediums applied possibilities in the fields of art, design, science and technology.In 1994 when ART+COM received commissions of commercial projects the organisation became officially a company with limited liability. Since 1998 the design studio is owned mainly by its employees, board members as well as the former organisation members. From the very beginning ART+COM has pioneered the development of this medium, and has conceived and realized communication formats, design principles and technologies that have become pervasive concepts in today’s world. Ranging from artistic installations and design-focused projects to technological innovations and inventions, ART+COM’s work includes different kinds of formats: Autoactive, reactive and interactive objects and installations, media-based environments and architectures.Although often very complex, the projects are always driven by the content and not by the technology. Despite having grown and professionalised its operations, ART+COM remains dedicated to its original cause from 25 years ago: to design innovative and original projects to pave the way for the future of media-based communications.
Anna Monteverdi teaches History of the Performing Arts at the Academy of Fine Art in Lecce and unitl 2015, Multimedia Drama at the Brera Academy. She is an expert in Digital Performance, has published several books, essays about videomapping and theatre, interaction design for theatre, curated exhibitions and cooperated with many artists. She curated the first Italian edition of dramas by Jeton Neziraj from Kosovo (Cut up Publishers). She is specialized in the theatre of the Canadian director Robert Lepage
Anna Monteverdi and Robert Lepage, november 2015, Lyon
The video New Theatre in Kosovo (2015) made by Anna Monteverdi during her six trips to Kosovo, is based on the play The Destruction of the Eiffel Tower by the brilliant Kosov playwright Jeton Neziraj, directed by Blerta Rrustemi Neziraj, with music by Gabriele Marangoni, which debuted at Prishtina at the end of 2013 and seems to predict the tragedy of “Charlie Hebdo”. Footage of the rehearsals is combined with a series of interviews and images of the city with its contrasts and its suffering.
Definizioni Virtual (Reality) Theatre (o VT o VTheatre o VR performance), Digital Puppet Theatre, Virtual Puppetry, Interactive Theatre, Augmented Reality Theatre, Artificial Theatre, Enhanced Theatre, Expanded Performance, Cyborg Performance, Cyber Performance, Mobile Performance, Digital Performance, Computer Theatre, Mixed Reality Stage, Real Time Performance, Instant Digital Theatre, Live Online Performance, Net Drama, E-Theatre, Internet Theatre, Net Theatre, Chat Performance, Id Theatre, Webcam teatro, Hacker teatro, Web Streaming Performance, Web-based Drama, Digital Story Telling, Telematic Performance, Performance in Remote Connection, Networked Theatre, (Computer) Mediated Theatre, Intermediated Performance, Hyperdrama, Interactive Generative Stage, Multimedia Interactive Performance, Intelligent Stage, Activation Space, Multidisciplinary Media Performance, Trans-media Performance, Electronic Theatre, Live Cinema, Interfaced Theatre, Image-based Theatre, Synesthetic Theatre, Crossmedial Performance, Fractal Theatre, Machinic Performance, Recombinant Theatre, Chromakee Performance, Mocap Performance…
Queste definizioni possono dare un’idea, oltre che della corsa ai neologismi nell’ambito dei nuovi media, del variegato panorama di proposte – almeno terminologiche – con cui il multimedia digitale off line e on line è sbarcato sulla scena.
Forse dovremmo aggiungere anche la riformulazione della “drammaturgia” che diventa iperdramma ovvero “una nuova scrittura ipertestuale che utilizza le nuove tecnologie audiovisive, digitali e interattive”(1); o, secondo Marcel.lí Antunez Roca, sistematurgia, cioè
“una drammaturgia che ha bisogno dell’informatica, basata sul principio della gestione della complessità del computer. La sistematurgia è un processo interattivo che indaga attraverso nuovi prototipi, un arco di mediazione che include l’interfaccia, il calcolo e i nuovi mezzi di rappresentazione; sta al servizio di una narrazione, di un racconto, di un organismo teatrale ma lo fa in maniera interattiva usando uno strumento ipermediale.“(2)
Originali anche le definizioni dei nuovi tecno-interpreti, reali o virtuali: mediattore, cybernarratore, synthetic actor, digital story teller, hyperactor (3), networked news teller (4).
Flavia Sparacino parla di “mediattori” per definire “gli agenti software digitali dotati di intelligenza percettiva e di abilità espressive e comunicative simili a quelle di un performer” (5); Lance Gharavi parla invece di “agente aggiunto” (e conia il termine di VED, Virtual Environment Driver) per definire colui che nelle sperimentazioni dell’Institute for Exploration of Virtual Reality (i.e.V.R., fondato con Mark Reaney e Ronald Willis) manipola in real time l’ambiente di realtà virtuale e guida a vista sul palco, la navigazione del pubblico attraverso i mondi virtuali (6). I cambi d’abito o di personaggio sono anch’essi virtuali (7). I costumi prendono infatti forme insolite: protesi esoscheletriche, servo-meccanismi pneumatici, potenziometri, appendici elettromagnetiche o sensori di posizionamento. Osserva il digital stage designer Paolo Atzori:
“Computer indossabili contengono protesi percettive, microcamere, microfoni, sensori ecc, la sua posizione, i suoi movimenti e persino certe funzioni vitali vengono costantemente registrate, con reti di sensori e sistemi di motion tracking e video capture, in-put che vengono campionati, elaborati ed eventualmente trasferiti come informazioni per altri sistemi, come, per esempio, reti neurali con programmi per il riconoscimento gestuale.” (8)
In Italia resistono ancora il termini generici come “teatro tecnologico” o “scena digitale”, ma le definizioni inglesi e angloamericane sottolineano più propriamente alcuni caratteri chiave, in uno scambio (che qualcuno ha definito “dialogo tra simili”) fattivo tra teatro e digitale: l’ibridazione, la sinestesia, la multidisciplinarietà, l’ipertestualità, l’interazione-reattività tra soggetto-ambiente-pubblico, la nuova percezione aumentata dai sistemi informatici immersivi, la dislocazione spazio-temporale dell’evento, la connessione tra reale e virtuale, oltre alla specificità delle tecnologie e dei sistemi (ambienti interattivi, realtà artificiale, sistemi di captazione del movimento) e delle modalità di comunicazione e “trasmissione” usati (via modem, via streaming audio/video o via mobile). Ma soprattutto focalizzano il carattere “attimale”, istantaneo del digitale: il “qui e ora” della comunicazione teatrale diventa nella sua versione tecnologica il real time on site, on line, on air oltre che on stage, naturalmente.
In questo elenco c’è un elemento innegabile: l’impossibilità a classificare in una sola definizione onnicomprensiva una pratica, una tipologia d’arte in costante evoluzione e che a causa (o in virtù) della sempre maggiore sua tendenza alla transdisciplinarietà(9), sembra sfuggire a ogni tentativo di categorizzazione. Le opere d’arte digitali (media arts), come è stato rilevato da più parti (10), si rivelano infatti in una forma mutante e combinatoria: “ibridi, eterocliti, stratificati, multi-supporto” (11). Sollecitano esperienze plurisensoriali attraverso interfacce che richiedono una partecipazione fisica, intellettiva ed emotiva integrale, anche a distanza (12).
Il teatro interlacciato con il digitale va a delineare un vero e proprio “ecosistema” (13) fatto di simbiosi-innesti-migrazioni tra linguaggi e codici. Insomma, si inaugurano “un nuovo tipo di spettacolo, di percezione e di partecipazione” (B. Picon-Vallin) e un nuovo spazio di rappresentazione, inteso come “ambiente non più luogo neutro contenitore di eventi, ma spazio sensibile, estensibile, modellante e modulabile” (14).
Spesso però una modalità non ne esclude un’altra: progetti concepiti per sofisticati sistemi di realtà virtuale in scena possono prevedere contestualmente anche modalità più tradizionali; o reincarnarsi in forma di installazioni o di operazioni intermediali; o approdare in rete e collocarsi così potenzialmente dappertutto, in un “crossing” tecnologico che sviluppa modaliltà di attraversamento e di integrazione sempre più complesse e interminabili. Le cross-ibridazioni (15) o le commutazioni (Couchot) tra sistemi, scritture, dispositivi di visione e di ascolto, complice il comune codice digitale, sono infatti potenzialmente infinite. Come ricorda Andrea Balzola,
“Il testo, o meglio l’ipertesto drammaturgico, il progetto scenico, la partitura sonora-musicale, l’installazione, il video, il software, lo spettacolo, non appartengono più a generi diversi ma divengono fasi di un processo aperto, tassello di un mosaico spaziale e temporale mutante, flessibile e comunicativamente forte”. (16)
Quello che ci interessa verificare è se i nuovi media stanno effettivamente cambiando anche il teatro, quali sono le nuove forme espressive di scrittura scenica, ovvero – per prendere spunto dall’interrogativo di Manovich: “Come possono le nostre nuove capacità – archiviare masse di dati, classificarli, indicizzarli, collegarli, ricercarli automaticamente e recuperarli istantaneamente – realizzare nuove tipologie di narrazione?” (17)
Nel cyber teatro il racconto diventa una tecnonarrazione (Giacomo Verde). I materiali vengono traslocati da un linguaggio a un altro (Peter Sellars, Motus, Xlab). E’ un teatro digitale che espande il concetto di presenza alle nuove possibilità di performance globale telematica e di teleazione a distanza (Electronic Disturbance Theater; Fake), che crea un dialogo interattivo e interdipendente tra attore, spettatore e immagine attraverso dispositivi multivisione e protesi esoscheletriche (Fortebraccio Teatro, Marcel.lí Antunez, Reaney-Gharavi). Sostituisce l’attore con una presenza virtuale ma non dimentica la tradizione e l’artigianalità delle macchine antiche (Lepage e Kentridge). Innesca virus nel corpo sociale in una prospettiva politica e interventista del teatro (Critical Art Ensemble). Infine, auspica una prossimità e un’interazione con lo spazio scenico inglobando il pubblico in un environment immersivo (Dumb Type; Granular Synthesis), sollecitando memorie e percezioni multisensoriali collettive (Studio Azzurro; Giardini Pensili) e percorsi narrativi non lineari, labirintici e rizomatici (Zonegemma, TPO), trasformando l’opera in un’esperienza relazionale e socializzante vissuta all’interno di un sistema aperto (l’hacker theatre di Giacomo Verde e Jaromil).
In questa prospettiva il palcoscenico è solo uno dei possibili teatri dell’azione performativa, che può estendersi (spazialmente e temporalmente) in più ambienti interconnessi: le piattaforme multitasking dove diverse applicazioni possono operare contemporaneamente, le community web, le mailing list e i diversi network telematici (wireless, telefonia, instant messagging), in una strategia di territorializzazione multipla che non ha precedenti.
MUTAZIONE, VARIABILITA’ E TEMPO REALE
Per Lev Manovich la variabilità (conseguenza della rappresentazione digitale e della organizzazione modulare delle informazioni) è il principio base, la “condizione essenziale” dei nuovi media all’epoca della convergenza digitale (18). Questa caratteristica “mutabile e liquida” (Manovich) applicata alla materia teatrale ha dato vita a un serie di esperienze artistiche e addirittura a nuovi format – il live cinema (19) – che giocano sulla possibilità di intervenire grazie al digital processing (il trattamento digitale delle “immagini che rispondono” secondo Edmond Couchot) sul corpus delle immagini e dei suoni in real time, dando vita a “composizioni sceniche” in costante divenire.
La metamorfosi, l’intercambiabilità e l’interattività, insieme all’immediatezza, sono dunque la caratteristica dei nuovi media, esattamente come il teatro, caratterizzato, secondo la distinzione di Kowzan (20) da:
1) compresenza fisica reale di emittente/destinatario;
2) simultaneità di produzione e comunicazione.
Béatrice Picon-Vallin sottolinea la “trasformabilità tecnologica” della nuova éra, in cui il nuovo teatro sottomettendovisi, ritrova l’antica radice:
“Sottomettere il palcoscenico a questo principio di trasformabilità e non più soltanto a quello della riproducibilità, è una nuova prova che implica senza dubbio il rafforzamento della natura stessa dello spettacolo, effimero e che cambia ogni sera.”
Biosensori, sistemi di motion capture e motion tracking, convertitori di segnali MIDI: assistiamo alle più svariate tecnomutazioni digitali dell’attore, e contestualmente anche a quelle della scena, che indossa gli attributi altrettanto proteiformi e metamorfici della maschera elettronica: vere performing machines sono gli automatics ideati dalla Fura dels Baus che negli spettacoli interagiscono con gli attori sul palcoscenico e con il pubblico (21). Robot musicali sono quelli creati dal software e robot designer catalano Sergi Jordá per Afasia di Marcel.lí Antunez Roca: un quartetto di robot costituito da chitarra elettrica, violino, batteria e cornamusa suonano grazie agli impulsi generati dai sensori indossati da Marcel.lí Antunez, che consentono anche animazioni interattive sullo schermo. In scena compare una nuova macchina, umanizzata ed “emancipata”, che “non racconta più sé stessa ma che racconta” (Studio Azzurro); le sue inattese interruzioni permettono di “far rigenerare su un palcoscenico, quella vibrazione aperta all’imprevisto, alla casualità, ai tempi di reazione” (Studio Azzurro).
Performance con la macchina o addirittura della macchina “processore di media”, ovvero l’altra metà del palcoscenico, sono quelle dei gruppi Troika e Palindrome. Questi ultimi usano il software Eyecon ed elettrodi applicati al corpo (a uso di elettrocardiogrammi e elettroencefalogrammi) per controllare suono, luci e immagini: “Il performer deve “interpretare” il sistema interattivo così che i media siano veramente parte della performance live”.
Le performance si differenziano anche per il tipo di software, oggetto mediale (22) o “grafo” utilizzato. Per la gestione live dell’archivio di immagini Roberto Castello e Giacomo Verde hanno usato il programma Arkaos (normalmente in uso per concerti di vjing); Renzo Boldrini gestiva in sintonia con la propria narrazione le animazioni in Flash per Dg Hamelin; Davide Venturini creava in Photoshop i disegni per Storie zip, mentre il mixaggio live delle immagini e il lumakey creato in diretta in Elsinore e in The Seven Streams of the River Ota di Robert Lepage creava le suggestioni coloristiche in sincrono con la rappresentazione; per Animalie e Qual è la parolaRoberto Paci Dalò ha utilizzato il software Image/ine di Steim creato da Tom Demeyer. Catherine Henegan con The Shooting Gallery realizza con la rete una networked performance 2006.
L’aspetto di regia audio si impone sempre di più sulla mera creazione di una “colonna sonora”. Voci e musiche di sintesi, landscape sonori, morphing audio in real time in relazione con le potenzialità e le simbologie della narrazione acquistano una rilevanza sempre maggiore. Come afferma Mauro Lupone sound design di Xlab:
“Considerando che il suono investe lo spazio e si svolge nel tempo, articolare processi di elaborazione della voce significherà anche agire sulla memoria e su processi di percezione e di ascolto. Non solo quindi modificazioni timbriche-morfologiche, ma anche azioni in cui si esplora il sistema in relazione ai concetti di spazio e di tempo: illusioni sonore o dissociazioni visive-sonore, tendenze entropiche e accelerazioni/rallentamenti psicopercettivi connessi all’informazione, memorie e sedimentazioni che riemergono, esplorazioni nelle zone di limen del suono, moltiplicazione delle sorgenti e dei movimenti spaziali ad esse associati“.(23)
Per la cybernarrazione Storie mandaliche con ipertesto drammaturgico di Andrea Balzola, Lupone ha creato grazie al sistema di spazializzazione audio IMEASY una gestione direzionale quadrifonica live della complessa spettromorfologia che sottostava alle sonorizzazioni delle storie (24); nell’Ospite la compagnia Motus ha utilizzato un sistema simile di spazializzazione per la gestione in tempo reale, della traiettoria di 24 fonti audio (25).
SCHERMI: teatro o cinema (e TV)?
E’ un dato di fatto che la scena digitale monitorizzata e cablata assomigli sempre più a un set televisivo o cinematografico, dato che da tempo ne ha ormai incorporato persino i codici, oltre che le definizioni (26). Se già negli anni Settanta Wilson si appropriava del linguaggio cinematografico (ripetizioni, ralenti, flashback, fermi immagine) bidimensionalizzando la scena, nel 1998 in Monster of Grace usava pionieristicamente come sfondo un film stereoscopico in animazione 3D. Alla fine degli anni Ottanta Robert Lepage portava in teatro con Le Polygraphe un vero e proprio “spettacolo cinematografico”: simulazioni di riprese, punti di vista insoliti come fossero inquadrature di una macchina da presa, applicazione del montaggio alternato alla drammaturgia, uso frequente del flashback e del flashforward. In The Merchant of Venice Peter Sellars introduceva intensi primi piani televisivi trasmessi in diretta nei monitor, che andavano a scavare l’interiorità del personaggio, mentre il BAG ricreava un set cinematografico con la messa in mostra teatrale degli effetti cinematografici (le macchine da truquage, come le definiva Méliès).
In Twin Rooms Motus lavora sulla diretta televisiva: l’incubo mediatico descritto da De Lillo in Rumore bianco si innerva nel tessuto organico dei protagonisti: perseguitati da un invisibile occhio satellite che li raddoppia tra specchi e pareti lucide e trasparenti: nella proliferazione di corpi che contrasta con la loro solitudine, incarnano l’incubo psicotico della videosorveglianza.
Nella scena organizzata spazialmente come una composizione a intarsio, il miglior esempio di integrazione di dispositivi multischermo con la scena è senz’altro rappresentato da The Seven Streams of the River Ota (1994) di Robert Lepage, primo lavoro nato in collaborazione con Ex Machina, l’equipe multidisciplinare da lui fondata a Québec City. La scena è strutturata come la facciata di una tradizionale casa giapponese, bassa e lunga, con sette schermi-pannelli trasparenti fatti di spandex su cui vengono proiettate (e retroproiettate) immagini video e ombre: l’effetto di “incrostazione” tra l’immagine video e corpo dell’attore e tra la figura e lo sfondo monocromo luminescente (quasi un chromakey) genera un surreale dialogo tra corpi e luce, e rende quasi alla lettera il senso più profondo dello spettacolo: il legame indissolubile tra Oriente e Occidente e l’impossibilità di cancellare dalla memoria collettiva l’Hiroshima della bomba atomica. La scena attraversata dalla luce del video diventa così una lastra “fotosensibile”, una scrittura di luce, metafora di un percorso di memoria, di illuminazione e di conoscenza.
La scena contemporanea ha sviluppato insolite modalità di proiezione su superfici diverse. Se Svoboda nel 1958 all’Expo di Bruxelles inaugurava la multiproiezione (il polyécran), oggi si ricerca l’effetto evanescente dell’immagine: proiezione su doppio strato di tulle con l’attore reale incastonato in mezzo o su materiali che mantengono una “memoria di forma”, e perfino su elementi naturali e gassosi come l’aria e l’acqua vaporizzata. Fabio Iacquone con il suo Digital Versatile Theatre sta sperimentando proiezioni su gas e fumo, ricreando il mito delle apparizioni fantasmatiche. L’artista visiva Paola Lo Sciuto prova a ottenere l’effetto di “miraggio nel deserto” con un sistema scenotecnico da lei brevettato.
La sfida più attuale è quella di restituire, grazie ai nuovi materiali di matrice polimerica e plastiche fotosensibili, volumetricità e tridimensionalità interattiva all’immagine, progettando nuove architetture immateriali e liquide, pieghevoli e arrotondabili, occultando in trasparenza la superficie piatta degli schermi di proiezione e la relativa cornice di separazione. Non ci si immerge più, non c’è più nemmeno bisogno di display a cristalli liquidi, occhiali con lenti binoculari o sistemi multimonitor per ampliare il campo visivo: ora sono gli oggetti a “fuoriuscire” dal loro mondo e ad affacciarsi direttamente nel nostro.
Kathleen Ruiz, AVA project, trans-media performance.
Nuovi sviluppi riguardano le avveniristiche tecnologie per i display che avvicinano sempre di più il teatro all’immaginario fantascientifico di Matrix e di Minority Report. Secondo le ottimistiche previsioni commerciali della Liquavista, neonata società della Philips specializzata nelle tecnologie applicate ai display, gli schermi LCD lasceranno presto il posto alla tecnologia O-led (Organic Light Emitter Diode, nata però già nel 1985) che si basa su strati di polimerici organici flessibili e elettroluminescenti interposti tra due elettrodi per proiezioni tridimensionali dall’effetto simil-olografico, che creano l’illusione di immagini sospese nel vuoto. Un’altra alternativa è l’Electrowetting Display, nato nel 2003: lo schermo è composto da particelle microscopiche sospese in un mezzo denso che dà simultaneamente la diffrazione, la riflessione e la trasmissione di tutte le lunghezze d’onda della luce.
L’elemento strabiliante di questa tecnologia è che la scena dietro lo schermo è chiaramente visibile nell’area nella quale non ci sono immagini proiettate. L’applicazione è per ora limitata al campo dell’intrattenimento (discoteche o concerti e parchi divertimento) o della moda (show room). Il gruppo rock Gorillaz, che ha legato la propria immagine in videoclip ai fumetti, ha letteralmente “mandato in scena” a suonare agli Mtv Awards alcuni dei loro personaggi a cartoni animati in computer graphics, con tanto di asta di microfono, basso e batteria, proiettati su un invisibile e impercettibile schermo (27), con effetto di immagine simil-olografica come avrebbe potuto immaginarla Dennis Gabor: l’evento è stato universalmente riconosciuto come punto di svolta della virtualizzazione dei supporti.
Ricorda Lev Manovich che se tutte le azioni avverranno in un prossimo futuro nello spazio del virtuale e della simulazione, lo schermo (ultima appendice della cornice, intesa come spazio fisico separato che impedisce il movimento di chi osserva) scomparirà del tutto a vantaggio di uneffetto compositivoche ricerca, “scorrevolezza e continuità” (28):
“L’apparato della realtà virtuale si ridurrà a chip impiantato nella retina e connesso via etere alla rete. Da quel momento porteremo con noi la prigione non per confondere allegramente le rappresentazioni e le percezioni (come nel cinema) ma per essere sempre in contatto, sempre connessi, sempre collegati. La retina e lo schermo finiranno per fondersi”.
Ma per ora in teatro gli schermi, più che eliminati, si sono invece ingranditi. A caratterizzare la scena degli ultimi anni il fenomeno del gigantismo. Enormi schermi delimitano la circonferenza dello spazio della rappresentazione in Ta’ziyé di Kiarostami, un’elaborazione teatrale che recupera un antico rito iraniano. Ugualmente enormi sono i fondali elettronici in alta definizione dell’Ospite di Motus, quello di Voyage e il ciclorama semicircolare di (Or), due spettacoli di Dumb Type; di Aladeen, di Gorky, le alte pareti avvolgenti come un gasometro di Granular Synthesis.
Del resto le gigantesche proiezioni ormai fanno parte del paesaggio metropolitano e costituiscono l’armamentario basico della pubblicità, raggiungendo formati terraquei (il maxischermo pubblicitario da 24 metri inserito in un dirigibile formato da centinaia di led luminosi che lo rende visibile a 4 chilometri di distanza). Anche lo show design li ha impiegati, anche se in modi sempre più creativi: vedi le straordinarie invenzioni videosceniche e luministiche di Mark Fisher per i concerti rock dei Pink Floyd e degli U2, quelli di Robert Lepage per il Secret World Tour e il Growing Up Tour di Peter Gabriel e quelli a led con software generativo degli United Visual Artist per i Massive Attack.
NOTE
“Il passaggio dalla macronarrazione lineare alla micronarrazione non sequenziale fa seguito a due innovazioni portate dall’evoluzione interattiva dei media. La prima è lo zapping, cioè l’uso televisivo del telecomando che frammenta la fruizione di un programma e consente una visione parallela di più programmi. La seconda innovazione, ancora più radicale, è quella aperta dai nuovi media digitali, on line come il web e off line come cdrom e dvd, dove lettura-visione-ascolto non sono più lineari ma sviluppano una navigazione non sequenziale e ipertestuale. Allora la scrittura drammaturgica o si frantuma caoticamente come nella narrazione destrutturata, oppure elabora delle unità testuali minimali e nomadi, ma compiute, che possono agganciarsi e sganciarsi nell’ipertesto spettacolare” (A. Balzola, Verso una drammaturgia multimediale, in A. Balzola-A. Monteverdi, Le arti multimediali digitali, Milano, Garzanti, 2005).
2 Intervista di Anna Maria Monteverdi a Marcel.lí Antunez Roca in www.ateatro.it .
3 E’ Claudio Pinhanez a dare una definizion dell’hyperactor: “Un iperattore espande il corpo in modo da far accendere le luci, attivare suoni o immagini su uno schermo nel palcoscenico; controllare la risultante sembianza laddove la sua immagine o la sua voce sia mediata attraverso il computer; espandere le sue capacità sensorie ricevendo informazioni attraverso cuffie o occhiali-video o controllare strumenti fisici come videocamere, parti del set, robot o altri macchinari teatrali” (C. Pinhanez, Computer Theatre in www.cybertsge.org; cit da Pericle Salvini, Tesi su Teatro e tecnologia, Università di Pisa).
4 “Il Networked News Teller è un attore di strada che porta con sé un computer indossabile con un occhio privato. Il computer esegue un programma che aggiorna le notizie costantemente sull’occhio privato dell’attore. Costruisce poi una pagina web che riporta la stessa notizia secondo i diversi punti di vista dei differenti news provider. Dopo aver scelto la notizia da discutere attraverso il suo occhio privato, il News teller interroga i passanti chiedendo la loro opinione. Il performer può recitare la notizia per strada basandosi sull’interazione con il pubblico e con le notizie che appaiono sul portatile… Questa ricerca tecnoartistica è direttamente ispirata al lavoro teatrale dell’attrice Anna Deavere Smith chiamato Twilight” (F. Sparacino, La realtà aumentata nella danza e nel teatro, inA. Menicacci-E. Quinz, La scena digitale. Nuovi media per la danza, Venezia, Marsilio, 2001). 5 F. Sparacino, La realtà aumentata nella danza e nel teatro, cit., p. 101: “Definiamo mediattori immagini video, suoni, discorso, oggetti testuali in grado di rispondere al movimento e al gesto in modo credibile, estetico, espressivo e divertente. I mediattori sono agenti software la cui personalità influisce non soltanto sul loro stato interno (sentimenti) ma anche sulla percezione del comportamento dell’interprete (intenzioni) e sulle aspettative riguardo a interazioni future con attori umani”.
6 Un resoconto dettagliato di Play di L. Gharavi, spettacolo in realtà virtuale dell’i.e.V.R,. è on line su www.ateatro.it n.101,
7 Ci riferiamo all’interessante progetto di teatro d’opera The Jew of Malta, libero riadattamento da Christopher Marlowe con musica originale di André Werner e uso di sistemi di motion tracking commissionato dalla Biennale di Monaco. Protagonista centrale è Machiavelli: le coreografie e la scenografia sono basate sull’idea che tutto ruota intorno a lui. Così la topografia dei luoghi e gli ambienti virtuali sono generati real time dall’attore che interpreta Machiavelli grazie a un sistema di rilevamento ottico del movimento. Pochi attori interpretano tutti i personaggi dell’opera e i rapidi cambi di costume (anche questi virtuali) sono possibili grazie a proiezioni di trame e stoffe sui loro stessi corpi. tracciati real time da videocamere a raggi infrarossi.
8 P. Atzori, Activation space, p. 347 in A. Menicacci-E. Quinz, cit.
9 Accogliamo il concetto di trasndisciplinarietà riferito alle arti digitali come l’ha espresso da Sally Jane Norman nel Rapport d’étude à la Délégation aux Arts Plastiques Ministère de la Culture (1997) dal titolo appunto«Transdisciplinarité et Genèse des Nouvelles Formes Artistiques »: «La transdisciplinarité est une notion polysémique par excellence ( . …) Avant tout, nous avons voulu que la transdisciplinarité serve de point de départ à un dialogue sur le rôle et la place de l’art, dans une société profondément transformée par les technologies de l’information et de la communication».
10 Cfr. Claudia Giannetti, Aesthetic paradigms of media art inserito nella rivista digitale Media art dello ZKM www.medienkunstnetz.de; e inoltre E. Couchot-N. Hillaire, L’art numerique, Paris, Flammarion, 2003.
11 E. Quinz, cit.
12 Sul tema delle interfacce vedi il numero monografico Interfaces, “Anomalie_digital arts” n. 3, Paris, 2003; e inoltre L. Poissant (a cura di), Interfaces et sensorialité, Presses de l’Université du Québec, 2003.
13 Sull’ecosistema tecno-teatrale vedi l’introduzione di Anna Maria Monteverdi al suo Il meglio di ateatro-Teatro e nuovi media. “Con la parola ecologia – come è ormai dato acquisito grazie agli studi sulla fenomenologia di Merleau-Ponty, sull’epistemologia genetica di Piaget, sull’ecologia della mente di Bateson e sull’ecologia sociale e della cultura di Ingold – non si intende unicamente l’ambiente naturale circostante ma la relazione complessa tra gli elementi che compongono una certa “nicchia ecologica” (dunque animali, esseri umani ed oggetti tecnologici compresi) e la loro interazione sociale e ambientale. L’approccio metodologico “ecologico” si presta a nostro avviso a un’analisi integrata e non “riduzionista” degli elementi chiavi del tecnoteatro: ibridazione, connettività, scambio, simbiosi, interazione, rizomaticità. Dobbiamo inoltre a Bonnie Marranca il riferimento sistematico al teatro come “ecologia”: nel suo libro Ecology of Theater la studiosa americana fondatrice del “Performance Art Journal” offre una singolare interpretazione teatrale “ecocritica” dei giganti del teatro sperimentale degli anni Settanta-Ottanta: Wilson, Monk, Shepard, Breuer, Mabou Mines alla luce dell’idea di una “drammaturgia come ecologia”. Come è noto, inoltre, numerosi sono gli studi sul rapporto tra sistemi digitali, realtà virtuale e pensiero ecologico: l’ambiente virtuale come ecosistema digitale auto-organizzato, l’evoluzionismo tecnologico (Longo, Sini), la “connettività del sapere” e l’ecologia cognitiva di Pierre Lévy in base alla quale “non c’è più soggetto o sostanza pensante, né materiale, né spirituale… in una rete in cui dei neuroni, dei moduli cognitivi, degli umani, delle istituzioni di insegnamento, delle lingue, dei sistemi di scrittura, dei libri e dei calcolatori si interconnettono, trasformano e traducono delle rappresentazioni” (Lévy, 1992).
14 A. Balzola, cit.
15 Prendo in prestito questo termine assai chiarificatore da Derrick de Kerchove (“Perform Arts”, estate 2006).
16 A. Balzola, cit.
17 L. Manovich, Il linguaggio dei nuovi media, p. 294
18 Un nuovo oggetto mediale non è qualcosa che rimane identico a se stesso all’infinto, ma è qualcosa che può essere declinato in versioni molto diverse tra loro: L. Manovich, Il linguaggio dei nuovi media, p. 57 e seg.
19 Il vjng, trans-genere per eccellenza, è una performance video live che il digitale sta evolvendo in forme sempre più elaborate. E’ stato “nobilitato” anche nel nome, diventando live cinema: il prestigioso festival di arte elettronica “Transmediale” di Berlino edizione 2005 lo ha elevato al rango di altre storicamente forme di espressione tecnologica, ben più radicate, dedicandogli una sezione curata da Hans Beekmans (che ne è anche diventato il “teorico”). Molto diffuso in ambiti artistici oltre che nell’area dell’intrattenimento musicale, il vj come il dj – che facut’n’mix e scratching di tracce musicali preesistenti tramite campionatori- usa o mixer analogici o programmi digitali di gestione
[PIC.: I DON’T REMEMBER BEING RAISED LIKE THIS: The Symptoms + Gábor Karcis +
![P1220757[1]](https://www.annamonteverdi.it/digital/wp-content/uploads/2014/01/P12207571.jpg)
