Combinare MIDI e Motion: sfruttare appieno il potenziale delle tecnologie musicali nel cinema

Max Halstead lavora nel settore cinematografico da 18 anni; ha ricoperto ruoli in diversi reparti e collaborato come membro della troupe a quasi 500 produzioni. I suoi lavori spaziano dalla pubblicità alla video musica e filmati per marchi quali Netflix, Amazon, Nike, Prada, John Lewis, Coca-Cola e Pepsi, oltre alle collaborazioni con artisti come i Gorillaz e John Hopkins.

Attualmente lavora come direttore della fotografia e operatore Motion Control; Max ci racconta della sua carriera e di come la sua passione per la musica e la tecnologia lo abbia aiutato a risolvere molti problemi tecnici nel campo cinematografico in modi innovativi...

 

Dove tutto è cominciato

Prima di lavorare nel mondo del cinema, mi dedicavo (e mi dedico tuttora) alla produzione musicale e all'attività di DeeJay. Sono sempre stato affascinato dai vecchi sintetizzatori e dall’hardware così come da tutti i modi in cui è possibile integrare vecchie drum machine e sintetizzatori con software e hardware di nuova generazione.

Quando ho mosso i primi passi nell’industria cinematografica ho avuto la fortuna di trovare lavoro in un piccolo studio di animazione stop-motion chiamato Clapham Road Studios, nel sud di Londra. Poiché l’animazione è un processo lento, che spesso mette a dura prova i budget, ho avuto l’opportunità di dare una mano in vari reparti e imparare come funzionavano.

Ho iniziato lavorando come elettricista, poi come capo elettricista. In seguito ho imparato il motion control e ho scoperto che c’erano molte somiglianze con l’integrazione di software e hardware che avevo sperimentato lavorando con le tecnologie musicali.

Il motion control è, in parole povere, il controllo del movimento dell'attrezatura, che si tratti di muovere telecamere, luci, elementi di scena, pupazzi, ecc. Il movimento viene creato e controllato utilizzando qualsiasi cosa, dai motori o slider motorizzati con cinghie o viti senza fine, alle gru che trasportano le telecamere. Anche eventi come gli effetti pratici devono essere controllati con precisione e il motion control svolge un ruolo fondamentale in questo senso.

 

Alla scoperta delle applicazioni del MIDI nel Motion Control

Fin dall’inizio mi ero reso conto che il MIDI poteva trovare applicazione anche nel campo del Motion Control. Mi stavo documentando sul DMX (un linguaggio digitale che controlla i sistemi di illuminazione) e stavo cercando di capire in che modo i due sistemi potessero integrarsi.

Sia il MIDI che il DMX funzionano con il timecode, il che li rende interoperabili e mi sono reso conto che, utilizzando un software musicale come sistema di controllo, si potevano inviare informazioni MIDI a una console luci per attivare le sequenze luminose.

E se fosse stato possibile utilizzare un dispositivo MIDI e trasformare ogni nota in un semplice interruttore, allora sarebbe stato possibile avere un controllo preciso su qualsiasi dispositivo elettrico semplicemente accendendolo e spegnendolo con una nota MIDI, registrata o in tempo reale.

 

Realizzazione di un dispositivo personalizzato da MIDI

Dopo alcune ricerche ho costruito un dispositivo che faceva esattamente questo. Ospitava 4 gruppi di 16 canali. Tramite l’ingresso MIDI di questi canali, ogni nota poteva attivare un relè da 10 ampere che poteva essere utilizzato per azionare, ad esempio, un gruppo di solenoidi a 12 V, un altro gruppo di luci o motori alimentati dalla tensione di rete e anche per comandare un sistema di controllo del movimento di eseguire il proprio programma.

Qualsiasi dispositivo elettrico poteva essere acceso o spento con una precisione dell’ordine di millisecondi, garantendo un controllo sufficientemente accurato per la fotografia ad alta velocità. Inoltre consentiva di sincronizzare qualsiasi cosa al tempo di una traccia musicale o al ritmo di qualsiasi strumento all’interno di un brano.

 

Test del trigger MIDI in un progetto per Google

Mi è stato proposto un lavoro da Google, bisognava progettare un sistema meccanico per il controllo di strumenti musicali un po’ come un’orchestra di robot.

A quel punto mi ero già fatto una certa reputazione come esperto nella risoluzione di questo tipo di problemi, in particolare avevo esperienza in progetti che richiedevano l’attivazione e la programmazione di manovre complesse ed elaborate, nonché la realizzazione di impianti su misura per gestire i movimenti.

Sapevo che avrei potuto utilizzare messaggi MIDI registrati o in tempo reale per attivare qualsiasi circuito (e innescare un effetto) per tutta la durata in cui la nota veniva tenuta premuta.

Esiste inoltre una vasta gamma di strumenti MIDI disponibili che è possibile programmare separatamente. È quindi possibile utilizzare i trigger della batteria per accendere le luci in tempo reale, oppure una tastiera per registrare o riprodurre una sequenza MIDI di movimenti degli attuatori. La gamma di applicazioni è vastissima.

Per il progetto di Google l’idea era quella di utilizzare solenoidi (elettromagneti con un piccolo braccio mobile simile al percussore di un vecchio allarme antincendio analogico) per muovere delle bacchette che suonassero uno xilofono e percossero i tamburi, dando il via alla musica che avrebbe introdotto lo spot.

Sebbene il progetto alla fine sia stato cancellato mi sono ritrovato con questo fantastico dispositivo che avrei continuato a utilizzare in innumerevoli progetti nel corso degli anni.

 

L'innesco dei reazioni a catena per Pepsi

Ho utilizzato la tecnologia MIDI-to-relay in uno spot pubblicitario della Pepsi per superare l’enorme sfida rappresentata da una ripresa in cui 500 palline da ping-pong posizionate sopra 500 trappole per topi sarebbero state attivate in una reazione a catena.

Ci sono volute dalle 5 alle 6 ore per preparare le trappole. Non ci sarebbe stato tempo per una seconda ripresa. Era fondamentale disporre di una temporizzazione altamente precisa per sincronizzare gli effetti pratici con questi eventi che si verificavano in frazioni di secondo.

A tal fine ho inviato segnali MIDI da un software musicale a una console luci per attivare una serie di effetti luminosi che seguissero il movimento della prima pallina da ping-pong.

Il vantaggio dell’utilizzo del MIDI era che la timeline delle note MIDI è espressa in millisecondi e secondi, il che lo rende utile per frame rate superiori a 25 fps — ideale per la fotografia ad alta velocità. 

 

I vantaggi del MIDI nella post-produzione

Per uno spot publicitario, Argos voleva che palloncini di diverse dimensioni scoppiassero spontaneamente per rivelare i propri prodotti. Ogni nota della traccia musicale avrebbe dovuto corrispondere allo scoppio di un palloncino.

Ciò ha comportato l’attivazione di attuatori lineari dotati di lamette da bisturi, in modo da far scoppiare i palloncini in modo indipendente al passaggio della telecamera. Abbiamo effettuato diverse riprese con la telecamera che sono state poi composte insieme in post-produzione.

Il MIDI ha reso incredibilmente semplice il montaggio, utilizzando diverse frequenze di fotogrammi sulla telecamera e il timecode per mantenere perfettamente sincronizzati l’attrezzatura e lo scoppio dei palloncini.

Programmazione del Motion Control al ritmo della musica dal vivo sul set

Nel 2016 ho lavorato a un progetto per Coca-Cola intitolato 'Happiness is Movement'. Volevano che il progetto includesse un automa: un intricato meccanismo ingegneristico che si muove automaticamente grazie a ingranaggi, leve e motori.

L’automa era enorme. Era stato progettato per mostrare, in ordine inverso, una rapida sequenza di momenti salienti della storia di vita di una coppia, mentre i personaggi al suo interno ballavano a ritmo di musica per tutta la durata dello spettacolo.

Il mio compito era programmare i motori che azionavano ciascun automa e assicurarmi che tutti danzassero in sincronia con la musica.

È stata proprio la programmazione approfondita di questa macchina complessa, sincronizzata con una traccia ritmica dal vivo, a farmi capire che l’integrazione tra MIDI e controllo del movimento poteva offrire ancora molto da scoprire.

Controllo completo di musica e animazioni per Cartoon Network

Si è presentata l’occasione per mettere finalmente alla prova i limiti di ciò che era possibile realizzare con questa tecnologia.

Cartoon Network era alla ricerca di un’identità visiva accattivante. Un filmato di 15-20 secondi, in grado di catturare l’attenzione, era il formato perfetto per mettere in mostra un’idea che poteva prendere vita solo grazie alla potenza operativa del dispositivo MIDI-to-relay che avevo costruito.

L’idea che ho proposto era quella di una scultura cinetica meccanica, chiamata The Machine.

Mi sono ispirato a Batchelor’s Magic Hour di David Batchelor, un’opera che avevo visto nel 2013 alla mostra “Light” della Hayward Art Gallery e ho progettato una scultura composta da cubi di acrilico impilati che contenevano luci ed elementi meccanici in movimento.

C’era una mano meccanica che spuntava da una scatola e faceva passare una luce dal verde al rosso; un putter da golf con un sistema meccanico di lancio di palline dorate; un giradischi con un braccio che rimbalzava grazie a un solenoide; un orologio a cucù; un nastro trasportatore che faceva passare oggetti casuali ispirati a Cartoon Network; e molti altri dispositivi meccanici nel progetto. In cima c’era il logo di Cartoon Network con un elicottero che gli orbitava intorno. C’era davvero un gran trambusto.

Quando ho proposto questo progetto, ho deciso che avrei composto io stesso la musica. In questo modo, grazie alle informazioni MIDI che attivano l’intero dispositivo, tutto sarebbe stato completamente controllabile.

Ogni elemento ritmico e percussivo di questo brano sarebbe stato rappresentato fisicamente da un componente elettronico all’interno di The Machine.

Dato che avevo la musica, ho capito che, inserendo il brano nel software musicale Logic e selezionando ogni traccia MIDI (come gli hi-hat), avrei potuto prendere quella sequenza di note MIDI e collegarla a un meccanismo all’interno della macchina.

Il flusso di lavoro prevedeva la programmazione utilizzando fin dall’inizio il dispositivo MIDI-to-relay, compensando ogni elemento per tenere conto dei ritardi nei movimenti fisici.

Utilizzando il controllo del movimento per azionare gli elementi meccanici e l’attrezzatura della telecamera, ho potuto quindi programmarli in modo che seguissero il tempo della musica. Da lì, il tutto poteva poi essere attivato insieme alle luci e ai solenoidi, il tutto tramite MIDI.

È stato un momento in cui il cerchio si è chiuso e il culmine di anni di risoluzione di problemi tecnici per poter finalmente utilizzare la mia tecnologia MIDI-to-relay per controllare tutti i movimenti: la tecnologia della telecamera, le luci, le montature e tutti gli altri elementi del set. È stato uno dei momenti salienti della mia carriera.

 

Le ampie potenzialità della tecnologia musicale nel cinema

Nel corso della mia carriera, ho sempre cercato di capire in che modo la tecnologia musicale potesse aprire nuove porte nel mondo del cinema.

Ho realizzato un progetto per la BBC insieme al compositore e graphic designer Will Studd, in cui abbiamo utilizzato Ableton per attivare clip tramite un software per VJ chiamato Resolume, uno strumento potente per le immagini dal vivo che consente il projection mapping e il pixel mapping, oltre a offrire una vasta gamma di effetti.

A Clapham Road ho sperimentato la combinazione delle funzionalità di Resolume con Dragonframe, il software di animazione di riferimento nel settore. Mentre utilizzavo Resolume in modalità timelapse per visualizzare grafica su una serie di tubi LED a pixel, è diventato evidente che c’era un modo per far comunicare i due software.

Dopo averne discusso con gli sviluppatori di entrambi i software, è stata aggiunta un’opzione di uscita OSC a Dragonframe e, improvvisamente, è stato possibile collegare tra loro le timeline dei due software, sbloccando la possibilità di utilizzare il projection mapping e il pixel mapping all’interno dell’animazione fotogramma per fotogramma.

Quando due elementi che non erano stati pensati per funzionare insieme riescono a farlo, mi si aprono gli occhi su ciò che è possibile realizzare in questo settore. Alcune delle parti più gratificanti del mio lavoro sono state proprio la scoperta di questi sistemi.

Se non fosse stato per il mio amore per la musica e la sua tecnologia, forse non l’avrei mai scoperto.