Nasze rozmowy: o użyciu muzycznych technologii w filmie mówi Max Halstead

 

Max Halstead związany jest z branżą filmową od 18 lat, pracując w różnych działach i jako członek ekipy przy blisko 500 produkcjach. Jego dorobek obejmuje reklamy, muzykę i filmy dla takich marek, jak Netflix, Amazon, Nike, Prada, John Lewis, Coca-Cola i Pepsi, a także dla licznych artystów, m.in. Gorillaz i Johna Hopkinsa.Aktualnie działając jako operator kamery oraz operator systemu sterowania ruchem, Max opowiedział nam o swojej karierze oraz o tym, jak jego pasja do muzyki i technologii pomogła mu w nowatorski sposób rozwiązać wiele problemów technicznych związanych z produkcją filmową. 

 

Gdzie wszystko się zaczęło

Zanim zacząłem pracować w branży filmowej, zajmowałem się (i nadal zajmuję) produkcją muzyczną oraz DJ-owaniem. Od zawsze fascynowały mnie stare syntezatory i sprzęt, a także wszelkie sposoby łączenia starych automatów perkusyjnych i syntezatorów z nowym oprogramowaniem i sprzętem.
Kiedy zaczynałem karierę, miałem szczęście dostać pracę w małym studiu animacji poklatkowej o nazwie Clapham Road Studios w południowym Londynie. Ponieważ animacja to powolny proces, który też często nadwyręża budżety, miałem okazję pomagać w różnych działach i poznać ich sposób działania.
Zaczynałem jako elektryk, potem pracowałem jako oświetleniowiec. Później nauczyłem się obsługi systemu sterowania ruchem i odkryłem, że istnieje wiele podobieństw do integracji oprogramowania i sprzętu, z którą miałem do czynienia podczas pracy z technologią muzyczną.
Sterowanie ruchem to, mówiąc najprościej, kontrola ruchu - od kamer po oświetlenie, elementy scenografii, lalki, itp. Ruch jest tworzony i kontrolowany za pomocą różnych urządzeń, od silników lub zmotoryzowanych suwaków z paskami lub śrubami ślimakowymi, po dźwigi przenoszące kamery. Również takie elementy jak efekty praktyczne wymagają precyzyjnej kontroli, a sterowanie ruchem odgrywa tu kluczową rolę.

Odkrywanie zastosowań MIDI w sterowaniu ruchem

Już na samym początku zdałem sobie sprawę, że istnieje potencjalne zastosowanie MIDI w sterowaniu ruchem. Zagłębiałem się w temat DMX (cyfrowego języka sterującego oświetleniem) i zastanawiałem się, w jaki sposób te dwa systemy mogłyby się zazębiać.
Zarówno MIDI, jak i DMX działają w oparciu o kod czasowy, co zapewnia ich wzajemną kompatybilność. Zdałem sobie sprawę, że gdyby wykorzystać oprogramowanie muzyczne jako system sterowania, można by wysyłać informacje MIDI do konsoli oświetleniowej w celu wyzwalania sekwencji świetlnych. A gdyby udało się wykorzystać urządzenie MIDI i potraktować każdą nutę jako prosty przełącznik, wówczas możliwe byłoby precyzyjne sterowanie dowolnym urządzeniem elektrycznym poprzez proste włączanie i wyłączanie za pomocą nuty MIDI - zarówno nagranej, jak i generowanej w czasie rzeczywistym.
 

Budowa niestandardowego urządzenia przekaźnikowego MIDI

Po przeprowadzeniu pewnych badań zbudowałem urządzenie, które właśnie to robiło. Mieściło ono 4 grupy po 16 kanałów. Dzięki sygnałowi MIDI podawanemu na te kanały, każda nuta mogła przełączać przekaźnik o natężeniu 10 amperów, który można było wykorzystać do sterowania (np. grupą elektromagnesów 12V, inną grupą lamp lub silników zasilanych napięciem sieciowym) oraz do wydania polecenia systemowi sterowania ruchem, aby uruchomił swój program. 
Każde urządzenie elektryczne można było włączać lub wyłączać z milisekundową precyzją, co zapewniało sterowanie wystarczająco dokładne do fotografii szybkiej. Urządzenie umożliwiało również kontrolowane taktowanie dowolnych elementów zgodnie z rytmem utworu lub dowolnego instrumentu w ramach utworu.

Testowanie wyzwalacza MIDI (zlecenie dla Google)

Pojawiło się zlecenie od Google, w ramach którego poproszono mnie o zaprojektowanie mechanicznego systemu do sterowania instrumentami muzycznymi - coś w rodzaju orkiestry robotów. Już wtedy miałem pewną renomę jako specjalista od rozwiązywania problemów, zwłaszcza w projektach wymagających wyzwalania i programowania złożonych lub skomplikowanych manewrów czy budowania niestandardowych konstrukcji do obsługi ruchu. 
Wiedziałem, że mogę użyć nagrane lub przesyłane w czasie rzeczywistym komunikaty MIDI do przełączania dowolnego obwodu (i wyzwalania efektu) na czas przytrzymania nuty. Dostępna jest również ogromna gama instrumentów MIDI, które można programować osobno. Dzięki temu możliwe jest wykorzystanie wyzwalaczy perkusyjnych do włączania świateł w czasie rzeczywistym lub klawiatury do nagrywania lub odtwarzania sekwencji MIDI ruchów siłowników. Zakres zastosowań jest ogromny.
W przypadku zlecenia dla Google, pomysł polegał na wykorzystaniu solenoidów (elektromagnesów z małym ruchomym ramieniem, podobnym do uderzaka w starym, analogowym alarmie przeciwpożarowym) do poruszania pałkami, które miały grać na ksylofonie i uderzać w bębny, sygnalizując muzykę wprowadzającą spot. I chociaż zlecenie ostatecznie zostało odwołane, pozostało mi to fantastyczne urządzenie, którego przez lata używałem przy niezliczonych projektach, w tym również przy własnych.
 

Wywoływanie reakcji łańcuchowych (zlecenie Pepsi)

W reklamie Pepsi wykorzystałem technologię MIDI-to-relay, aby sprostać ogromnemu wyzwaniu związanemu z akcją nakręconą w jednym ujęciu, w której 500 piłeczek pingpongowych umieszczonych na 500 pułapkach na myszy zostaje uruchomionych w reakcji łańcuchowej.
Ustawienie pułapek zajęło niemal 6 godzin. Nie było czasu na drugi mastershot. Kluczowe znaczenie miało przewidywalne i bardzo precyzyjne zsynchronizowanie efektów praktycznych z tymi trwającymi ułamki sekund zdarzeniami. W tym celu wysłałem sygnał MIDI z oprogramowania muzycznego do konsoli oświetleniowej, aby uruchomić szereg sygnałów świetlnych śledzących ruch pierwszej piłeczki. Zaletą wykorzystania MIDI było to, że oś czasu dla nut MIDI jest mierzona w milisekundach i sekundach, co sprawia, że nadaje się on do częstotliwości powyżej 25 klatek na sekundę - czyli idealnie do fotografii z dużą prędkością.

Zalety MIDI w postprodukcji

Firma Argos chciała, by w ich reklamie balony o różnych rozmiarach pękały spontanicznie, odsłaniając jej produkty. Każda nuta w ścieżce muzycznej miała odpowiadać pęknięciu jednego balonu.

Wymagało to uruchamiania siłowników liniowych z przymocowanymi do nich ostrzami skalpela, aby balony pękały niezależnie w momencie przejazdu kamery. Wykonaliśmy różne ujęcia kamerą, a następnie połączono je w postprodukcji. Dzięki MIDI montaż był niezwykle łatwy - wykorzystaliśmy różne częstotliwości klatek w kamerze oraz kod czasowy, aby zapewnić synchronizację między urządzeniem a pękaniem balonów.

Programowanie sterowania ruchem do muzyki na żywo

W 2016 roku pracowałem nad projektem dla firmy Coca-Cola zatytułowanym "Happiness is Movement". Zleceniodawca chciał, aby w projekcie wykorzystano automat - skomplikowaną konstrukcję inżynieryjną, która porusza się automatycznie za pomocą kół zębatych, dźwigni i silników.

Automat był ogromny. Został zaprojektowany tak, aby w odwrotnej kolejności przedstawiać szybką sekwencję najważniejszych wydarzeń z historii życia pary, podczas gdy postacie w nim zawarte tańczyły przez cały czas w rytm muzyki. Moim zadaniem było zaprogramowanie silników napędzających poszczególne elementy tego automatu i dopilnowanie, by wszystkie tańczyły zsynchronizowane z muzyką. Programując tę maszynę pod metronom zdałem sobie sprawę, że integracja MIDI i sterowania ruchem kryje jeszcze większy potencjał.

Pełna kontrola nad muzyką i ruchem (zlecenie Cartoon Network)

Nadarzyła się okazja, by wreszcie sprawdzić granice możliwości tej technologii. Cartoon Network szukało fajnego identu, a przyciągający wzrok, trwający 15-20 sekund filmik był idealnym formatem do prezentacji koncepcji, możliwej do zrealizowania jedynie dzięki mocy operacyjnej zbudowanego przeze mnie urządzenia MIDI-to-relay. 

Koncepcja, którą zaproponowałem, dotyczyła mechanicznej rzeźby kinetycznej o nazwie "The Machine". Zainspirowało mnie dzieło Davida Batchelora "Magic Hour", które widziałem w 2013 na wystawie w Hayward Art Gallery, i zaprojektowałem rzeźbę składającą się z ułożonych w stos sześcianów z akrylu, zawierających światła i ruchome elementy mechaniczne. W projekcie znalazła się mechaniczna ręka, która wysuwała się z pudełka i zmieniała kolor światła z zielonego na czerwony; kij golfowy z mechanicznym systemem podawania złotej piłki; gramofon z ramieniem odtwarzającym, które podskakiwało dzięki elektromagnesowi; zegar z kukułką; przenośnik taśmowy dostarczający losowe przedmioty inspirowane Cartoon Network; oraz wiele innych urządzeń mechanicznych. Na samym szczycie znajdowało się logo Cartoon Network, wokół którego krążył helikopter. Działo się naprawdę wiele.

Kiedy zgłosiłem się do tego zlecenia, postanowiłem, że sam napiszę do niego muzykę. W ten sposób, dzięki informacjom MIDI uruchamiającym całe urządzenie, można byłoby nim w pełni sterować. Każdy element rytmiczny i perkusyjny w tym utworze byłby fizycznie reprezentowany przez jakiś element elektroniczny w "The Machine". Ponieważ dysponowałem muzyką, doszedłem do wniosku, że po zaimportowaniu utworu do programu Logic i wyodrębnieniu poszczególnych ścieżek MIDI (np. hi-hatów) będę mógł połączyć tę sekwencję nut MIDI z odpowiednim mechanizmem w maszynie. 

Proces ten od samego początku obejmował programowanie z wykorzystaniem urządzenia MIDI-to-relay, z uwzględnieniem opóźnień wynikających z fizycznego przemieszczania się elementów. Wykorzystując sterowanie ruchem do obsługi elementów mechanicznych i statywu kamery, mogłem zaprogramować je tak, aby poruszały się w rytmie muzyki. Następnie całość mogła być uruchamiana wraz z oświetleniem oraz elektromagnesami - wszystko za pośrednictwem MIDI. 

Był to moment zwieńczenia wieloletniego rozwiązywania problemów technicznych, który pozwolił mi w końcu wykorzystać moją technologię MIDI-to-relay do sterowania całym ruchem: sprzętem kamerowym, konstrukcją, oświetleniem i wszystkimi innymi elementami planu. Był to jeden z najważniejszych momentów mojej kariery. 

 

Ogromne możliwości technologii muzycznej w kinie

Przez całą swoją karierę szukałem sposobów, w jakie technologia muzyczna może otwierać nowe możliwości w świecie filmu.

Wspólnie z kompozytorem i grafikiem Willem Studdem realizowałem projekt dla BBC wraz z, w ramach którego wykorzystaliśmy program Ableton do uruchamiania klipów za pomocą oprogramowania VJ o nazwie Resolume - potężnego narzędzia do tworzenia wizualizacji na żywo, umożliwiającego mapping projekcyjny i mapping pikselowy, a także oferującego szeroki wachlarz efektów. W Clapham Road eksperymentowałem z połączeniem możliwości Resolume z Dragonframe, branżowym standardem wśród programów do animacji. 

Podczas tworzenia sekwencji timelapse w Resolume w celu wyświetlania grafiki na zestawie rur LED, stało się jasne, że istnieje sposób na nawiązanie komunikacji między tymi dwoma programami. Po rozmowach z twórcami obu programów do Dragonframe dodano opcję wyjścia OSC i nagle stało się możliwe połączenie osi czasu w obu programach, co umożliwiło wykorzystanie mapowania projekcyjnego oraz pikselowego w animacji poklatkowej. Kiedy dwie rzeczy, które nigdy nie miały ze sobą współpracować, zaczynają to robić, otwiera mi to oczy na nowe możliwości dla branży. 

Jedną z najbardziej satysfakcjonujących części mojej pracy jest właśnie odkrywanie takich systemów. Gdyby nie moja miłość do muzyki oraz związanej z nią technologii, być może nigdy bym tego nie odkrył.