eXistenZ #2 - Kara e gli attori virtuali secondo Quantic Dream

eXistenZ è la nostra rubrica in cui si chiacchiera del rapporto fra videogiochi e cinema, infilandoci in mezzo anche po' qualsiasi altra cosa ci passi per la testa e sia anche solo vagamente attinente. Si chiama eXistenZ perché quell'altro film di Cronenberg ce lo siamo bruciato e perché a dirla tutta è questo quello che parla proprio di videogiochi.

Fra gli aspetti più inquietanti del videogioco moderno c'è il modo in cui il lavoro degli attori sta diventando sempre più fondamentale per la buona riuscita di un gioco. Un tempo mi accontentavo di sorridere davanti ai pupazzetti dei JRPG (che all'epoca non chiamavo J), costantemente impegnati a muoversi su e giù, agitando braccia e gambe per non sembrare troppo comatosi. Un tempo osservavo i quattro frame di Gabriel Knight mentre curiosava fra i libri nell'ufficio di Malia Gedde e "cacchio, sembra un film". Oggi, invece, sono abituato al performance capture e mi aspetto di veder spuntare l'espressività di L.A. Noire e la recitazione virtuale di Ninja Theory in qualsiasi gioco non abbia la faccia pixellosa di una produzione indie. E non succede. Negli Elder Scrolls sono tutti imbalsamati, i personaggi di Deus Ex: Human Revolution parlano agitando la testa come in preda a crisi epilettica, e non va mai bene niente. È con questi pensieri in testa che nel mese di marzo mi sono avvicinato alla conferenza di David Cage alla Game Developers Conference, dato che l'argomento era la nuova tecnologia sviluppata da Quantic Dream per continuare a trastullarsi con la narrazione digitale. Tecnologia che lì è stata messa in mostra e i cui frutti saranno, pare, svelati al mondo la prossima settimana, nel corso dell'E3 2012. Considerando che non ne ho mai scritto, ma solo parlato brevemente in questo filmato e nel podcast di reportage sulla GDC, mi sembra l'occasione giusta per rimediare.

Un losco giopep in prima fila davanti a David Cage.

Da un paio d'anni a questa parte, David Cage è presenza fissa alla Game Developers Conference. Fra GDC e GDC Europe, non manca mai e ha sempre qualcosa da dire. Questa volta, però, non si è soffermato a raccontare (di nuovo) dello sviluppo di Heavy Rain, del successo riscosso dal gioco, del lavoro su quella sceneggiatura. Insomma, non ha guardato al passato, se non brevemente in avvio, e si è concentrato soprattutto sul futuro e sul futuro del performance capture in ambito videoludico. Quantic Dream, sotto questo punto di vista, è sempre stata all'avanguardia, impegnandosi in prima linea nella creazione di tecnologia "fatta in casa" per realizzare narrazione tramite il videogioco. Nel 1999, col suo titolo d'esordio Omikron: The Nomad Soul, diede vita a uno fra i primi personaggi videoludici, realizzati appiccicando poligoni sulla recitazione di un attore (David Bowie, nientemeno). Quindici anni dopo, in quegli uffici francesi stanno ancora esplorando i confini di questa via, puntando fortissimo su ciò che Cage definisce "full performance capture", vale a dire una procedura in grado di "catturare" l'intera performance dell'attore in un'unica soluzione. I movimenti del corpo, le espressioni del volto e la voce trasformati in dati e immagazzinati, senza dover eseguire procedure separate. La precisazione è importante, perché molti decidono - per vari motivi - di separare le cose, usando magari anche attori diversi a seconda di quel che serve e "girando" di fatto due o tre volte la stessa scena.

Ci sono diversi motivi per cui David Cage ritiene importante la "full performance capture".

Perché è importante la "full performance capture"? Per impadronirsi della performance completa di un attore, conservando ciò che ha voluto trasmettere nel complesso, senza farla a pezzetti da rimettere assieme in stile Frankenstein. E anche per attrarre nuovi talenti, attori che preferiscono regalarsi per intero all'opera e non applicare magari la propria voce al linguaggio del corpo di un'altra persona. Lo stato dell'arte, in questo senso, è rappresentato dalle mega produzioni cinematografiche, film come Avatar o Le avventure di Tintin. La qualità della recitazione, in quei casi, è anche figlia del fatto che tutto è stato girato in un'unica soluzione, senza dover unire poi i puntini. Ci sono, però, anche dei lati negativi. Per esempio l'obbligo di avere una videocamera costantemente piazzata davanti al volto dell'attore, a breve distanza, le cui riprese saranno poi utilizzate per creare le animazioni facciali. E, se alla sensazione di avere questo oggetto costantemente davanti al volto gli attori si abituano, rimane comunque un impedimento per la realizzazione di scene che richiedono vicinanza o contatto. Ma il problema vero è che si tratta di una tecnologia molto, molto, molto costosa, anche per il tempo e la quantità di lavoro che richiede. I risultati sono fantastici, ma i budget richiesti sono esagerati e non praticabili.

Quali altre soluzioni si vedono nel mondo dei videogiochi? Per esempio i key frame, fotogrammi chiave, basati su fonemi. Si creano delle forme, delle posizioni chiave del volto, corrispondenti per esempio ai suoni delle vocali, che vengono attivate nei momenti adatti all'interno di un dialogo. Quantic Dream usò questa soluzione per Omikron, e i risultati non sono di grande qualità - fondamentalmente si muove solo la bocca, in maniera generica – ma la procedura è economica. La via più usata nell'industria del videogioco, e che Quantic Dream ha utilizzato per Heavy Rain, è la cosiddetta "split performance": si gira la scena in due sessioni distinte, la prima per registrare l'audio e riprendere il volto dell'attore, la seconda per registrare i movimenti corporei di un attore che recita sulla base dell'audio che è già stato registrato. Funziona bene, è molto utilizzata, ma la "split performance" rimane comunque almeno in parte artificiale, perché unisce due performance separate e perde forzatamente per strada almeno in parte l'impatto della recitazione. Ma, di nuovo, funziona e ha dei costi ragionevoli.

Le soluzioni alternative, insomma, non mancano.

In Quantic Dream sono state usate, nel corso degli anni, un po' tutte le tecniche. Del resto, per uno sviluppatore concentrato sulle potenzialità narrative del videogioco, era inevitabile. Con Omikron si puntò sul sistema delle forme da attivare quando necessario. L'attivazione avveniva legando ciascuna forma a un tasto di una tastiera MIDI, che veniva poi "suonata" da una persona ascoltando i dialoghi registrati. Un sistema molto semplice, anche rozzo, ma che nel 1999 fece il suo dovere. Nel 2005, per Fahrenheit, venne utilizzata una versione evoluta di quel sistema: ancora una volta le forme, ma mescolate a delle espressioni, per mano non di un "pianista", ma di una "burattinaio", che indossava dei guanti per il motion capture. I movimenti delle dita della mano sinistra attivavano i fonemi, quelle della mano destra attivavano le espressioni. Sembrava davvero di vedere un burattinaio che controllava il volto del personaggio tramite le sue dita. Ancora: costi accettabili, sicuramente un sistema con ampi margini di miglioramento, ma adeguato alle esigenze. E pure spettacolare da vedere in funzione. Nel 2006 tocca a The Casting, la splendida demo con cui all'E3 venne mostrata la tecnologia poi utilizzata per costruire Heavy Rain. Un filmato in cui una donna parla alla telecamera, in cucina, messo in piedi per provare la tecnologia, per capire come lavorare in termini di regia, struttura, motore grafico. E per mostrarne i ganzi risultati alla gente, ovvio. Con The Casting e Heavy Rain cambia tutto, perché per la prima volta Quantic Dream può utilizzare il motion capture sul volto e decide di utilizzare il sistema della "split performance".

E il futuro? Il futuro, per il momento, si chiama Kara, anche se non dubito che fra qualche giorno scopriremo un nuovo nome. Dopo il successo di Heavy Rain, Quantic Dream si trova nella stessa situazione del dopo Fahrenheit (anche se magari con alle spalle un successo più confortante). Soddisfatti di quanto realizzato, impegnati a costruire qualcosa di nuovo, a fare il passo successivo lungo la strada che stanno percorrendo, decidono di assemblare un nuovo prototipo, in cui mettere alla prova le nuove idee e tecnologie. E così costruiscono da zero un motore grafico, pensato per implementare funzionalità ancora inedite su PlayStation 3, e lavorano su questa nuova demo, con l'idea di provare sul campo l'engine, l'impatto della "full performance capture" e la nuova pipeline di produzione, facendolo però su un piccolo progetto a sé stante, invece che nel caos che è la produzione già avviata di un nuovo gioco. Alla base di tutto, poi, anche l'idea di imbarcarsi in una nuova sfida creativa, un qualcosa che si racconti attraverso un genere, uno stile e delle ambientazioni totalmente diversi da quanto fatto in precedenza, per realizzare poi un prototipo distribuito liberamente, anche nell'ottica di ringraziamento per chi ha apprezzato il lavoro di Quantic Dream.

Gli obiettivi finali di tutto questo? Mettere in piedi un sistema in grado di lavorare con veri e propri cloni di attori, invece che modelli sopra cui viene applicata una performance. Attori da selezionare tramite casting, inserire nel sistema stesso e far lavorare poi come sanno su un set. Creare un rapporto solido e sostenibile fra qualità, quantità e costi, nell'ambito di un processo produttivo che permetta di inviare direttamente il girato al motore grafico, senza passaggi intermedi. Avere un sistema sufficientemente flessibile per poter apportare cambiamenti di spessore in post produzione, lavorando su capigliature, barbe, ferite, effetti grafici, applicando lacrime, sangue, sudore, ma anche sfruttando procedure di retargeting per inserire un volto sulle animazioni corporee di qualcun altro. Il risultato di tutto questo, almeno per il momento, è Kara, un cortometraggio realizzato con una tecnologia che gira in tempo reale su PlayStation 3, sfruttando del motion capture quasi per nulla elaborato in post, sostanzialmente rozzo, su una versione del tutto preliminare dell'engine. E che, come fu per The Casting, non rappresenta in alcun modo il gioco oggi in sviluppo presso Quantic Dream. Al limite, come del resto fu per The Casting, ne mostra la tecnologia, e in qualche modo il tono generale. L'avrete sicuramente visto tutti, ma ve lo metto comunque qua sotto.

Ora, il cortometraggio è davvero bello ed emozionante, anche se forse il tizio che stava seduto di fianco a me e sul finale si asciugava le lacrime ha un po' esagerato. Come è stato assemblato? Innanzitutto riorganizzando lo studio di motion capture interno a Quantic Dream. Si è passati da 28 videocamere per la "cattura" a 65. Hanno utilizzato 90 marker applicati al corpo e 90 al volto, un setup che Cage definisce standard. Hanno dovuto rendere assolutamente isolato dal punto di vista sonoro il set. E soprattutto hanno dovuto creare una struttura interamente sincronizzata, in grado di generare un timecode perfettamente allineato fra audio, movimenti dell'attore, espressioni del volto. E fino a qui si tratta "solo" di investire soldi e tempo per reperire le attrezzature e il personale necessari. Ma la parte importante e difficile, secondo Cage, è quella del casting. Bisognava trovare la giusta Kara, fondamentale per un cortometraggio tanto basato sulla recitazione. Settanta attrici si sono presentate all'audizione e la parte è andata a Valorie Curry, che presto eviteremo di vedere in azione nell'episodio conclusivo di Twilight. Una volta scelta l'attrice, si passa a lavorare come si lavorerebbe nella produzione di un film. Non si tratta più di registrare la traccia audio per un doppiaggio, bisogna veramente dirigere gli attori in una performance completa. E allora via di prove, nell'arco di due giorni, e via a sperimentare i modi per realizzare sul set ciò che poi su schermo mostrerà tutt'altro.

Nel corso del filmato, poi, si possono vedere messe in pratica altre funzionalità della tecnologia creata da Quantic Dream. La parte in cui Kara parla lingue diverse e canta in giapponese, per esempio, nasce per mettere alla prova il sistema di retargeting e applicare la recitazione "completa" (voce, fisico, volto) di donne diverse al corpo dell'attrice principale. E poi gli effetti speciali, gli strati di metallo applicati su parti del corpo e alla pelle, le placche tecnologiche, gli abiti, tutto inserito tramite appositi script, con "trigger" attivabili in base a necessità. Tutto questo avviene tramite una pipeline di produzione che parte dalla scansione 2D di volto e corpo, operata da un team di dieci persone che nel giro di ventiquattro ore riesce a inserire tutto all'interno dell'engine. Quindi si elaborano la struttura muscolare, le espressioni, la gestione della luce sui primi piani, con quest'ultima che rappresenta un aspetto fondamentale per il realismo del risultato finale e viene effettuata tramite uno strumento creato appositamente da Quantic Dream. La luce viene creata e modificata per ogni singola inquadratura!

Sul set, l'interazione con le braccia meccaniche viene "simulata" da due persone.

Chiaramente, dice Cage, questa è “solo” la tecnologia. E la tecnologia va poi utilizzata per produrre i contenuti, che rimangono il punto focale. Contenuti significativi, che raccontino qualcosa. Nel caso di Kara, Cage ha raccontato la nascita di un essere umano e la sua scampata morte, provando ad affrontare temi importanti. Senza dare necessariamente risposte, anche perché non ritiene di esserne in grado (bravo!), ma provando a generare temi che facciano riflettere lo spettatore. Secondo Cage il futuro, più o meno vicino, per il mondo dei videogiochi deve passare anche da questo, dall'affrontare temi importanti, significativi. Certo, la tecnologia diventerà sempre più complessa e permetterà miglioramenti estetici spaventosi, ma l'aspetto davvero interessante sta in ciò per cui si utilizza questa tecnologia. E non è un problema raccontare tematiche importanti attraverso pupazzetti realizzati al computer: Avatar, secondo Cage, ha dimostrato che alla gente non interessa, che si può convincere lo spettatore a "credere" a quel che vede anche se si stanno osservando puffi giganti blu realizzati al computer. I videogiochi non sono ancora a quel punto, ma ogni anno ci si avvicinano un po' di più.

Un modello richiede 4/6 settimane di lavoro. L'animazione degli occhi viene realizzata "catturando" i movimenti dei muscoli facciali.

Riuscire a parlare di cose che si allontanino un po' dalle solite tematiche del videogioco è l'unico modo per diventare davvero mainstream. Wii Fit ha raggiunto sessanta milioni di persone. Call of Duty ne accalappia venti milioni. Ed è ottimo, è tanta gente, ma non è il vero mainstream di cui parla Cage. L'industria del videogioco, al momento, prova a raggiungere il massimo pubblico possibile seguendo tre vie. La via "casual" di Angry Birds, probabilmente quella di maggior successo. La via "family" abbracciata da Nintendo. E la via "hardcore" dei Call of Duty. Secondo Cage c'è spazio per un'altra via, che provi a realizzare intrattenimento adulto (non pornografico, state buoni) attraverso l'interattività. Che affronti tematiche importanti e ricche di significato. Non si tratta di comunicare messaggi, di salire sul palco ed elargire lezioni: il punto è creare qualcosa che "rimanga", che lasci addosso sensazioni e riflessioni forti. Ci possono essere diversi modi per farlo, Quantic Dream ha scelto la via degli attori virtuali, capaci di veicolare emozioni, del coinvolgere personalità di talento interessate a lavorare nei videogiochi perché li ritengono un medium interessante e non una fonte di soldi facili. E per fare queste cose servono contenuti di spessore. Secondo David Cage bisogna ridurre gli investimenti nella tecnologia e dirottarli nella ricerca di nuovi talenti anche in ambiti fino a oggi trascurati, come quello della scrittura e della regia. Siamo solo all'inizio di tutto ciò e le prospettive sono notevoli.

Ma dopo tutte queste premesse, cosa sta combinando, oggi, Quantic Dream? Kara è un progetto realizzato ormai oltre un anno fa, con la primissima versione dell'engine, ora giunto alla terza revisione. Ciò che si vede nel cortometraggio rappresenta un 50% di quanto quella tecnologia sarà in grado di fare su PlayStation 3. David Cage e il suo team vogliono costruire sul successo di Heavy Rain, ma anche continuare a sperimentare nuove vie ed esplorare percorsi diversi sotto l'ombrello di Sony, una fra le poche grandi aziende che continuano a investire per supportare questo genere di progetti, senza dubbio meno "sicuri" rispetto a tanti altri. Fra qualche giorno, nel corso della conferenza Sony, avremo forse una prima risposta, che le ultime voci indicano con il titolo Infraworld e che potrebbe essere quel gioco con cui Cage aveva detto tempo fa di voler esplorare alla sua maniera le potenzialità del gioco online.