Loru Reinikka, TaK, asiantuntija, Digitaaliset ratkaisut, FrostBit Software Lab, Lapin ammattikorkeakoulu
Teatteritaide on ollut merkittävä osa kulttuuriamme jo pitkään: sen juuret ulottuvat kauas menneisyyteen, jopa ennen ajanlaskun alkua. Teatterilla on vakiintunut kaava ja muoto, joka määrittää sen, mitä teatteri on. Tämä kaava on kestänyt aikaa ja taivuttelua erilaisiin muotoihin ja tyyleihin kulttuurien ja aikakausien mukaan, mutta sen ydin on säilynyt muuttumattomana. Virtuaaliteknologia vuorostaan on nykyisessä muodossaan vasta asettumassa jalansijalleen arjessamme. Sen muoto ei ole vielä vakiintunut, ja se kehittyy huimaa vauhtia. Mutta mitä tapahtuu, kun nämä kaksi yhdistetään? Miten virtuaaliteknologiaa voidaan käyttää osana perinteistä teatteriesitystä? Voiko virtuaalituotantoa käyttämällä luoda immersiivisen ja interaktiivisen teatterikokemuksen?
Uusi kerronnan ulottuvuus
Virtuaalituotanto (eng. Virtual Production), edustaa uutta lähestymistapaa video-, peli- ja esittävän taiteen tuotantoihin. Sen sijaan että rakennettaisiin fyysinen lavastus tai ympäristö, jossa tuotanto tapahtuu, luodaan virtuaalinen ympäristö, joka toistaa kaikki halutut tapahtumat ja visuaaliset elementit samanaikaisesti muun tuotannon kanssa. Tämä nopeuttaa tuotantoja, sillä kuvattu ja esitetty materiaali näkyy välittömästi oikeassa ympäristössään esimerkiksi LED-näyttöjen avulla.
Lapin korkeakoulujen yhteisen VTST-hankkeen (Virtuaalituotantostudioteknologiat-hanke) ensimmäisessä työpaketissa toteutettiin virtuaalimaailma osaksi teatterinäytelmää JULIUS – Kaukaisella tähdellä oman päänsä sisällä yhteistyössä Rovaniemen teatterin kanssa (ohjaus ja käsikirjoitus Otto Nyberg). Esityksessä virtuaalituotanto on osana näytelmän lavastusta, jossa näytelmän päähenkilön seurana seikkailee kokonaan virtuaalinen hahmo. Teknologia osana teatteria ei tietenkään itsessään ole ennenkuulumatonta, sillä sitä on hyödynnetty osana teatteria jo vuosia. Projisoinnit, animaatiot, näytöt ja virtuaaliympäristöt ovat päässeet osaksi näyttämötaidetta jo pitkään. Virtuaalituotannon lisääminen osaksi näytelmää kuitenkin muuttaa pelikenttää. Se ei ole ainoastaan valmisteltua ja ennakkoon tallennettua sisältöä – virtuaalituotanto toimii ja elää reaaliajassa yhdessä näytelmän kanssa antaen esitykselle uuden ulottuvuuden. Tämä avaa mahdollisuuksia luoda entistä monipuolisempia ja vaikuttavampia visuaalisia kokemuksia. Katsojat saavat astua uudella tavalla osaksi tarinan maailmaa. Samalla se asettaa haasteita perinteisen lavastussuunnittelun ja teknologian yhdistämiselle, sekä vaatii tiivistä yhteistyötä teatteriammattilaisten ja teknologisten asiantuntijoiden välillä onnistuakseen.
Kuva 1. VTST-hankkeen projektipäällikkö Samuli Valkama projisoidun virtuaalituotannon edessä. Kuva: Tuuli Nivala.
Kuva 2. Päähenkilö Julius (Juuso Nykänen) yhdessä pallomaisen virtuaalihahmo Isan kanssa. Kuva: Petri Teppo.
VTST-hanke lähti käyntiin Lapin ammattikorkeakoulun ja Lapin yliopiston yhteisestä halusta kehittää sekä Lapin imagoa älykkään erikoistumisen alalla että kilpailukykyä teknologiasektorilla tuomalla virtuaalituotannon mahdollisuuksia Pohjois-Suomeen. Hankkeen valmistelusta asti Rovaniemen teatteri oli kiinteästi yhteistyössä työpaketin suunnittelussa. Hanke integroi virtuaaliteknologiaa teatteriin luomalla “hybridiesityksen”, jossa fyysinen ja virtuaalinen maailma sulautuvat yhteen käyttämällä virtuaalitodellisuutta lavasteiden ja erikoistehosteiden luomiseen. Projisoidun ympäristön lisäksi virtuaaliavatar nimeltä Isa elää koko näytelmän ajan päähenkilö Juliuksen (Juuso Nykänen) rinnalla hänen pippurisena, mutta lämpimänä tekoäly-ystävänään. Isa liikkuu reaaliajassa Xbox-ohjaimen ja liikkeenkaappausteknologian (eng. Motion Capture) avulla. Isan näyttelijä (Loru Reinikka) ohjaa esitysten aikana Isaa verhon takana ja puhuu tämän äänenä. Näyttelijä pukee ylleen liikkeenkaappauspuvun, jonka avulla hänen raajojensa liike digitalisoidaan ja toisinnetaan samanaikaisesti virtuaalihahmon liikkeisiin. Isa on siis jatkuvasti valmiina elämään ja muuttumaan näytelmän mukana.
Kahden maailman yhdistäminen
Tällaiset hybridiesitykset voivat tarjota katsojille ainutlaatuisen ja moniulotteisen kokemuksen, joka yhdistää perinteisen teatterin sopeutumiskyvyn ja virtuaaliteknologian monipuolisuuden. Kahden maailman yhdistäminen ei silti luonnistunut ilman haasteita. Teatteriesitysten vahvuus on usein elävässä vuorovaikutuksessa esiintyjien ja yleisön välillä, ja virtuaaliteknologian käyttö muuttaa tätä dynamiikkaa. Lisäksi teknologian monimutkaisuus ja tekniset vaatimukset voivat olla hidaste laajamittaiselle virtuaaliteknologian käytölle teatterissa.
Virtuaalituotannon toteuttajana toimi FrostBit ohjelmistolaboratorion pelimoottori-, koodaus-, 3D- ja pelisuunnitteluasiantuntijat. He loivat interaktiivisen virtuaalimaailman, joka toimii tehokkaasti Unreal Engine 5 -pelimoottorin avulla. Virtuaalimaailman hallinnasta esitysten aikana vuorostaan vastaavat sekä teatteriteknikko että Isan näyttelijä: teknikko ajaa virtuaalimaailman etukäteen rakennetut muutokset samanaikaisesti teatterin ääni- ja valomuutosten kanssa, kun taas Isa ilmestyy, liikkuu ja puhuu interaktiivisesti aina näyttelijän ohjatessa tätä antaen tälle elävän ilmaisun.
Toimiessaan hyvin teknologia ja teatterin taika yhdessä luovat katsojille elämyksellisen ja vaikuttavan kokemuksen. Valojen, äänten, näyttämön tapahtumien ja virtuaaliteknologian saumaton yhteensopivuus ei silti ollut itsestään selvää ja työpaketin aikana kohdattiin useita vaikeuksia. Ensimmäisenä vastaan tulivat virtuaalituotannon investointien ja sen toteuttamiseen liittyvät aikaresurssit. Alun perin suunnitteilla olleet LED-paneelit eivät ehtineet pelipaikalle ensi-iltaan mennessä, joten niistä luovuttiin. Sen sijaan virtuaalimaailma päätettiin projisoida Lappia-talon Kero-näyttämön takatilasta käsin.
Seuraavana haasteena huomattiin, että teatterin ja ohjelmistolaboratorion työtavat ja –ajat ovat vaikeasti sovitettavissa yhteen. Virtuaalituotantoa suunniteltiin toimimaan esityksissä, mutta harjoituksissa sen soveltaminen oli haasteellista. Teatteriharjoituksissa yksittäistä hetkeä tai siirtymää saatetaan joutua toistamaan kymmeniä kertoja peräkkäin, kun taas ympäristön ohjelmointi luotiin jatkumaan keskeytymättömänä janana, ikään kuin virtana, kunnes koko kohtaus on suoritettu. Tämä ristiriita toi esiin tarpeen sovittaa yhteen kaksi erilaista työskentelytapaa. Teatteri toimii jatkuvassa vuorovaikutuksessa esiintyjien ja ohjaajan välillä, tarjoten tilaa kokeiluille ja muutoksille harjoitusten aikana, kun taas ohjelmistokehittäjät työskentelevät tarkkaan suunniteltujen käskyjen kanssa, jotka on tarkoitus suorittaa virheettömästi ja tehokkaasti. Tämä haaste vaati luovuutta ja joustavuutta sekä teatterin että ohjelmistokehityksen puolelta. Oli kehitettävä uusia tapoja, jotka mahdollistavat virtuaalituotannon integroinnin harjoitusten arkeen. Tarvittiin myös tiivistä yhteistyötä ja avointa kommunikaatiota kaikkien osapuolten välillä, jotta yhteistyö sujui toivotusti. Ongelma kuulostaa jälkeenpäin varsin itsestään selvältä, mutta se yllätti silti työryhmän. Lopulta maailmat saatiin kuin saatiinkin sovitettua yhteen – kärsivällisyyden ja kokeilujen avulla. Tulevaisuudessa kehittämällä uusia työskentelytapoja ja hyödyntämällä teknologian tarjoamia mahdollisuuksia voidaan kenties luoda entistä tehokkaampia ja monipuolisempia harjoitusympäristöjä, jotka tukevat sekä näyttelijöiden että ohjelmistokehittäjien tarpeita.
Aika pakotti kompromisseihin
Kun tehdään jotain, mitä ei ennen ole tehty, kohdataan pakostakin pulmia. Se, miten pulmat ratkaistaan, vuorostaan määrittää saatavilla oleva aika. Virtuaalimaailman kehittämiseen oli suunnitteluvaiheen jälkeen aikaa vain reilut 4 kuukautta, joten kunnianhimoisimmat unelmat jouduttiin heti siirtämään takaisin pöytälaatikon uumeniin. Muut muutokset ideoihin taas tehtiin pitkin valmistelua, jotta tärkein ydin pääsisi loistoonsa, vaikka se tarkoittikin monen hauskan tehosteen hyvästelemistä.
Esityksen aikana näytelmän virtuaalihahmo Isa muuntautuu useisiin eri muotoihin, mutta sen perusmuotona toimii vaaleanpunainen glitter-pallo, joka säteilee tämän puhuessa. Alun perin Isalle suunniteltiin kasvoja, jotka olisivat liikkeenkaappausteknologian avulla animoituneet. Aina kun näyttelijä puhuisi tai liikuttaisi kasvojaan, Isan kasvot tekisivät samoin. Vaikka teknologian käyttö sinänsä ei olisi kovin monimutkaista, 3D-mallien luominen, jotka olisivat visuaalisesti uskottavia ja näytelmän estetiikkaan sopivia, olisi ollut haastavaa lyhyessä ajassa. Siksi Isan lopullisesta visuaalisuudesta tuli pyöreää, pehmeää ja pelkistettyä. Samasta syystä melko näyttävät realistisiksi teksturoidut 3D-mallit päätettiin lopulta toteuttaa kaikki saman kaltaisella pinkillä liikkuvaisella tyylillä, jotta Isa säilyisi yhtenäisenä koko teoksen ajan.
Isan oli alun perin tarkoitus liikkua lähes kokonaan liikkeenkaappauksen avulla, mutta näyttelijän esiintymistila aiheutti häiriötä liikkeenkaappauspuvulle, mikä johti liikkeen takkuiluun. Näin ollen kyseistä teknologiaa käytettiin vain rajallisesti sille tärkeissä kohdissa. Liikkeenkaappauksen käytön rajaaminen loi Isalle vapauden liikkua virtuaalitasolla jokaiseen suuntaan, mikä toteutettiin Xbox-ohjaimen mahdollistamalla kiemurtelulla ja pyörimisellä.
Kuva 3. Ohjelmoijat (Kimmo Karjalainen ja Elina Männikkö) testaavat liikkeenkaappausteknologiaa Isan näyttelijän kanssa (Loru Reinikka). Kuva: Tuuli Nivala.
Osa ympäristön tarvitsemista 3D-malleista ostettiin, koska oli selvää, ettei aika riittäisi kaiken tekemiseen itse: mikä osoittautui todella hyväksi päätökseksi, sillä itse virtuaalimaailma saatiin luotua melko nopeasti. Aikaa jäi siten animaatioiden, efektien ja näytelmän toimintojen luomiseen ja korjaamiseen.
Vielä viikko ennen ensi-iltaa tehtiin viimeisiä viilauksia projektiin, sillä vaikka työmäärä oli laskelmoitu kestämään sovitut aikarajat, loppuhiominen oli välttämätöntä ja aikaavievää. Esityskaudella virtuaalituotanto on toiminut moitteettomasti, mutta teatteritekniikan ja virtuaaliteknologian yhdistelemisessä on tullut muutama odottamaton kömmähdys: kaksi näytöstä on jouduttu hetkellisesti keskeyttämään. Syy on löytynyt kaapeliviasta tai inhimillisestä erheestä, joita ei osattu ennakoida. Koska vastaavaa ei ennen olla kokeiltu Lapissa, ei voitu myöskään tietää, että erilaisten teknologioiden yhdistämisestä voisi koitua kyseisiä ongelmia. Virheen mahdollisuus silti kuuluu elävään taiteeseen ja näin virtuaalituotanto on saanut olla osana teatterin eloa. Jännittävistäkin tilanteista on selvitty teatteriosaajien ja teknologiaosaajien yhteistyöllä.
Kohti seuraavia haasteita
Kun teatteritaide ja virtuaaliteknologia yhdistyvät, syntyy mielenkiintoisia mahdollisuuksia luoda uudenlaisia ja moniulotteisia teatterikokemuksia. Haasteena on löytää tasapaino perinteisen teatterin raamien ja virtuaaliteknologian kehityksen välillä, jotta voidaan luoda ainutlaatuisia ja merkityksellisiä esityksiä, jotka puhuttelevat ja koskettavat yleisöä. Työpaketin ensiaskeleet lappilaisen esittävän taiteen ja teknologian yhdistelyssä edustavat sekä virtuaalituotantojen että teatterimaailman jatkuvaa kehitystä ja innovaatiota. Teknologia ei ainoastaan tarjoa uusia mahdollisuuksia esityksille, vaan myös herättää keskustelua siitä, mitä teatteri ja virtuaalituotannot yhdessä voisivat olla tulevaisuudessa. VTST-hanke siirtyy seuraavaksi tekemään toisenlaisia audiovisuaalisia yhteistyöprojekteja ja laajentamaan osaamistaan virtuaalituotantojen suhteen. Mutta kenties jossain seuraavassa pohjoisessa virtuaalituotannon ja teatterin yhdistelmässä löydetään uusia entistä toimivampia ratkaisuja kokonaisuuksien ja työkulttuurien yhdistämiseen. JULIUS – Kaukaisella tähdellä oman päänsä sisällä on nähtävissä Rovaniemen teatterilla kevään 2024 ajan.
VTST-hankkeessa rakennetaan Lapin ammattikorkeakoulun (päätoteuttaja) ja Lapin yliopiston yhteiskäyttöön LED-näyttöihin pohjautuva virtuaalituotantostudio. Studio mahdollistaa reaaliaikaisen liikekaappauksen sekä lavasteiden ja ympäristöjen luomisen ja manipuloinnin, striimatuista livelähetyksistä ja esityksistä elokuvatason tuotantoihin. Virtuaalituotantoa ja siihen liittyvää teknologiaa testataan ja pilotoidaan erilaisissa yhteistyöpaketeissa hankkeen aikana 01/08/2023 – 31/12/2025. VTST-hankkeelle myönnettiin Euroopan aluekehitysrahastolta 1 231 000 euroa virtuaalituotantoteknologian kehittämiseen ja 478 000 euroa oppilaitosten yhteisen virtuaalituotantostudion rakentamiseen.
Lue lisää VTST-hankkeesta: virtuaalituotantohanke.fi
Julius -näytelmä Rovaniemen teatterilla: rovaniementeatteri.fi/esitys/julius/
Kuva 4. Hankkeen logot
Asiasanat: virtuaalituotanto, virtuaaliteknologia, liikkeenkaappaus, esittävät taiteet, peliteknologia