El projecte de recerca ViVIM conclou amb resultats innovadors per a la creació de continguts audiovisuals immersius
Després de tres anys i mig de feina, el 28 de juny va acabar oficialment el projecte de recerca ViVIM (Visió per Computador per Vídeo Immersiu Multiplataforma), coordinat per la Fundació i2CAT i en el que també han col·laborat el Centre de Visió per Computador (CVC), Eurecat, la Corporació Catalana de Mitjans Audiovisuals i VISYON (GRUP MEDIAPRO). El projecte ha estat finançat per ACCIÓ, l'Agència per a la Competitivitat de l'Empresa, dins del pla d'actuacions de la Comunitat Ris3CAT Media impulsada pel Govern de la Generalitat de Catalunya.
Els investigadors han centrat la seva recerca a la producció de nous formats de vídeo immersiu que milloren l'experiència dels consumidors de productes audiovisuals i que puguin ser consumits en tots tipus de dispositius, incloent-hi els nous sistemes de realitat virtual (com les ulleres RV), les tauletes, els mòbils o el televisor tradicional. L'objectiu global del projecte era crear noves experiències audiovisuals personalitzades, dinàmiques, interactives i immersives.
El projecte s'ha tancat amb la creació de cinc components tecnològics molt innovadors. La Fundació i2CAT ha desenvolupat un sistema de distribució i sincronització de vídeo, un reproductor web de vídeo interactiu amb adaptació automàtica al tipus de dispositiu i una tecnologia d'holoconferència pionera, que permet la representació volumètrica de l'usuari, a través d'un holograma, dins l'entorn virtual. Eurecat, ha desenvolupat un sistema innovador d'estimació de profunditat dels entorns virtuals i el CVC ha contribuït al projecte amb un sistema per a la detecció i seguiment de persones basades en parts i esqueletonització 3D, aplicades a vídeo 360°.
Pilots en entorns reals
Durant l'execució del projecte ViVIM s'han dut a terme diferents pilots en entorns reals per provar la resposta i fiabilitat de les solucions tecnològiques desenvolupades per a l'emissió i consum de continguts immersius, la interacció i representació de l'usuari o la hibridació de tecnologies 360° i de 3D. Aquests pilots han comptat amb la col·laboració tant de la CCMA com de l'empresa VISYON.
Així, l'abril del 2021, es va presentar en el web de TV3 un ascensor virtual que permetia als usuaris participar d'un viatge immersiu per conèixer la història de la televisió pública catalana.
El febrer del 2022, TV3 i Canal Blau van participar en una producció coordinada per retransmetre les comparses del carnaval de Vilanova i la Geltrú en format multicàmera 360° des de diferents punts de la plaça de la Vila i amb pantalles sincronitzades.
L'abril i el maig de 2023, TV3 també va fer servir la tecnologia 360° multicàmera per retransmetre la gala de repesca i la gala final del famós programa musical "Eufòria". L'audiència va poder gaudir en directe de totes les actuacions des de diferents punts de vista gràcies a la instal·lació de càmeres 360° en diferents punts del plató, com ara al mig de l'escenari o al costat de la taula del jurat. Els continguts immersius es podien visualitzar des de diferents dispositius (ordinador, tauleta o mòbil) de manera interactiva, ja que es podia seleccionar la càmera d'interès. El sistema incloïa un nou reproductor web, amb suport multiplataforma, que no necessitava cap instal·lació prèvia.
Finalment, a començaments de juny de 2023, els investigadors van presentar un pilot de realitat immersiva al cafè "Els Quatre Gats". Aquest permetia als visitants endinsar-se en l'ambient de la Barcelona modernista i gaudir d'una recreació virtual de la primera exposició individual de Pablo Picasso, instal·lada l'any 1900 al popular local modernista. El pilot combinava tecnologies de vídeo 360º i de Computer Generated Imagery (CGI) per a la creació d'un entorn virtual immersiu que recreava l'estètica del cafè a inicis del segle XX. Els usuaris eren tele portats a l'interior de l'espai mitjançant tecnologies de representació volumètrica (hologrames) i podien interactuar amb diferents punts d'interès a través d'elements interactius.
"ViVIM, a més d'ajudar-nos a portar la nostre tecnologia de distribució de vídeo 360° i de vídeo volumètric a un estat de pre-producte, ha estat la llavor de noves vies de col·laboració. Des d'i2CAT, amb VISYON, estem participant en un nou projecte amb finançament europeu, XR-ECO, per desenvolupar algoritmes de intel·ligència artificial de cara a incrementar l'automatització en la generació de nous continguts immersius. Per altre banda, amb la CCMA, estem treballant per fer arribar al sector broadcast el nostre sistema de distribució sincronitzada multicàmera end to end, des de la càmera al reproductor, que facilita i abarateix enormement la distribució d'experiències multicàmera en temps real", explica Sergi Fernández, director de l'àrea de recerca en Media Internet de la Fundació i2CAT i coordinador del projecte ViVIM.