Doblatge automàtic de vídeos amb IA i un diccionari anglès-català, noves eines de Softcatalà

Agafar un vídeo en anglès i, amb un parell de clics, poder descarregar el mateix contingut però amb les veus en català, és un dels sorprenents avenços tecnològics que permeten els diferents models d'intel·ligència artificial que neixen contínuament i es perfeccionen actualment.

Softcatalà ha fet possible, de nou, que el català sigui més present a internet amb el nou servei de doblatge automàtic de vídeos en català, que permet pujar vídeos en castellà o anglès i transcriure'ls, traduir-los i regenerar-los, sintetitzant les veus dels parlants en la variant dialectal escollida, amb el balear, el valencià, el central o el nord-occidental com a opcions.

L'eina, en proves des del llançament a principis d'any, és limitada, admeten que "probablement tindrà errors" i insisteixen que "no substitueix la feina dels professionals del doblatge", però la complexitat tècnica i la desena de models basats en intel·ligència artificial que implica, la converteixen en un recurs tecnològicament molt avançat i valuós per augmentar la presència i el consum de continguts en català. 

L'associació sense ànim de lucre Softcatalà n'ha parlat aquest dilluns durant la presentació d'una nova eina, un diccionari anglès-català que se suma a la seva àmplia col·lecció de serveis gratuïts, lliures i oberts en línia pensats per contribuir a la normalització de la llengua catalana a internet i en l'àmbit de les noves tecnologies.

Una desena de models i una cua per doblar vídeos

El servei de doblatge automàtic, que es va presentar el febrer produeix de quatre a cinc vídeos diaris, i dona servei sobretot a "persones de l'àmbit de l'educació que volen traduir vídeos didàctics", tal com explicava Jordi Mas, un dels fundadors de Softcatalà, aquest dilluns a l'auditori del Col·legi de Periodistes, a Barcelona. 

La complexitat tècnica de l'eina és destacable, tot i que per a l'usuari el procés és senzill i transparent. Per un cantó, es puja el vídeo en format mp4 en castellà o anglès i es decideix la variant dialectal en què es doblarà. 

El primer model d'IA en intervenir és Whisper, l'eina d'OpenAI, els creadors de ChatGPT, per fer el reconeixement de la parla. Whisper identifica les paraules a partir de les veus que inclou el vídeo i les transcriu. 

Whisper es considera el millor model de reconeixement de parla que existeix al mercat per al català i és el mateix que utilitza Softcatalà per al seu servei de transcripció automàtica d'àudio i vídeo a text. És lliure, pot servir per transcriure gravacions o crear subtítols per a vídeos, i està produint de 500 a 600 transcripcions diàries en català. 

En un següent pas, el doblador de vídeo automàtic aïlla la parla d'altres sons que pugui contenir el vídeo (amb el model demuc), analitza i separa els diferents parlants que s'hi sent (model pyannote) i identifica el gènere de qui parla (model audeering) per poder sintetitzar després les veus en català (model Matxa).

Tres models més (nmt-softcatala,  open-dubbing i open-dubbing) intervenen en les traduccions i en el doblatge, que es pot refinar amb l'eina subdub-editor. Softcatalà en destaca la usabilitat:

"Gràcies a la seva facilitat d'ús i la rapidesa del procés, qualsevol persona pot traduir i doblar vídeos en català sense necessitat de coneixements tècnics ni grans recursos." 

La quantitat de models d'IA implicats en el procés i la naturalesa de la tasca podria suposar una important pressió als servidors de Softcatalà, repte superat gràcies a l'expertesa de l'organització, com explica Jordi Mas: "L'eina funciona amb un sistema que posa en cua les diferents peticions" i, tal com fan països amb pocs recursos o accés limitat a les últimes tecnologies, com la Xina, utilitza models "fortament optimitzats" per fer-los més eficients.

Un diccionari català-anglès "de referència"

El protagonista d'aquest dilluns ha estat el nou diccionari anglès-català, una "obra original" que va començar a construir-se el març del 2022.

El nou diccionari, que fa uns dies que està operatiu, és fruit d'una feina "pràcticament artesanal" d'un equip d'editors, tots voluntaris de Softcatalà, que durant més de tres anys han aconseguit introduir més de 50.000 entrades en anglès i 46.000 en català.

El diccionari inclou, per cerca o per índex alfabètic, una llista de paraules traduïdes de l'anglès al català i viceversa, però també informació tècnica i exemples d'ús.

Per exemple, per la paraula "house", el diccionari inclou les seves accepcions com a verb ("to house", contenir) o com a adjectiu ("in-house", intern), però també com a substantiu. Això sí, tenint en compte que la traducció pot ser "casa", en un context habitual, però també el joc infantil de "papes i mames". Per completar l'entrada, el diccionari inclou una llista d'exemples d'ús extret de fonts externes.

S'han fet servir diversos recursos oberts, (Catalan Dictionary, Worknet, o el gran conjunt de termes del Termcat), així com la incorporació de paraules complexes de traduir que ha acabat cedint el traductor Xavier Pàmies.

Segons un dels responsables del diccionari, l'enginyer i traductor i voluntari de Softcatalà, Jaume Ortolà, és una "feina molt laboriosa" encara inacabada.

S'ha optat per fer una selecció de les paraules més freqüents, per prioritzar-les i assolir la xifra de 50.000 entrades. L'organització té l'aspiració d'assolir-ne al voltant de 100.000, però presentat l'eina un cop comencen a "estar satisfets amb els resultats". 

"És com una gran catedral, que no s'acaba mai."

L'escriptor i traductor Matthew Tree, convidat a la presentació per Softcatalà, ha valorat que s'hi inclouen diferents matisos i accepcions, així com la incorporació de "paraules grolleres", sovint al marge d'altres diccionaris, com "cunt", o "fuck": "Aquest diccionari ja s'ha convertit en el meu recurs de referència en les tasques de traducció."

 

Contra la "diglòssia digital"

Buscar la traducció d'una paraula anglesa, sovint porta els usuaris a trobar-ne l'equivalència en castellà, cosa que després comporta l'esforç de pensar com es tradueix aquella paraula del castellà al català. 

Aquest procés, incentivat pels algoritmes dels motors de cerca i l'abundància de diccionaris anglès-castellà, porta els catalanoparlants a posar en pràctica la "diglòssia digital", tot cercant a internet en castellà, per defecte.

El conseller de Política Lingüística, Francesc Xavier Vila, ha incidit en la importància de lluitar contra la minorització de les llengües en els entorns digitals, i ha reconegut la feina de Softcatlà: "Ha fet que sigui igual de normal tenir l'ordinador en català que en anglès o en qualsevol altra llengua."

Eines de Softcatalà, com el diccionari, les traduccions de programes i apps o les eines de transcripció o doblatge automàtic, ajuden al fet que la presència del català a internet superi la d'altres llengües minoritzades, "fins i tot aquelles que tenen un estat important darrere", explicava Vila.