Si può tradurre una conversazione in tempo reale offline?

Sei appena atterrato in un paese estero, senza internet né segnale. Devi attivare una SIM locale, ma per farlo hai bisogno di parlare con un commerciante locale. Purtroppo, però, per farlo hai bisogno di un traduttore… che non funziona senza internet.

Questo paradosso spiega la ragione per cui abbiamo scelto di fare ricerca su come introdurre la traduzione offline all’interno di un nostro prodotto, VoiceLink.

Da dove siamo partiti: cos’è VoiceLink

VoiceLink è un’applicazione mobile di Mabiloft che nasce per la traduzione conversazionale. Nasce dall’esigenza di sorpassare la UX macchinosa delle app di traduzione classiche: seleziona la lingua, parla, passa il telefono all’interlocutore e così via, spesso accompagnato da una traduzione deludente.

Grazie a VoiceLink, due persone che parlano lingue diverse possono conversare in maniera naturale. L’app capisce chi sta parlando e in che lingua, traduce nella lingua dell’interlocutore e legge la traduzione ad alta voce. Puoi vederla in azione qui.

Cosa manca al prodotto

VoiceLink è online sugli store e sta riscuotendo un discreto successo, ma ad oggi è ancora ancorata alla rete. In pratica, se ti trovi in montagna, senza segnale, e l’unica persona a cui puoi chiedere informazioni è un esperto scalatore tedesco, puoi solo sperare che conosca i rudimenti della lingua italiana.

Proprio da questa considerazione siamo partiti quando ci siamo messi in testa di sviluppare una versione offline del prodotto, non finalizzata all’utilizzo costante, ma come modalità al bisogno, adattabile alla situazione.

L’architettura che abbiamo costruito, quindi, permette di scegliere pezzo per pezzo cosa gira sul telefono e cosa in cloud, a seconda dell’esigenza del momento. La qualità, inevitabilmente, cala quando il cloud non è disponibile, ma consente di fornire un servizio anche in zone remote o quando il server non risponde.

Come si costruisce una conversazione tradotta

Una conversazione tradotta non è un unico blocco, ma una catena di montaggio:

• Viene rilevata la voce
• Si riconosce la lingua utilizzata
• Ciò che è stato ascoltato viene trasposto per iscritto
• Il testo viene tradotto
• La traduzione viene letta da una voce sintetica

Per effettuare la nostra ricerca abbiamo costruito un banco di prova: un’app di test in Flutter che ricostruiva l’intera catena, misurando i tempi e la qualità di ogni passaggio. Non quindi una stima, ma una misurazione vera e propria, per ottimizzare a partire dai dati.

Le lingue che abbiamo utilizzato per il nostro test sono quelle più comuni, come l’inglese o il tedesco, ma anche quelle meno servite, come il persiano, proprio perché tipicamente meno coperte dai servizi di traduzione, specialmente da quelli improntati alla conversazione.

Abbiamo anche testato i risultati su tre hardware diversi per comparare le prestazioni. Nello specifico, ci siamo serviti di: 

• Un Android economico del 2021
• Un Android più recente di fascia alta
• Un iPhone performante di qualche anno fa

L’obiettivo era di sviluppare un pacchetto lingua scaricabile completo, con riconoscimento vocale, traduzione e voce sintetica, di dimensione sostenibile, all’incirca 1-1,5 GB (praticamente, la dimensione di due o tre puntate di una serie TV scaricate in HD da una piattaforma di streaming).

Un modello, tre telefoni e tre output diversi

Il primo modello di traduzione impiegava 1,4 secondi a frase sull’iPhone, un tempo eccellente. Ma la performance calava drasticamente sui due Android: se quello più recente richiedeva 4 secondi, un tempo ancora accettabile, il modello più vecchio necessitava di ben 12 secondi.

Questo ci ha insegnato immediatamente una lezione: la stessa esperienza va progettata a livelli. Se ha senso utilizzare il modello che fornisce la miglior traduzione su telefoni più potenti, si rende necessario usare modelli più leggeri per telefoni più economici, con un passaggio di qualità gestito in maniera elegante, perché l’utente non percepisca un prodotto “di serie B”.

Questione di architettura

D’altra parte, non è il solo modello a far la differenza. Anche l’architettura scelta cambiava nettamente la qualità del risultato. 

Innanzitutto, abbiamo riscontrato che modelli specializzati, dedicati alle singole lingue, producevano una trascrizione 3 o 4 volte più veloce rispetto a modelli di riconoscimento vocale generico.

La specificità del modello, inoltre, otteneva risultati migliori anche riguardo alla traduzione: modelli mirati che si concentravano su una singola coppia di lingue mostravano performance migliori rispetto ai modelli multilingue. In compenso, quest’ultimi tornano utili per la copertura di lingue più particolari e meno diffuse.

Infine, abbiamo testato anche i modelli che utilizzavano l’inglese come lingua intermedia, cioè che per effettuare una traduzione, ad esempio, da tedesco a italiano, effettuavano prima una traduzione in inglese del testo tedesco e successivamente una traduzione dall’inglese all’italiano.

Il risultato? Una traduzione innaturale, in cui la sfumatura linguistica si perdeva tra le traduzioni. Ad esempio, sia italiano che tedesco hanno la forma di cortesia del “Lei”, che non esiste invece in inglese. Perciò, l’appoggio sulla lingua inglese portava a perdere questo aspetto linguistico.

La percezione conta quanto la sostanza

Nel testare ci siamo resi conto che la UX non dipendeva solamente dalla velocità e dalla qualità della traduzione, ma anche da altri fattori facilmente contrastabili. Gran parte della lentezza percepita, infatti, dipendeva dai tempi morti: il silenzio tecnico necessario per determinare la fine di uno scambio, ad esempio, e il ritardo nella partenza dell’audio.

Per contrastare questa percezione abbiamo orchestrato delle tecniche che hanno radicalmente migliorato l’esperienza senza migliorare i modelli, come:

• Dare all’utente un feedback immediato, mostrando immediatamente la trascrizione di quanto udito.
• Iniziare a caricare il modello mentre l’utente sta ancora parlando.

A che punto siamo con le conversazioni tradotte offline

Qual è la situazione attuale sul mercato con le traduzioni offline? Da un lato, ormai moltissimi tool permettono di tradurre testi offline. Lo fa Google Translate da una vita e anche Apple ha una propria versione, seppur limitata a una ventina di lingue.

Per quanto riguarda la modalità di conversazione, invece, è possibile trovare alternative offline? Non siamo certo stati i primi a pensarci: nei forum di supporto Google sono anni che gli utenti la richiedono (come in questo ticket, ad esempio). Attualmente, sembra che Google Translate ci stia lavorando, ma non è ancora una feature disponibile. Per quanto riguarda Apple, invece, la funzione esiste, ma rimane la limitazione a poche lingue più popolari.

Un panorama in crescita

Abbiamo visto quindi che ha senso investire sulla traduzione offline, come stanno facendo le grandi aziende tech, perché il panorama è ancora lacunoso.

A muoversi non sono però solamente i grandi colossi: l’open-source brulica di nuovi progetti e si possono trovare modelli di riconoscimento vocale per oltre 1600 lingue, voci sintetiche naturali, traduttori compatti di qualità, quasi tutto liberamente utilizzabile, anche per prodotti commerciali.

Inoltre, da un punto di vista hardware, i chip dei telefoni possiedono acceleratori IA dedicati. Gli stessi modelli che fino a un paio d’anni fa avrebbero richiesto un server per funzionare, oggi girano tranquillamente in locale. 

Le limitazioni ancora presenti

Nonostante l’accelerazione degli ultimi anni, ci sono ancora degli ostacoli da affrontare. Alcuni li abbiamo già citati nei risultati della nostra ricerca. I telefoni meno recenti necessitano di modelli meno pesanti per ottenere performance accettabili. Ciò comporta la necessità di progettare diversamente per utenti diversi.

Inoltre, come già detto, le lingue meno popolari hanno poche frecce al loro arco. Per le lingue non europee, spesso non esistono voci sintetiche premium o modelli per la trascrizione. Inoltre, anche lingue apparentemente coperte, come l’arabo, in realtà spesso includono solo la “lingua standard”, senza alcuna considerazione per i dialetti realmente parlati dai potenziali utenti.

A complicare un panorama già complesso, infine, ci si mettono anche le licenze: alcuni modelli, specialmente quelli che hanno performance migliori sulle lingue più rare, vengono rilasciati con licenze per sola ricerca (e non possono quindi essere utilizzati in un prodotto commerciale come VoiceLink) oppure non sono utilizzabili in Unione Europea per clausole legate al territorio.

Cosa ci portiamo a casa da questa ricerca

Quello che abbiamo capito da questa ricerca è che l’IA on-device è passata dall’essere un’ipotesi all’essere fattibile, anche se con uno scarto tra device.

Soprattutto, abbiamo capito che orchestrare modelli piccoli e specializzati produce risultati migliori rispetto all’utilizzo di un unico modello onniinclusivo, e che c’è ancora tanta strada da fare per le piccole realtà linguistiche.

Quello che abbiamo appreso, probabilmente, aprirà a nuove feature su VoiceLink in un futuro prossimo. Non perdere le novità in cantiere; iscriviti alla newsletter di Mabiloft (la trovi nel footer) per restare aggiornato, o scarica VoiceLink per i prossimi aggiornamenti.