In un post di alcune ore fa sul blog dedicato agli sviluppatori, Facebook ha presentato la sua neural machine translation, una nuova modalità di produzione delle traduzioni sul social network.
"Dare alle persone il potere di costruire community e rendere il mondo più vicino insieme"
La nuova missione di Facebook inizia a produrre i suoi primi effetti anche sui servizi messi a disposizione dal social network. Tra questi la traduzione automatica dei post, una feature che può aiutare le persone a connettersi con chi vive all'estero, comprendendone meglio la lingua.
Da una tecnica statistica alla rete neurale: la neural machine translation di Facebook
Ti è mai capitato di leggere il post di un amico che si trova all'estero e vederlo già nella sua versione tradotta nella tua lingua? Bene, da qualche tempo Facebook ha iniziato a offrire una traduzione automatica di messaggi e commenti, con lo scopo di rompere le barriere linguistiche e superare quello che qualcuno ha chiamato "effetto babele".
Creare traduzioni accurate per gli oltre 2 miliardi di persone nel mondo che oggi utilizzano Facebook, cioè, significa permettere a persone lontanissime tra loro di comunicare.
Tra le difficoltà di cui tenere conto in un processo di traduzione, però, vanno annoverati:
- contesto
- slang
- errori di battitura
- utilizzo delle abbreviazioni
- intenzioni nella comunicazione
Non un procedimento alla portata di un semplice algoritmo, insomma.
Per migliorare la qualità delle sue traduzioni, Facebook è recentemente passato da una tecnica statistica basata sulle frasi di uso comune, ad un sistema basato su reti neurali, che consente traduzioni più accurate, producendo circa 4,5 miliardi di traduzioni ogni giorno.
L'esperienza utente è migliorata e le persone hanno iniziato a poter fruire con più semplicità anche i post scritti in altre lingue.
La tecnica statistica basata sull'uso comune, utilizzata in precedenza da Facebook, aveva degli evidenti limiti. Bastava leggere qualche frase in traduzione e poi nella sua versione originale, per rendersi conto degli errori, soprattutto di contesto, che venivano prodotti, alterando evidentemente il messaggio reale.
Le frasi venivano infatti suddivise in singoli sintagmi prima di essere tradotte, producendo traduzioni alterate.
Nella costruzione di una rete neurale per le traduzioni, invece, Facebook ha iniziato a lavorare sulla sequenza LSTM (lunga memoria a breve termine), vale a dire una rete che può tenere conto del contesto della frase di origine, ma anche delle traduzioni già prodotte, per creare traduzioni più fluide.
Grazie al nuovo sistema l'accuratezza della traduzione automatica è aumentata dell'11%, secondo la metrica BLEU, utilizzata proprio per la valutazione delle traduzioni.
Nel caso, poi, di parole sconosciute o di frasi senza un diretto corrispondente nel vocabolario di destinazione, un sistema neurale genera una sorta di parola segnaposto per la parola sconosciuta, fino a trovare un corrispondente corretto nella lingua di destinazione, attraverso il confronto con altre lingue in cui la parola invece è già stata tradotta, in una sorta di catena di traduzioni di lingua in lingua.
Un esempio? La traduzione dell'abbreviazione inglese/americana "tmrw" (tomorrow) in spagnolo, passando attraverso le varie traduzioni troverà il suo corrispettivo "mañana", portando a ulteriori miglioramenti nel vocabolario di base di Facebook.
Tuttavia, per non appesantire troppo il calcolo della rete neurale, con un numero eccessivo di termini, la neural machine translation calcola anche la probabilità di distribuzione nel vocabolario di destinazione, riducendo i tempi di risposta, senza compromettere la qualità della traduzione.
Facebook e la sfida della traduzione
Le reti neurali aprono molti percorsi di sviluppo futuri connessi all'aggiunta di ulteriori contesti, ad esempio una foto che accompagna il testo di un post, per creare traduzioni migliori.
Completare questo miglioramento linguistico per Facebook resta un passaggio fondamentale nella sfida verso la creazione di una grande community globale. Una sfida che passa anche attraverso i suggerimenti che Facebook oggi richiede sulle traduzioni, sui feedback e sulle possibilità di intervenire sulle proprie impostazioni di lingua per utente.
L'obiettivo finale? Produrre traduzioni sempre più rispondenti al linguaggio umano, per tutti, sul social network più utilizzato nel mondo.
