Transferencia Multilingüe y Adaptación de Dominio para Lenguas de Recursos Limitados de España: Contribución de HW-TSC al WMT 2024

1. Introducción

Este documento detalla la contribución del Centro de Servicios de Traducción de Huawei (HW-TSC) para la tarea "Traducción a Lenguas de Recursos Limitados de España" del WMT 2024. El equipo participó en tres direcciones de traducción específicas: español a aragonés (es→arg), español a aranés (es→arn) y español a asturiano (es→ast). El desafío central abordado es la Traducción Automática Neuronal (TAN) para lenguas con datos de entrenamiento paralelos severamente limitados, un obstáculo común para hacer que la tecnología de traducción sea inclusiva.

La solución propuesta aprovecha una combinación de estrategias de entrenamiento avanzadas aplicadas a una arquitectura profunda Transformer-big. Estas estrategias incluyen aprendizaje por transferencia multilingüe, abandono regularizado (regularized dropout), generación de datos sintéticos mediante traducción directa e inversa (forward and back translation), reducción de ruido utilizando eliminación de ruido con LaBSE (LaBSE denoising) y consolidación del modelo mediante aprendizaje por conjunción de transducción (transduction ensemble learning). La integración de estas técnicas tuvo como objetivo maximizar la calidad de la traducción a pesar de la escasez de datos, logrando resultados competitivos en la evaluación final.

2. Conjunto de Datos

El entrenamiento se realizó exclusivamente con los datos proporcionados por los organizadores del WMT 2024, garantizando una comparación justa. Los datos abarcan corpus paralelos bilingües y datos monolingües tanto en la lengua fuente (español) como en las lenguas objetivo (de recursos limitados).

3. Descripción General del Sistema de TAN

El sistema se basa en una arquitectura Transformer-big profunda. La innovación no radica en el modelo base, sino en la sofisticada canalización de estrategias de entrenamiento diseñadas para superar las limitaciones de datos:

• Preentrenamiento Multilingüe: Se preentrena un modelo con una mezcla de datos de idiomas relacionados (por ejemplo, otras lenguas romances). Esto permite compartir parámetros (vocabulario, capas del codificador/decodificador), posibilitando la transferencia de conocimiento desde lenguas de mayores recursos a lenguas de menores recursos.
• Abandono Regularizado (Wu et al., 2021): Una técnica de abandono (dropout) avanzada que mejora la generalización del modelo y previene el sobreajuste en conjuntos de datos pequeños aplicando máscaras de abandono consistentes a través de diferentes capas o pasos de entrenamiento.
• Generación de Datos Sintéticos:
  • Traducción Directa (Forward Translation): Traducir datos monolingües de la lengua objetivo de vuelta a la lengua fuente para crear pares fuente-objetivo sintéticos.
  • Traducción Inversa (Back Translation): Traducir datos monolingües de la lengua fuente a la lengua objetivo, una técnica fundamental para el aumento de datos en TAN.
• Eliminación de Ruido con LaBSE (Feng et al., 2020): Utilizar el modelo de Incrustación de Frases BERT Agnostico al Idioma (LaBSE) para filtrar pares de frases ruidosos o de baja calidad de los datos sintéticos, asegurando que solo ejemplos de alta calidad guíen el entrenamiento final.
• Aprendizaje por Conjunción de Transducción (Wang et al., 2020): Un método para combinar las capacidades de varios modelos TAN entrenados individualmente (por ejemplo, entrenados en diferentes mezclas de datos) en un único modelo más potente, en lugar de realizar una conjunción en tiempo de ejecución.

4. Configuración Experimental y Resultados

El artículo afirma que el uso de las estrategias de mejora mencionadas condujo a un resultado competitivo en la evaluación final del WMT 2024. Aunque no se proporcionan puntuaciones específicas de BLEU o chrF++ en el extracto, el resultado valida la eficacia del enfoque multiestrategia para escenarios de recursos limitados. El éxito probablemente se debe a la naturaleza complementaria de las estrategias: el aprendizaje por transferencia proporciona una inicialización sólida, los datos sintéticos expanden el conjunto de datos efectivo, la eliminación de ruido lo limpia, y los métodos de regularización/conjunción estabilizan y mejoran el rendimiento final.

5. Análisis Central e Interpretación Experta

6. Detalles Técnicos y Formulación Matemática

Aunque el extracto del PDF no proporciona fórmulas explícitas, las técnicas centrales se pueden describir formalmente:

Abandono Regularizado (Conceptual): A diferencia del abandono estándar que aplica máscaras aleatorias de forma independiente, el abandono regularizado impone consistencia. Para la salida $h$ de una capa, en lugar de $h_{drop} = h \odot m$ donde $m \sim \text{Bernoulli}(p)$ cambia cada vez, una variante podría usar la misma máscara $m$ para una secuencia de entrada dada a través de múltiples capas o pasos de entrenamiento, forzando al modelo a aprender características más robustas. La función de pérdida durante el entrenamiento incorpora esta consistencia como un regularizador.

Objetivo de Traducción Inversa: Dada una frase monolingüe en la lengua objetivo $y$, un modelo inverso $\theta_{y\rightarrow x}$ genera una frase fuente sintética $\hat{x}$. El par sintético $(\hat{x}, y)$ se usa luego para entrenar el modelo directo $\theta_{x\rightarrow y}$ minimizando la log-verosimilitud negativa: $\mathcal{L}_{BT} = -\sum \log P(y | \hat{x}; \theta_{x\rightarrow y})$.

Filtro de Eliminación de Ruido con LaBSE: Para un par sintético $(\hat{x}, y)$, se calculan sus incrustaciones LaBSE $e_{\hat{x}}, e_{y}$. El par se retiene solo si su similitud coseno supera un umbral $\tau$: $\frac{e_{\hat{x}} \cdot e_{y}}{\|e_{\hat{x}}\|\|e_{y}\|} > \tau$. Esto filtra pares donde la alineación semántica es débil.

7. Resultados y Descripción de Gráficos

El contenido del PDF proporcionado no incluye tablas o gráficos de resultados específicos. Basándose en la descripción, un gráfico de resultados hipotético probablemente mostraría:

• Tipo de Gráfico: Gráfico de barras agrupadas.
• Eje X: Los tres pares de idiomas: es→arg, es→arn, es→ast.
• Eje Y: Puntuaciones de métricas de evaluación automática (por ejemplo, BLEU, chrF++).
• Barras: Múltiples barras por par de idiomas comparando: 1) Una Línea de Base (Transformer-big solo con datos bilingües), 2) +Transferencia Multilingüe, 3) +Datos Sintéticos (BT/FT), 4) +Eliminación de Ruido y Conjunción (Sistema completo HW-TSC).
• Tendencia Esperada: Un aumento significativo en la puntuación desde la línea de base hasta el sistema completo, con la mejora relativa más dramática esperada para el idioma con menos recursos, es→arg, demostrando la efectividad de las técnicas en una escasez extrema de datos.

La conclusión del artículo de que el sistema logró "resultados competitivos" implica que las barras finales para HW-TSC estarían en o cerca de la cima de la tabla de clasificación para cada tarea en la evaluación del WMT 2024.

8. Marco de Análisis: Un Caso de Estudio

Escenario: Una empresa tecnológica quiere construir un sistema de traducción para un nuevo dialecto de recursos limitados, "LangX", con solo 10,000 frases paralelas pero 1 millón de frases monolingües en un idioma de altos recursos relacionado "LangH".

Aplicación del Marco (Inspirada en HW-TSC):

1. Fase 1 - Fundación (Transferencia): Preentrenar un modelo multilingüe con datos disponibles públicamente para LangH y otros idiomas de la misma familia. Inicializar el modelo LangH→LangX con estos pesos.
2. Fase 2 - Escala (Síntesis):
   • Usar el modelo inicial para realizar traducción inversa en 1M de frases monolingües de LangH, creando pares sintéticos (LangH, LangX_sintético).
   • Entrenar un modelo inverso (LangX→LangH) con los 10K pares reales, luego usarlo para traducción directa en datos monolingües de LangX (si están disponibles), creando pares sintéticos (LangH_sintético, LangX).
3. Fase 3 - Refinamiento (Eliminación de Ruido): Combinar todos los pares reales y sintéticos. Usar un modelo de incrustación de frases (por ejemplo, LaBSE) para calcular puntuaciones de similitud para cada par sintético. Filtrar todos los pares por debajo de un umbral de similitud calibrado (por ejemplo, 0.8).
4. Fase 4 - Optimización (Entrenamiento y Conjunción): Entrenar múltiples modelos finales en el conjunto de datos aumentado y limpiado con abandono regularizado. Usar el aprendizaje por conjunción de transducción para combinarlos en un único modelo de producción.

Este enfoque estructurado y por fases reduce el riesgo del proyecto y proporciona hitos claros, reflejando el proceso de I+D industrial evidente en el trabajo de Huawei.

9. Aplicaciones Futuras y Direcciones

Las técnicas demostradas tienen una amplia aplicabilidad más allá de las lenguas específicas de España:

• Preservación Digital: Permitir la traducción y creación de contenido para cientos de lenguas globales en peligro de extinción con datos paralelos mínimos.
• Adaptación de Dominio Empresarial: Adaptar rápidamente modelos de TA generales a jergas altamente especializadas (por ejemplo, legal, médica) donde los datos paralelos del dominio son escasos pero existen manuales/documentos legados monolingües.
• Aprendizaje Multimodal de Recursos Limitados: Los principios de la canalización (transferencia, datos sintéticos, eliminación de ruido) podrían adaptarse para tareas de subtitulado de imágenes o traducción de voz con recursos limitados.

Direcciones Futuras de Investigación:

1. Integración de LLM: La dirección más urgente es integrar esta canalización con LLM de solo decodificador. El trabajo futuro debería comparar el ajuste fino (por ejemplo, Mistral, Llama) con este enfoque de TAN personalizado en términos de calidad, costo y latencia.
2. Programación Dinámica de Datos: En lugar de un filtrado estático, desarrollar estrategias de aprendizaje curricular que programen inteligentemente la introducción de datos reales vs. sintéticos, limpios vs. ruidosos durante el entrenamiento.
3. Eliminación de Ruido Explicable: Ir más allá de los umbrales de similitud coseno hacia métricas más interpretables para la calidad de los datos sintéticos, utilizando potencialmente la confianza del modelo o estimaciones de incertidumbre.
4. Transferencia Cero-Shot: Explorar cómo se desempeñan los modelos entrenados en este conjunto de lenguas españolas en lenguas romances relacionadas no vistas, impulsando hacia una verdadera capacidad cero-shot.

10. Referencias

1. Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.
2. Feng, F., Yang, Y., Cer, D., Ariwazhagan, N., & Wang, W. (2020). Language-agnostic BERT sentence embedding. arXiv preprint arXiv:2007.01852.
3. Koehn, P., et al. (2007). Moses: Open source toolkit for statistical machine translation. ACL.
4. Li, Z., et al. (2022). Pre-training multilingual neural machine translation by leveraging alignment information. Findings of EMNLP.
5. Ruder, S. (2023). Recent Advances in Natural Language Processing. ACL Rolling Review Survey Track.
6. Wang, Y., et al. (2020). Transduction ensemble learning for neural machine translation. AAAI.
7. Wu, Z., et al. (2021). Regularized dropout for neural machine translation. ACL-IJCNLP.
8. Wu, Z., et al. (2023). Synthetic data for neural machine translation: A survey. Computational Linguistics.
9. Zhu, J.Y., Park, T., Isola, P., & Efros, A.A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV.