1. 簡介
本文件詳述華為翻譯服務中心（HW-TSC）為 WMT 2024「翻譯至西班牙低資源語言」任務所提交的系統。團隊參與了三個具體的翻譯方向：西班牙語至亞拉岡語（es→arg）、西班牙語至阿蘭語（es→arn）以及西班牙語至阿斯圖里亞斯語（es→ast）。所解決的核心挑戰是針對平行訓練資料極度有限的語言進行神經機器翻譯（NMT），這是讓翻譯技術更具包容性時常見的障礙。
提出的解決方案結合了多種先進的訓練策略，應用於一個深層的 Transformer-big 架構。這些策略包括跨語言遷移學習、正則化丟棄法、透過前向與反向翻譯生成合成資料、使用LaBSE 去噪進行降噪，以及透過轉導式集成學習進行模型整合。這些技術的整合旨在最大化翻譯品質，儘管資料稀缺，仍在最終評估中取得了具有競爭力的結果。
2. 資料集
訓練完全使用 WMT 2024 主辦方提供的資料進行，以確保公平比較。資料涵蓋雙語平行語料庫，以及來源語言（西班牙語）和目標語言（低資源語言）的單語資料。
資料統計
三個語言對可用的資料規模差異極大，凸顯了「低資源」的特性，尤其是對亞拉岡語而言。
2.1 資料規模
下表（根據 PDF 重建）總結了每個語言對可用的資料。所有數字單位為百萬（M）句對或句子。
| 語言對 | 雙語資料 | 來源語（es）單語 | 目標語單語 |
|---|---|---|---|
| es → arg | 0.06M | 0.4M | 0.26M |
| es → arn | 2.04M | 8M | 6M |
| es → ast | 13.36M | 8M | 3M |
關鍵洞察：雙語資料的極端差異（亞拉岡語僅 0.06M，而阿斯圖里亞斯語有 13.36M）使得強大的遷移與資料增強技術成為必要。相對較大的單語語料庫成為生成合成平行資料的關鍵資產。
3. NMT 系統概述
系統建基於深層 Transformer-big 架構。創新之處不在於基礎模型，而在於為克服資料限制而設計的複雜訓練策略流程：
- 跨語言預訓練：模型在相關語言資料（例如其他羅曼語族語言）的混合上進行預訓練。這使得參數（詞彙、編碼器/解碼器層）得以共享，實現從高資源語言到低資源語言的知識遷移。
- 正則化丟棄法（Wu 等人，2021）：一種進階的丟棄法技術，透過在不同層或訓練步驟中應用一致的丟棄遮罩，來提升模型泛化能力並防止在小資料集上過度擬合。
- 合成資料生成：
- 前向翻譯：將目標語言的單語資料翻譯回來源語言，以創建合成的來源-目標句對。
- 反向翻譯：將來源語言的單語資料翻譯成目標語言，這是 NMT 資料增強的基石技術。
- LaBSE 去噪（Feng 等人，2020）：使用語言無關的 BERT 句子嵌入模型來過濾合成資料中的噪聲或低品質句對，確保只有高品質的樣本指導最終訓練。
- 轉導式集成學習（Wang 等人，2020）：一種將多個獨立訓練的 NMT 模型（例如，在不同資料混合上訓練的模型）的能力整合到單一、更強大模型中的方法，而非進行運行時集成。
4. 實驗設定與結果
論文指出，使用上述增強策略在最終的 WMT 2024 評估中取得了具有競爭力的結果。雖然摘要中未提供具體的 BLEU 或 chrF++ 分數，但結果驗證了多策略方法在低資源情境下的有效性。成功可能源於這些策略的互補性：遷移學習提供了強健的初始化，合成資料擴展了有效資料集，去噪技術清理了資料，而正則化/集成方法則穩定並提升了最終效能。
5. 核心分析與專家解讀
核心洞察
華為的參賽系統是務實工程勝過理論新穎性的典範。在 WMT 這個高風險競技場中，他們部署了一套精心策劃、成熟且強大的技術組合，而非押注於單一未經測試的突破。這並非發明新模型，而是透過分層防禦系統性地瓦解資料稀缺問題：遷移學習提供基礎知識，合成資料擴展規模，去噪進行品質控制，集成方法實現巔峰效能。這提醒我們，在應用人工智慧領域，穩健的流程往往勝過脆弱的演算法。
邏輯流程
方法論遵循一個連貫、可投入生產的邏輯。它從最合理的槓桿點開始——跨語言遷移——利用西班牙地區語言之間的語言親緣關係。這類似於在針對特定風格進行微調之前，先對模型進行一般攝影的預訓練，這個原則已由 CycleGAN（Zhu 等人，2017）等模型驗證，它們使用共享生成器進行領域適應。接著，他們透過前向/反向翻譯大量擴增資料來解決核心的稀缺問題，這是來自統計機器翻譯和神經機器翻譯時代的成熟策略。關鍵在於，他們並未全盤接受這些合成資料；LaBSE 去噪步驟是一個關鍵的品質關卡，過濾掉可能降低模型效能的噪聲——這是從早期反向翻譯工作的缺陷中學到的教訓。最後，他們透過集成學習來鞏固成果，確保了穩健性。
優勢與缺陷
優勢：該方法全面且風險低。每個組件都針對低資源 NMT 的一個已知弱點。使用 LaBSE 進行去噪尤其明智，它利用現代句子嵌入模型來執行實際的資料清理任務。專注於標準的 Transformer-big 架構確保了可重現性和穩定性。
缺陷：顯而易見的缺陷是完全缺乏大型語言模型（LLM）的整合。論文提到 LLM 是一種趨勢，但並未使用它們。在 2024 年，未嘗試針對這些任務微調一個多語言 LLM（如 BLOOM 或 Llama）是一個重大的策略性疏漏。正如 ACL 的綜述（Ruder, 2023）所指出的，LLM 憑藉其龐大的參數知識和上下文學習能力，已為低資源翻譯設定了新的基準。此外，論文缺乏消融研究。我們不知道哪種策略（去噪 vs. 集成 vs. 遷移）對效能提升貢獻最大，使其成為一個黑箱解決方案。
可行洞察
對於實務工作者：複製此流程，但注入 LLM。使用多語言 LLM 作為遷移學習的基礎，取代或補充自訂的多語言 NMT 模型。探索參數高效微調方法，如 LoRA，以高效地適應 LLM。去噪和集成步驟仍然極具價值。對於研究人員：該領域需要更清晰的基準，來比較低資源設定下合成資料流程與 LLM 微調的成本/效益。華為的工作是前者的強力基準；下一篇論文應嚴格地將其與後者進行比較。
6. 技術細節與數學公式
雖然 PDF 摘要未提供明確公式，但核心技術可以形式化描述如下：
正則化丟棄法（概念性）：與標準丟棄法獨立應用隨機遮罩不同，正則化丟棄法強制一致性。對於某層的輸出 $h$，不是使用 $h_{drop} = h \odot m$（其中 $m \sim \text{Bernoulli}(p)$ 每次變化），變體可能對給定的輸入序列在多個層或訓練步驟中使用相同的遮罩 $m$，迫使模型學習更穩健的特徵。訓練期間的損失函數將這種一致性作為正則項納入。
反向翻譯目標：給定目標語言中的一個單語句子 $y$，一個反向模型 $\theta_{y\rightarrow x}$ 生成一個合成的來源句子 $\hat{x}$。然後使用合成句對 $(\hat{x}, y)$ 來訓練前向模型 $\theta_{x\rightarrow y}$，透過最小化負對數概似：$\mathcal{L}_{BT} = -\sum \log P(y | \hat{x}; \theta_{x\rightarrow y})$。
LaBSE 去噪過濾器：對於一個合成句對 $(\hat{x}, y)$，計算它們的 LaBSE 嵌入 $e_{\hat{x}}, e_{y}$。僅當它們的餘弦相似度超過閾值 $\tau$ 時才保留該句對：$\frac{e_{\hat{x}} \cdot e_{y}}{\|e_{\hat{x}}\|\|e_{y}\|} > \tau$。這過濾掉了語義對齊薄弱的句對。
7. 結果與圖表說明
提供的 PDF 內容未包含具體的結果表格或圖表。根據描述，假設的結果圖表可能顯示：
- 圖表類型：分組長條圖。
- X 軸：三個語言對：es→arg, es→arn, es→ast。
- Y 軸：自動評估指標分數（例如 BLEU, chrF++）。
- 長條：每個語言對有多個長條，比較：1) 基準線（僅使用雙語資料的 Transformer-big），2) +跨語言遷移，3) +合成資料（反向/前向翻譯），4) +去噪與集成（完整的 HW-TSC 系統）。
- 預期趨勢：從基準線到完整系統，分數顯著增加，預計在資源最低的語言 es→arg 上會有最顯著的相對提升，證明這些技術在極端資料稀缺情況下的有效性。
論文結論稱系統取得了「具有競爭力的結果」，這意味著在 WMT 2024 評估中，HW-TSC 的最終長條分數在每個任務的排行榜上將處於或接近頂端。
8. 分析框架：個案研究
情境：一家科技公司想為一種新的低資源方言「LangX」建立翻譯系統，該方言僅有 10,000 句平行句子，但在相關的高資源語言「LangH」中有 100 萬句單語句子。
框架應用（靈感來自 HW-TSC）：
- 第一階段 - 基礎（遷移）：在 LangH 及同語系其他語言的公開可用資料上預訓練一個多語言模型。使用這些權重初始化 LangH→LangX 模型。
- 第二階段 - 擴展（合成）：
- 使用初始模型對 100 萬句 LangH 單語句子進行反向翻譯，創建合成的（LangH, 合成_LangX）句對。
- 在 10K 真實句對上訓練一個反向（LangX→LangH）模型，然後用它對 LangX 單語資料（如果可用）進行前向翻譯，創建合成的（合成_LangH, LangX）句對。
- 第三階段 - 精煉（去噪）：合併所有真實與合成句對。使用句子嵌入模型（例如 LaBSE）計算每個合成句對的相似度分數。過濾掉所有低於校準相似度閾值（例如 0.8）的句對。
- 第四階段 - 最佳化（訓練與集成）：在清理後的擴增資料集上，使用正則化丟棄法訓練多個最終模型。使用轉導式集成學習將它們組合成單一生產模型。
這種結構化、分階段的方法降低了專案風險，並提供了清晰的里程碑，反映了華為工作中體現的工業研發流程。
9. 未來應用與方向
所展示的技術具有廣泛的適用性，超越了西班牙的特定語言：
- 數位保存：為數百種僅有極少平行資料的瀕危全球語言實現翻譯和內容創作。
- 企業領域適應：快速將通用機器翻譯模型適應到高度專業化的術語領域（例如法律、醫學），這些領域的領域內平行資料稀缺，但存在單語手冊/舊有文件。
- 多模態低資源學習：該流程的原則——遷移、合成資料、去噪——可適用於低資源的圖像描述或語音翻譯任務。
未來研究方向：
- LLM 整合：最迫切的方向是將此流程與僅解碼器 LLM 整合。未來的工作應比較微調（例如 Mistral, Llama）與這種定製 NMT 方法在品質、成本和延遲方面的差異。
- 動態資料排程：取代靜態過濾，開發課程學習策略，在訓練期間智慧地排程引入真實與合成、乾淨與噪聲資料。
- 可解釋的去噪：超越餘弦相似度閾值，使用更可解釋的指標來衡量合成資料品質，可能利用模型信心或不確定性估計。
- 零樣本遷移：探索在此套西班牙語言上訓練的模型，在未見過但相關的羅曼語族語言上的表現，推動真正的零樣本能力。
10. 參考文獻
- Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.
- Feng, F., Yang, Y., Cer, D., Ariwazhagan, N., & Wang, W. (2020). Language-agnostic BERT sentence embedding. arXiv preprint arXiv:2007.01852.
- Koehn, P., et al. (2007). Moses: Open source toolkit for statistical machine translation. ACL.
- Li, Z., et al. (2022). Pre-training multilingual neural machine translation by leveraging alignment information. Findings of EMNLP.
- Ruder, S. (2023). Recent Advances in Natural Language Processing. ACL Rolling Review Survey Track.
- Wang, Y., et al. (2020). Transduction ensemble learning for neural machine translation. AAAI.
- Wu, Z., et al. (2021). Regularized dropout for neural machine translation. ACL-IJCNLP.
- Wu, Z., et al. (2023). Synthetic data for neural machine translation: A survey. Computational Linguistics.
- Zhu, J.Y., Park, T., Isola, P., & Efros, A.A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV.