EuroTermBank Toolkit：連合データベースのためのオープン用語管理

1. 序論

言語は動的であり、新たな用語が生まれ、既存の用語は日々進化したり廃れたりしている。この絶え間ない変化は、翻訳者、コンテンツクリエイター、人工知能（AI）アプリケーションの開発者など、正確で最新の用語に依存する機関にとって重大な課題となっている。個々の組織は、適切な管理システムと標準化された実践の欠如により、自らの用語集を維持することに苦労することが多い。

本稿では、これらの課題に対処するため、EuroTermBank Toolkit (ETBT)を紹介する。これは、連合データベースネットワーク全体で用語リソースの共有と管理を容易にするために設計された、オープンな用語管理ソリューションである。このツールキットにより、組織は自らの用語を管理し、用語集を作成し、それらを社内外で共有することができる。また、管理されたデータは自動的に、欧州最大の多言語用語リソースであるEuroTermBankに寄与する。

2. EuroTermBank Toolkit (ETBT)

ETBTは、標準に基づいたソフトウェアソリューションであり、組織が独自の用語管理ノードを構築することを可能にする。これらのノードは独立して動作するが、より広範なEuroTermBank連合ネットワークと接続し、データを共有するように設計されている。

3. 自然言語処理における応用

高品質な用語は、特に多言語に関わる様々なNLPタスクにとって重要なリソースである。

4. 連合ネットワークとデータ共有

連合アプローチは、ETBT戦略の礎石である。単一の中央集権型データベースの代わりに、相互接続されたノードのネットワークを構築する（PDFの概念図2参照）。機関は独自の用語データベース（連合ノード）をホストし、ネットワークと共有する内容を選択する。共有されたデータは中央のEuroTermBankに集約され、常に最新の膨大なリソースが形成される。このモデルは、データ所有者が管理権を保持しながら共同資産に貢献できるようにすることで、参加を促進する。

5. 主要な洞察と分析

6. 技術詳細と数学的枠組み

PDFは深い数学的形式主義には立ち入っていないが、NMTのようなシステムにおける用語統合の基本原理は、最適化問題として捉えることができる。一般的なアプローチは、モデルの出力分布を、入力に存在するソース用語の既知の等価物であるターゲット言語の用語に向かってバイアスすることである。

例えば、NMTモデルのデコーディングステップ中に、用語制約を適用することができる。ソース文に用語$s_t$が含まれており、それが用語データベース内で既知の翻訳$t_t$を持つ場合、位置$i$におけるターゲット単語に対するモデルの確率分布$P(y_i | y_{

$\log P'(y_i | ...) = \log P(y_i | ...) + \lambda \cdot \mathbb{1}(y_i = t_t)$

ここで、$\mathbb{1}$は指示関数であり、$\lambda$は制約の強さを制御する調整可能なハイパーパラメータである。より洗練された方法には、制約付きビームサーチやソース用語の特殊なタグ付けが含まれる（Dinu et al., 2019; Bergmanis & Pinnis, 2021b）。ETBTからの構造化データは、これらの技術に必要な信頼性の高い$(s_t, t_t)$ペアを提供する。

7. 実験結果と図表の説明

PDFは、用語統合の有効性を実証する先行研究を参照しているが、ETBT自体に関する新たな実験結果は提示していない。用語がMT品質を向上させることを示す研究（Pinnis, 2015）や、ニューラルシステムへの用語統合に関するより最近の研究（Bergmanis and Pinnis, 2021b）を引用している。

図表の説明（PDF図1および図2に基づく）：
図1（EuroTermBank連合ネットワークにリンクされた連合ノード）： これはハブ・アンド・スポーク図を描いている可能性が高い。中央のハブは「EuroTermBank」とラベル付けされている。そこから放射状に複数のノードが伸びており、それぞれが異なる機関（例：「大学A」、「企業B」、「政府機関C」）を表している。各機関ノードから中央ハブへの線が、個々のデータベースが集約リソースに供給する連合ネットワークを視覚的に表現している。
図2（EuroTermBank連合ネットワークの概念図）： これは概念図と説明されており、おそらくデータフローとアーキテクチャを示している。各機関「ノード」内でETBTソフトウェアを使用してローカルな用語管理が行われている様子を示している可能性が高い。矢印は、管理された用語データがこれらのローカルノードから中央のEuroTermBankリポジトリへ流れることを示し、おそらく双方向の矢印は、ユーザーやアプリケーションがローカルおよび中央のリソースの両方を照会できる方法を示している。

8. 分析フレームワーク：事例

シナリオ： 欧州医薬品庁（EMA）は、規制文書において、新規医薬品物質名（INN）のすべてのEU言語間での一貫した翻訳を確保する必要がある。

ETBTフレームワークの適用：

1. ノード設定： EMAはETBTを導入して独自の用語ノードを作成する。
2. 用語管理： EMAの用語専門家が、定義、文脈、24のEU言語での承認済み翻訳とともに、新しいINN用語を入力する。
3. 用語集管理： 彼らは自らのノード内に「医薬品INN」用語集を作成する。
4. 連合共有： EMAは、この用語集がEuroTermBank連合ネットワークと共有されるように設定する。
5. 下流への影響：
   • 社内： EMAの翻訳者と文書作成者は、API/インターフェースを介してローカルノードを使用し、一貫した用語を利用する。
   • 社外： 用語はEuroTermBankに集約される。ポーランドの翻訳会社は、EuroTermBankの公開ポータルを介して、新薬名の公式ポーランド語訳にアクセスできるようになる。
   • AI統合： 医療文書の翻訳に使用されるNMTシステムは、EuroTermBank APIを使用するように設定でき、「Sacubitril」が常に正しく翻訳され、音訳や誤訳されないように制約を適用することができる。

9. 将来の応用と開発方向性

• リアルタイム用語伝播： 連合ノードから消費アプリケーション（例：MTシステム、CATツール）へのほぼ瞬時の更新のためのメカニズムを開発し、バッチ更新からストリーミングモデルへ移行する。
• AI駆動の用語抽出と管理： LLMや教師なし用語抽出ツールをETBTワークフローに統合し、人間の用語専門家がコーパスから新規用語を特定・定義するのを支援し、手作業を軽減する。
• プロヴェナンスと信頼のためのブロックチェーン： 分散型台帳技術を探索し、各用語エントリの起源、編集、承認ステータスを不変的に追跡し、品質とガバナンスのギャップに対処する。これにより、用語データの検証可能な「信頼スコア」を作成できる可能性がある。
• クロスモーダル用語： モデルをテキストを超えて拡張し、音声認識（音響モデル）や画像/動画ラベリング（用語を視覚的概念に接続）のための標準化された用語を管理し、マルチモーダルAIを支援する。
• LLMとの深い統合： 連合用語ネットワークを信頼できる知識ベースとして利用し、大規模言語モデルをグラウンディングし、技術用語の幻覚を防ぎ、専門分野における性能を向上させる。これは、検索拡張生成（RAG）に関する研究と一致する概念である。

10. 参考文献

1. Arcan, M., et al. (2014). Leveraging Terminology Resources for Statistical Machine Translation in the CAT Domain. Proceedings of LREC.
2. Arcan, M., et al. (2017). Statistical Machine Translation for Patent Documents with Terminology Handling. Proceedings of the 14th Conference of the European Association for Machine Translation (EAMT).
3. Bergmanis, T., & Pinnis, M. (2021b). Dynamic Terminology Integration for Adaptive Neural Machine Translation. Findings of the Association for Computational Linguistics: EMNLP 2021.
4. de Gspert, A., et al. (2018). The Tilde MT Platform for Professional Translators. Proceedings of the 15th Conference of the European Association for Machine Translation (EAMT).
5. Dinu, G., et al. (2019). Training Neural Machine Translation to Apply Terminology Constraints. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.
6. Exel, M., et al. (2020). Terminology-Aware Sentence Mining for NMT Domain Adaptation. Proceedings of the 22nd Annual Conference of the European Association for Machine Translation (EAMT).
7. Gornostay, T. (2010). Terminology Management in the European Union. Proceedings of the 14th EURALEX International Congress.
8. Jon, R., et al. (2021). TermEval 2021: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 8th Workshop on Natural Language Processing for Computer Assisted Translation (NLP4CAT).
9. Pinnis, M. (2015). Domain Adaptation for Statistical Machine Translation with Terminology Mining and Term Translation. PhD Thesis, University of Latvia.
10. Vasiljevs, A., & Borzovs, J. (2006). Towards Open and Dynamic Lexical and Terminological Resources. Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC).
11. Vasiljevs, A., et al. (2008). EuroTermBank: Towards Greater Interoperability of Distributed Terminology Resources. Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC).
12. Verplaetse, H., & Lambrechts, J. (2019). Terminology Management in a Modern Translation Workflow. The Journal of Specialised Translation, 31.
13. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). [連合的/循環的学習構造に関する外部参照]
14. Wikimedia Foundation. (2023). Wikidata: Making a free, collaborative, multilingual database of the world's knowledge. https://www.wikidata.org. [協調的データガバナンスに関する外部参照]