WOKIE: マルチリンガルなデジタル・ヒューマニティーズのためのLLM支援SKOSシソーラス翻訳

1. 序論と動機

デジタル・ヒューマニティーズ（DH）における知識組織化は、主にSimple Knowledge Organization System（SKOS）を用いてモデル化された統制語彙、シソーラス、オントロジーに大きく依存しています。これらのリソースにおいて英語が支配的であることは大きな障壁となっており、非ネイティブスピーカーを排除し、多様な文化と言語を十分に表現できていません。多言語シソーラスは包括的な研究インフラにとって極めて重要ですが、その手動作成はスケーラブルではありません。従来の機械翻訳（MT）手法は、分野固有の二言語コーパスが不足しているため、DHの文脈では失敗します。本論文では、WOKIE（Well-translated Options for Knowledge Management in International Environments）を紹介します。これは、外部翻訳サービスと大規模言語モデル（LLM）を用いた対象的な精緻化を組み合わせ、品質、スケーラビリティ、コストのバランスを取りながらSKOSシソーラスの翻訳を自動化する、オープンソースのモジュール式パイプラインです。

2. WOKIEパイプライン：アーキテクチャとワークフロー

WOKIEは、MTやLLMに関する事前の専門知識を必要としない、設定可能な多段階パイプラインとして設計されています。日常的なハードウェア上で動作し、無料の翻訳サービスを利用することができます。

2.1 コアコンポーネント

パイプラインは以下の3つの主要段階で構成されます：

初期翻訳： SKOSシソーラスが解析され、そのラベル（prefLabel、altLabel）が、複数の設定可能な外部翻訳サービス（例：Google翻訳、DeepL API）に送信されます。
候補集約と不一致検出： 各用語の翻訳が収集されます。重要な革新点は、サービス間の「不一致」の検出です。設定可能な閾値（例：N個のサービスからの翻訳が類似度スコアを超えて異なる場合）が満たされると、精緻化段階がトリガーされます。
LLMベースの精緻化： 初期翻訳が不一致となった用語について、候補翻訳と元の用語が、最適な翻訳とその理由を求めるように注意深く作成されたプロンプトと共にLLM（例：GPT-4、Llama 3）に送られます。

2.2 LLMベースの精緻化ロジック

LLMの選択的使用は、WOKIE設計の核心です。すべての用語をLLMで翻訳する（コスト高、低速、潜在的幻覚発生）代わりに、LLMは困難なケースの仲裁役としてのみ展開されます。このハイブリッドアプローチは、単純な翻訳には標準MT APIの速度と低コストを活用し、合意が得られない用語に対してのみLLMの計算能力を確保することで、品質とリソース消費のトレードオフを最適化します。

3. 技術詳細と方法論

WOKIEはPythonで実装されており、SKOS解析にはRDFLibなどのライブラリを活用しています。システムの有効性は、そのインテリジェントなルーティングメカニズムにかかっています。

3.1 翻訳品質評価指標

翻訳品質を評価するために、著者らは自動化指標と専門家による人的評価を組み合わせて採用しました。自動スコアリングには、MT研究で一般的に使用されるBLEU（Bilingual Evaluation Understudy）スコアを適用しましたが、短い専門用語句に対するその限界にも言及しています。中核的な評価は、LogMapやAMLなどの標準的なOMシステムを用いた、オントロジーマッチング（OM）性能の向上に焦点を当てました。仮説は、より高品質な翻訳がより良いアライメントスコアにつながるというものでした。翻訳後のシソーラス$T$に対する性能向上$G$は、以下のように定式化できます：

$G(T) = \frac{Score_{matched}(T_{translated}) - Score_{matched}(T_{original})}{Score_{matched}(T_{original})}$

ここで、$Score_{matched}$はオントロジーマッチングシステムからのF値です。

4. 実験結果と評価

評価は、15言語にわたる複数のDHシソーラスを対象とし、異なるパラメータ、翻訳サービス、LLMをテストしました。

主要実験統計

評価対象シソーラス： 複数（例：Getty AAT、GND）
言語： 15言語（ドイツ語、フランス語、スペイン語、中国語、アラビア語など）
テストしたLLM： GPT-4、GPT-3.5-Turbo、Llama 3 70B
ベースラインサービス： Google翻訳、DeepL API

4.1 言語間における翻訳品質

人的評価によると、WOKIEパイプライン（外部MT + LLM精緻化）は、単独の外部翻訳サービスのみを使用する場合よりも一貫して優れた性能を示しました。品質向上が特に顕著だったのは以下の場合です：

低リソース言語： 標準APIがしばしば失敗する場合。
分野固有の専門用語： 文化的・歴史的ニュアンスを持つ用語（例：「fresco secco」、「codex」）。一般的なMTは文字通りの不正確な翻訳を提供します。

チャート説明（想定）： 4つの条件（Google翻訳単独、DeepL単独、GPT-3.5精緻化を用いたWOKIE、GPT-4精緻化を用いたWOKIE）におけるBLEUスコア（または人的評価スコア）を比較する棒グラフ。WOKIE構成の棒は特に英語-アラビア語や英語-中国語などの言語ペアで顕著に高くなっています。

4.2 オントロジーマッチング性能の向上

主要な定量的結果です。非英語シソーラスをWOKIEで処理して英語ラベルを追加した後、オントロジーマッチングシステム（LogMap、AML）のF値スコアは大幅に増加しました—平均22-35%（言語とシソーラスの複雑さに依存）。これはパイプラインの核心的実用性を証明しています：英語中心のOMツールに対して非英語リソースを発見可能にすることで、意味的相互運用性を直接向上させます。

チャート説明（想定）： y軸にオントロジーマッチングのF値、x軸に異なる翻訳方法をとった折れ線グラフ。線は「翻訳なし」で低く始まり、「単一MTサービス」でわずかに上昇し、「WOKIEパイプライン」で急激にピークに達します。

4.3 性能とコスト分析

LLMを不一致となった用語（通常は全体の10-25%）に対してのみ選択的に使用することで、WOKIEは、素朴な全LLM翻訳アプローチと比較してLLM APIコストを75-90%削減しつつ、品質向上の約95%を維持しました。処理時間はLLM呼び出しに支配されましたが、全体のパイプラインは標準ハードウェア上で中規模シソーラスに対して実行可能な範囲に収まりました。

5. 分析フレームワーク：非コード事例研究

シナリオ： 欧州のデジタルライブラリが、中世美術技法に関するドイツ語シソーラスを所蔵しています。日本の研究者は、彼らのオントロジーマッチングツールが英語ラベルのみを処理するため、関連リソースを見つけることができません。

WOKIEの適用：

入力： ドイツ語用語「Wandmalerei」（壁画）。
段階1（外部MT）： Google翻訳は「wall painting」を返す。DeepLは「mural painting」を返す。Microsoft Translatorは「wall painting」を返す。不一致が発生（「mural」対「wall」）。
段階2（不一致検出）： 候補間の類似度が閾値を下回る。LLM精緻化がトリガーされる。
段階3（LLM精緻化）： プロンプト：「ドイツ語の美術史用語『Wandmalerei』と候補英語翻訳['wall painting', 'mural painting']が与えられたとき、美術史におけるSKOSシソーラスにとって最も正確で文脈的に適切な用語はどちらですか？分野における特異性と一般的な使用法を考慮してください。」
LLM出力： 「Getty AATのような美術史シソーラスの文脈では、『mural painting』が『Wandmalerei』のより正確で一般的に使用される記述子です。なぜなら、それは壁や天井に直接塗装された絵画を特に指すからです。」
結果： SKOS概念はprefLabelとして「mural painting」を取得し、英語オントロジーとの正確なマッチングを可能にします。

6. 将来の応用と研究の方向性

翻訳を超えて： WOKIEを拡張し、ターゲット言語における新規関連概念やaltLabelを提案するシソーラス拡張ツールとして機能させる。
基盤モデルとの統合： 視覚言語モデル（CLIPなど）を活用し、テキストだけでなく、デジタルコレクション内の関連画像に基づいて概念を翻訳する。
アクティブラーニングループ： 人間のフィードバックをループ内に組み込み、LLM出力を修正し、パイプラインの分野固有性能を継続的に改善する。
評価の標準化： BLEUを超え、階層的・関係的保存を捉える指標へと移行する、SKOS/シソーラス翻訳品質評価のための専用ベンチマークスイートを開発する。
より広範な知識組織システム（KOS）： ハイブリッドMT+LLM精緻化の原理を、SKOSを超えたより複雑なオントロジー（OWL）に適用する。

7. 参考文献

Kraus, F., Blumenröhr, N., Tonne, D., & Streit, A. (2025). Mind the Language Gap in Digital Humanities: LLM-Aided Translation of SKOS Thesauri. arXiv preprint arXiv:2507.19537.
Miles, A., & Bechhofer, S. (2009). SKOS Simple Knowledge Organization System Reference. W3C Recommendation. https://www.w3.org/TR/skos-reference/
Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
Carroll, J. J., & Stickler, P. (2004). RDF Triples in the Semantic Web. IEEE Internet Computing.
Getty Research Institute. (2024). Art & Architecture Thesaurus (AAT). https://www.getty.edu/research/tools/vocabularies/aat/
Papineni, K., et al. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL).

8. 専門家分析：核心的洞察、論理的流れ、長所と欠点、実践的示唆

核心的洞察： WOKIEは単なる別の翻訳ツールではありません。それは、分断された文化遺産データの世界に対する、実用的でコスト意識の高い相互運用性エンジンです。その真の革新は、ニッチな分野において完璧なAI翻訳は愚かな試みであることを認識し、代わりにLLMを鈍器ではなく高精度のメスとして使用することにあります。本論文はDHにおける根本的問題を正しく特定しています：英語はリンクトデータの事実上のクエリ言語であり、膨大な非英語知識の貯蔵庫を静かに排除しています。WOKIEの目標は詩的な翻訳ではなく、発見可能性を可能にすることであり、これははるかに達成可能で影響力のある目標です。

論理的流れ： 議論は説得力があり、構造が優れています。否定できない問題点（DHにおける言語的排除）から始まり、明白な解決策（手作業は不可能、従来のMTはデータ不足で失敗）を論破し、LLMを可能性はあるが欠陥のある救世主（コスト、幻覚）として位置づけます。そして、優雅なハイブリッドモデルを導入します：80%の簡単なケースには安価で高速なAPIを使用し、高価で賢いLLMは論争の的となる20%の仲裁役としてのみ展開します。この「不一致検出」がプロジェクトの巧妙な核心です。評価は、翻訳品質を改善されたオントロジーマッチングスコアという具体的で測定可能な結果に論理的に結びつけ、主観的な翻訳品質を超えた実世界での有用性を証明しています。

長所と欠点：
長所： ハイブリッドアーキテクチャは商業的に賢明で技術的に健全です。W3C標準であるSKOSに焦点を当てることで、即時の関連性を確保しています。オープンソースの性質と「日常的なハードウェア」向けの設計は、採用障壁を劇的に低下させます。OM性能での評価は名案です—美しさだけでなく有用性を測定します。
欠点： 本論文は、LLM精緻化の成否を分ける要因であるプロンプトエンジニアリングを軽視しています。悪いプロンプトはLLM層を無用または有害にする可能性があります。評価は理にかなっていますが、やや閉鎖的です。WOKIEは、DHテキストでNLLBのような小さなオープンソースモデルをファインチューニングする方法と比較してどうでしょうか？ LLM APIの長期的なコスト動向は、持続可能性に対する完全には対処されていないリスク要因です。

実践的示唆：

DH機関向け： 主要な非英語シソーラス1つで直ちにWOKIEをパイロット実施してください。改善されたリソース発見性とEuropeanaやDPLAのような主要ハブとの連携における投資収益率（ROI）は大きくなる可能性があります。検証には無料ティアサービスから始めてください。
開発者向け： WOKIEコードベースに貢献してください。特に、異なるDHサブ分野（考古学、音楽学など）向けに最適化され分野調整されたプロンプトのライブラリを作成することに貢献してください。
資金提供者向け： BLEUスコアを超えて分野を前進させるための、ゴールドスタンダードの多言語DH用語ベンチマークの作成に資金を提供してください。WOKIEの出力をアクティブラーニングシステムに統合するプロジェクトを支援してください。
重要な次のステップ： コミュニティは、これらの機械翻訳ラベルのためのガバナンスモデルを開発しなければなりません。研究データアライアンス（RDA）のようなイニシアチブが提唱するデータプロヴェナンスの原則に従い、学術的誠実性を維持するために、それらは明確に「機械支援」としてタグ付けされるべきです。

結論として、WOKIEは、実際にワークフローを変えるような、実用的でユースケース駆動型のAIアプリケーションの一種を代表しています。それはAGIを追い求めず、新旧の技術を巧妙にブレンドして、特定の痛みを伴う問題を解決します。その成功はBLEUポイントではなく、以前は見えなかった歴史的記録が、突然グローバルな研究者にとって発見可能になる数によって測られるでしょう。