WOKIE: Çok Dilli Dijital Beşeri Bilimler için SKOS Terim Sözlüklerinin Büyük Dil Modelleri Destekli Çevirisi

1. Giriş ve Motivasyon

Dijital Beşeri Bilimler'de (DBB) bilgi organizasyonu, ağırlıklı olarak Basit Bilgi Organizasyon Sistemi (SKOS) kullanılarak modellenen kontrollü sözcük dağarcıklarına, terim sözlüklerine ve ontolojilere dayanır. Bu kaynaklarda İngilizcenin baskın olması, anadili İngilizce olmayanları dışlamakta ve çeşitli kültürlerin ve dillerin temsilini azaltmakta önemli bir engel oluşturmaktadır. Çok dilli terim sözlükleri, kapsayıcı araştırma altyapıları için çok önemlidir, ancak bunların manuel oluşturulması ölçeklenebilir değildir. Klasik Makine Çevirisi (MÇ) yöntemleri, alana özgü iki dilli derlemlerin eksikliği nedeniyle DBB bağlamlarında başarısız olmaktadır. Bu makale, SKOS terim sözlüklerinin otomatik çevirisini gerçekleştirmek için harici çeviri hizmetlerini Büyük Dil Modelleri (BDM'ler) kullanılarak hedeflenen iyileştirme ile birleştiren, kalite, ölçeklenebilirlik ve maliyet arasında denge kuran açık kaynaklı, modüler bir iş akışı olan WOKIE'yi (Uluslararası Ortamlarda Bilgi Yönetimi için İyi Çevrilmiş Seçenekler) tanıtmaktadır.

2. WOKIE İş Akışı: Mimari ve Çalışma Süreci

WOKIE, MÇ veya BDM'ler konusunda önceden uzmanlık gerektirmeyen, yapılandırılabilir, çok aşamalı bir iş akışı olarak tasarlanmıştır. Günlük donanım üzerinde çalışır ve ücretsiz çeviri hizmetlerini kullanabilir.

2.1 Temel Bileşenler

İş akışı üç ana aşamadan oluşur:

İlk Çeviri: Bir SKOS terim sözlüğü ayrıştırılır ve etiketleri (tercihEdilenEtiket, alternatifEtiket) yapılandırılabilir birden fazla harici çeviri hizmetine (örn. Google Çeviri, DeepL API) gönderilir.
Aday Toplama ve Anlaşmazlık Tespiti: Her terim için çeviriler toplanır. Önemli bir yenilik, hizmetler arasındaki "anlaşmazlığın" tespit edilmesidir. Yapılandırılabilir bir eşik (örn., N hizmetten gelen çeviriler bir benzerlik puanının ötesinde farklıysa) iyileştirme aşamasını tetikler.
Büyük Dil Modeli Tabanlı İyileştirme: İlk çevirilerin anlaşmazlığa düştüğü terimler için, aday çeviriler ve orijinal terim, mümkün olan en iyi çeviriyi ve gerekçesini isteyen özenle hazırlanmış bir komutla bir BDM'ye (örn. GPT-4, Llama 3) beslenir.

2.2 Büyük Dil Modeli Tabanlı İyileştirme Mantığı

BDM'lerin seçici kullanımı, WOKIE tasarımının merkezinde yer alır. Her terimi bir BDM ile çevirmek (maliyetli, yavaş, potansiyel olarak halüsinasyonlu) yerine, BDM'ler yalnızca zor durumlar için hakem olarak konuşlandırılır. Bu hibrit yaklaşım, basit çeviriler için standart MÇ API'lerinin hızını ve düşük maliyetini kullanırken, fikir birliğinin olmadığı terimler için BDM hesaplama gücünü saklı tutarak kalite ve kaynak harcaması arasındaki dengeyi optimize eder.

3. Teknik Detaylar ve Metodoloji

WOKIE, SKOS ayrıştırması için RDFLib gibi kütüphanelerden yararlanarak Python'da uygulanmıştır. Sistemin etkinliği, akıllı yönlendirme mekanizmasına bağlıdır.

3.1 Çeviri Kalitesi Değerlendirme Metriği

Çeviri kalitesini değerlendirmek için yazarlar, otomatik metrikler ve uzman insan değerlendirmesinin bir kombinasyonunu kullandılar. Otomatik puanlama için, MÇ araştırmalarında yaygın olarak kullanılan BLEU (İki Dilli Değerlendirme Stajyeri) puanını uyarladılar, ancak kısa, terminolojik ifadeler için sınırlamalarını not ettiler. Temel değerlendirme, LogMap ve AML gibi standart OM sistemleri kullanılarak Ontoloji Eşleştirme (OM) performansındaki iyileşmeye odaklandı. Hipotez, daha yüksek kaliteli çevirilerin daha iyi hizalama puanlarına yol açacağı yönündeydi. Bir terim sözlüğü $T$ için çeviri sonrası performans kazancı $G$ şu şekilde formüle edilebilir:

$G(T) = \frac{Score_{matched}(T_{translated}) - Score_{matched}(T_{original})}{Score_{matched}(T_{original})}$

Burada $Score_{matched}$, ontoloji eşleştirme sisteminden gelen F-ölçüsüdür.

4. Deneysel Sonuçlar ve Değerlendirme

Değerlendirme, 15 dildeki çeşitli DBB terim sözlüklerini kapsadı ve farklı parametreleri, çeviri hizmetlerini ve BDM'leri test etti.

Anahtar Deneysel İstatistikler

Değerlendirilen Terim Sözlükleri: Birden fazla (örn., Getty AAT, GND)
Diller: Almanca, Fransızca, İspanyolca, Çince, Arapça dahil 15 dil
Test Edilen BDM'ler: GPT-4, GPT-3.5-Turbo, Llama 3 70B
Karşılaştırma Hizmetleri: Google Çeviri, DeepL API

4.1 Diller Arasında Çeviri Kalitesi

İnsan değerlendirmesi, WOKIE iş akışının (harici MÇ + BDM iyileştirmesi) tek başına herhangi bir harici çeviri hizmeti kullanmaktan sürekli olarak daha iyi performans gösterdiğini ortaya koydu. Kalite iyileştirmesi en belirgin şekilde şu durumlarda görüldü:

Az kaynaklı diller: Standart API'lerin sıklıkla başarısız olduğu durumlar.
Alana özgü terminoloji: Kültürel veya tarihsel nüans içeren terimler (örn., "fresco secco," "codex") için genel MÇ'nin kelimesi kelimesine ancak yanlış çeviriler sağladığı durumlar.

Grafik Açıklaması (Tasarlanmış): Dört koşul arasında BLEU puanlarını (veya insan değerlendirme puanlarını) karşılaştıran bir çubuk grafik: Yalnızca Google Çeviri, yalnızca DeepL, GPT-3.5 iyileştirmeli WOKIE ve GPT-4 iyileştirmeli WOKIE. WOKIE yapılandırmaları için çubuklar, özellikle İngilizce-Arapça veya İngilizce-Çince gibi dil çiftleri için önemli ölçüde daha yüksektir.

4.2 Ontoloji Eşleştirme Performansı İyileştirmesi

Birincil nicel sonuç. İngilizce olmayan terim sözlükleri İngilizce etiketler eklemek için WOKIE üzerinden işlendikten sonra, ontoloji eşleştirme sistemlerinin (LogMap, AML) F-ölçüsü puanları önemli ölçüde arttı—dil ve terim sözlüğü karmaşıklığına bağlı olarak ortalama %22-35. Bu, iş akışının temel faydasını kanıtlamaktadır: İngilizce merkezli OM araçları için İngilizce olmayan kaynakları keşfedilebilir hale getirerek anlamsal birlikte çalışabilirliği doğrudan geliştirir.

Grafik Açıklaması (Tasarlanmış): Y ekseninde ontoloji eşleştirmenin F-ölçüsünü, x ekseninde farklı çeviri yöntemlerini gösteren bir çizgi grafiği. Çizgi, "Çeviri Yok" için düşük başlar, "Tek MÇ Hizmeti" için hafifçe yükselir ve "WOKIE İş Akışı" için keskin bir şekilde zirve yapar.

4.3 Performans ve Maliyet Analizi

BDM'leri seçici bir şekilde yalnızca anlaşmazlığa düşen terimler (genellikle toplamın %10-25'i) için kullanarak, WOKIE, saf tam-BDM çeviri yaklaşımına kıyasla BDM API maliyetlerini %75-90 oranında azaltırken, kalite faydasının yaklaşık %95'ini korudu. İşlem süresi BDM çağrılarına bağlıydı, ancak genel iş akışı orta ölçekli terim sözlükleri için standart donanımda uygulanabilir kaldı.

5. Analiz Çerçevesi: Kod İçermeyen Bir Vaka Çalışması

Senaryo: Bir Avrupa dijital kütüphanesi, ortaçağ sanat teknikleri için Almanca bir terim sözlüğüne sahiptir. Japonya'daki araştırmacılar, ontoloji eşleştirme araçları yalnızca İngilizce etiketleri işlediği için ilgili kaynakları bulamaz.

WOKIE Uygulaması:

Girdi: Almanca terim "Wandmalerei" (duvar resmi).
Aşama 1 (Harici MÇ): Google Çeviri "wall painting" döndürür. DeepL "mural painting" döndürür. Microsoft Translator "wall painting" döndürür. Bir anlaşmazlık vardır ("mural" vs. "wall").
Aşama 2 (Anlaşmazlık Tespiti): Adaylar arasındaki benzerlik eşiğin altındadır. BDM iyileştirmesi tetiklenir.
Aşama 3 (BDM İyileştirmesi): Komut: "Almanca sanat tarihi terimi 'Wandmalerei' ve aday İngilizce çevirileri ['wall painting', 'mural painting'] göz önüne alındığında, sanat tarihinde bir SKOS terim sözlüğü için en doğru ve bağlamsal olarak uygun terim hangisidir? Alandaki özgüllüğü ve yaygın kullanımı göz önünde bulundurun."
BDM Çıktısı: "Getty AAT gibi sanat tarihi terim sözlükleri bağlamında, 'mural painting', 'Wandmalerei' için daha kesin ve yaygın olarak kullanılan tanımlayıcıdır, çünkü özellikle doğrudan bir duvara veya tavana uygulanan resmi ifade eder."
Sonuç: SKOS kavramı, tercihEdilenEtiket olarak "mural painting" alır ve İngilizce ontolojilerle doğru eşleştirmeyi sağlar.

6. Gelecekteki Uygulamalar ve Araştırma Yönleri

Çevirinin Ötesinde: WOKIE'yi, hedef dilde yeni ilgili kavramlar veya alternatifEtiketler önermek için genişleterek, bir terim sözlüğü genişletme aracı olarak kullanmak.
Temel Modellerle Entegrasyon: Görüntü-dil modellerini (CLIP gibi) kullanarak kavramları yalnızca metne değil, dijital koleksiyonlardaki ilişkili görsellere dayanarak çevirmek.
Aktif Öğrenme Döngüsü: BDM çıktılarını düzeltmek için insan-döngü içi geri bildirimi dahil ederek, iş akışının alana özgü performansını sürekli iyileştirmek.
Değerlendirmenin Standardizasyonu: SKOS/terim sözlüğü çeviri kalitesini değerlendirmek için BLEU'nun ötesine geçerek hiyerarşik ve ilişkisel korumayı yakalayan metriklerle özel bir kıyaslama paketi geliştirmek.
Daha Geniş Bilgi Organizasyon Sistemleri (KOS): Hibrit MÇ+BDM iyileştirme prensibini SKOS'un ötesinde daha karmaşık ontolojilere (OWL) uygulamak.

7. Kaynaklar

Kraus, F., Blumenröhr, N., Tonne, D., & Streit, A. (2025). Dijital Beşeri Bilimlerde Dil Açığını Kapatın: SKOS Terim Sözlüklerinin BDM Destekli Çevirisi. arXiv preprint arXiv:2507.19537.
Miles, A., & Bechhofer, S. (2009). SKOS Basit Bilgi Organizasyon Sistemi Referansı. W3C Tavsiyesi. https://www.w3.org/TR/skos-reference/
Vaswani, A., et al. (2017). Dikkat Tek İhtiyacınız Olan Şeydir. Advances in Neural Information Processing Systems 30 (NIPS 2017).
Carroll, J. J., & Stickler, P. (2004). Anlamsal Ağ'da RDF Üçlüleri. IEEE Internet Computing.
Getty Araştırma Enstitüsü. (2024). Sanat ve Mimarlık Terim Sözlüğü (AAT). https://www.getty.edu/research/tools/vocabularies/aat/
Papineni, K., et al. (2002). BLEU: Makine Çevirisinin Otomatik Değerlendirilmesi için Bir Yöntem. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL).

8. Uzman Analizi: Temel Kavrayış, Mantıksal Akış, Güçlü ve Zayıf Yönler, Uygulanabilir Öngörüler

Temel Kavrayış: WOKIE sadece başka bir çeviri aracı değil; kültürel miras verilerinin bölünmüş dünyası için pragmatik, maliyet bilincine sahip bir birlikte çalışabilirlik motorudur. Gerçek yeniliği, niş alanlar için mükemmel yapay zeka çevirisinin boş bir çaba olduğunu kabul etmesi ve bunun yerine BDM'leri kör bir çekiç yerine yüksek hassasiyetli bir neşter olarak kullanmasıdır. Makale, DBB'deki kök sorunu doğru bir şekilde tespit ediyor: İngilizce, bağlantılı veriler için de facto sorgu dilidir ve bu da geniş İngilizce olmayan bilgi rezervuarlarının sessizce dışlanmasına neden olmaktadır. WOKIE'nin amacı şiirsel çeviri değil, keşfedilebilirliği sağlamaktır; bu çok daha ulaşılabilir ve etkili bir hedeftir.

Mantıksal Akış: Argüman ikna edici ve iyi yapılandırılmıştır. İnkar edilemez bir acı noktasıyla (DBB'de dil dışlanması) başlar, bariz çözümleri yıkar (manuel çalışma imkansızdır, klasik MÇ veri kıtlığı nedeniyle başarısız olur) ve BDM'leri potansiyel ancak kusurlu bir kurtarıcı olarak konumlandırır (maliyet, halüsinasyonlar). Ardından zarif hibrit modeli tanıtır: %80 kolay durum için ucuz, hızlı API'leri kullanın ve pahalı, akıllı BDM'leri yalnızca tartışmalı %20 için hakem olarak konuşlandırın. Bu "anlaşmazlık tespiti" projenin akıllı çekirdeğidir. Değerlendirme, çeviri kalitesini ontoloji eşleştirme puanlarındaki somut, ölçülebilir iyileşmeye mantıksal olarak bağlar, öznel çeviri kalitesinin ötesinde gerçek dünya faydasını kanıtlar.

Güçlü ve Zayıf Yönler:
Güçlü Yönler: Hibrit mimari ticari açıdan akıllıca ve teknik olarak sağlamdır. Bir W3C standardı olan SKOS'a odaklanmak, anında ilgi sağlar. Açık kaynaklı doğası ve "günlük donanım" için tasarımı, benimseme engellerini önemli ölçüde düşürür. OM performansı üzerinde değerlendirme yapmak bir ustalık hamlesidir—faydayı ölçer, sadece estetiği değil.
Zayıf Yönler: Makale, BDM iyileştirmesi için başarıyı belirleyen faktör olan komut mühendisliğini üstünkörü geçiyor. Kötü bir komut, BDM katmanını işe yaramaz veya zararlı hale getirebilir. Değerlendirme mantıklı olsa da, hala biraz izole; WOKIE, NLLB gibi küçük, açık kaynaklı bir modeli DBB metni üzerinde ince ayar yapmaya kıyasla nasıl performans gösteriyor? BDM API'lerinin uzun vadeli maliyet eğilimi, sürdürülebilirlik için tam olarak ele alınmamış bir risk faktörüdür.

Uygulanabilir Öngörüler:

DBB Kurumları İçin: WOKIE'yi hemen bir anahtar İngilizce olmayan terim sözlüğü üzerinde pilot olarak uygulayın. Gelişmiş kaynak keşfi ve Europeana veya DPLA gibi büyük merkezlerle hizalanma konusundaki yatırım getirisi önemli olabilir. Doğrulamak için ücretsiz katman hizmetleriyle başlayın.
Geliştiriciler İçin: Özellikle farklı DBB alt alanları (arkeoloji, müzikoloji vb.) için optimize edilmiş, alana uyarlanmış komutların bir kütüphanesini oluşturarak WOKIE kod tabanına katkıda bulunun.
Fon Sağlayıcılar İçin: Alanı BLEU puanlarının ötesine taşımak için altın standart, çok dilli bir DBB terminoloji kıyaslaması oluşturulmasını finanse edin. WOKIE çıktısını aktif öğrenme sistemlerine entegre eden projeleri destekleyin.
Kritik Bir Sonraki Adım: Topluluk, bu makine çevirili etiketler için bir yönetişim modeli geliştirmelidir. Araştırma Veri İttifakı (RDA) gibi girişimlerin savunduğu veri kökeni ilkelerini izleyerek, bilimsel bütünlüğü korumak için açıkça "makine destekli" olarak etiketlenmelidirler.

Sonuç olarak, WOKIE, iş akışlarını gerçekten değiştirecek türden pragmatik, kullanım durumu odaklı yapay zeka uygulamasını temsil etmektedir. Yapay Genel Zeka'nın peşinden koşmaz; eski ve yeni teknolojinin akıllıca bir karışımıyla belirli, acı verici bir sorunu çözer. Başarısı, BLEU puanlarında değil, daha önce görünmez olan tarihi kayıtların aniden küresel bir araştırmacı tarafından bulunabilir hale geldiği sayıda ölçülecektir.