WOKIE: Terjemahan Bantuan LLM untuk Tesaurus SKOS bagi Kemanusiaan Digital Pelbagai Bahasa

1. Pengenalan dan Motivasi

Penyusunan ilmu dalam Kemanusiaan Digital (KD) sangat bergantung pada perbendaharaan kata terkawal, tesaurus, dan ontologi, yang kebanyakannya dimodelkan menggunakan Sistem Penyusunan Ilmu Mudah (SKOS). Halangan besar wujud kerana dominasi bahasa Inggeris dalam sumber-sumber ini, yang mengecualikan penutur bukan asli dan kurang mewakili pelbagai budaya dan bahasa. Tesaurus pelbagai bahasa adalah penting untuk infrastruktur penyelidikan inklusif, namun penciptaannya secara manual tidak boleh ditingkatkan. Kaedah Terjemahan Mesin (TM) klasik gagal dalam konteks KD kerana kekurangan korpus dwibahasa khusus domain. Kertas kerja ini memperkenalkan WOKIE (Pilihan Terjemahan Baik untuk Pengurusan Ilmu dalam Persekitaran Antarabangsa), saluran modular sumber terbuka yang menggabungkan perkhidmatan terjemahan luar dengan penapisan bertujuan menggunakan Model Bahasa Besar (LLM) untuk mengautomasikan terjemahan tesaurus SKOS, menyeimbangkan kualiti, kebolehskalaan, dan kos.

2. Saluran WOKIE: Seni Bina dan Aliran Kerja

WOKIE direka sebagai saluran pelbagai peringkat yang boleh dikonfigurasi dan tidak memerlukan kepakaran terdahulu dalam TM atau LLM. Ia berjalan pada perkakasan harian dan boleh menggunakan perkhidmatan terjemahan percuma.

2.1 Komponen Teras

Saluran ini terdiri daripada tiga peringkat utama:

Terjemahan Awal: Tesaurus SKOS dihuraikan, dan labelnya (prefLabel, altLabel) dihantar kepada pelbagai perkhidmatan terjemahan luar yang boleh dikonfigurasi (cth., Google Translate, API DeepL).
Pengagregatan Calon & Pengesanan Percanggahan: Terjemahan bagi setiap istilah dikumpulkan. Satu inovasi utama ialah pengesanan "percanggahan" antara perkhidmatan. Ambang yang boleh dikonfigurasi (cth., jika terjemahan daripada N perkhidmatan berbeza melebihi skor kesamaan) mencetuskan peringkat penapisan.
Penapisan Berasaskan LLM: Untuk istilah di mana terjemahan awal bercanggah, calon terjemahan dan istilah asal dimasukkan ke dalam LLM (cth., GPT-4, Llama 3) dengan arahan yang dirangka teliti meminta terjemahan terbaik dan justifikasi.

2.2 Logik Penapisan Berasaskan LLM

Penggunaan selektif LLM adalah teras kepada reka bentuk WOKIE. Daripada menterjemah setiap istilah dengan LLM (mahal, perlahan, berpotensi berhalusinasi), LLM hanya digunakan sebagai penimbang tara untuk kes-kes sukar. Pendekatan hibrid ini memanfaatkan kelajuan dan kos rendah API TM standard untuk terjemahan mudah, menyimpan kuasa pengiraan LLM untuk istilah di mana tiada konsensus, seterusnya mengoptimumkan pertukaran antara kualiti dan perbelanjaan sumber.

3. Butiran Teknikal dan Metodologi

WOKIE dilaksanakan dalam Python, memanfaatkan pustaka seperti RDFLib untuk penghuraian SKOS. Keberkesanan sistem bergantung pada mekanisme penghalaan pintarnya.

3.1 Metrik Penilaian Kualiti Terjemahan

Untuk menilai kualiti terjemahan, penulis menggunakan gabungan metrik automatik dan penilaian manusia pakar. Untuk pemarkahan automatik, mereka menyesuaikan skor BLEU (Penilaian Dwibahasa Bawah Pengawasan), yang biasa digunakan dalam penyelidikan TM, tetapi menyatakan batasannya untuk frasa terminologi pendek. Penilaian teras memberi tumpuan kepada peningkatan prestasi Pemadanan Ontologi (OM), menggunakan sistem OM standard seperti LogMap dan AML. Hipotesisnya ialah terjemahan berkualiti lebih tinggi akan membawa kepada skor penjajaran yang lebih baik. Peningkatan prestasi $G$ untuk tesaurus $T$ selepas terjemahan boleh dirumuskan sebagai:

$G(T) = \frac{Score_{matched}(T_{translated}) - Score_{matched}(T_{original})}{Score_{matched}(T_{original})}$

di mana $Score_{matched}$ ialah ukuran-F daripada sistem pemadanan ontologi.

4. Keputusan Eksperimen dan Penilaian

Penilaian merangkumi beberapa tesaurus KD merentasi 15 bahasa, menguji parameter, perkhidmatan terjemahan, dan LLM yang berbeza.

Statistik Eksperimen Utama

Tesaurus Dinilai: Pelbagai (cth., Getty AAT, GND)
Bahasa: 15, termasuk Jerman, Perancis, Sepanyol, Cina, Arab
LLM Diuji: GPT-4, GPT-3.5-Turbo, Llama 3 70B
Perkhidmatan Asas: Google Translate, API DeepL

4.1 Kualiti Terjemahan Merentasi Bahasa

Penilaian manusia menunjukkan bahawa saluran WOKIE (TM luar + penapisan LLM) secara konsisten mengatasi penggunaan mana-mana perkhidmatan terjemahan luar tunggal sahaja. Peningkatan kualiti paling ketara untuk:

Bahasa sumber rendah: Di mana API standard sering gagal.
Terminologi khusus domain: Istilah dengan nuansa budaya atau sejarah (cth., "fresco secco," "codex") di mana TM generik memberikan terjemahan literal tetapi tidak tepat.

Penerangan Carta (Bayangan): Carta bar membandingkan skor BLEU (atau skor penilaian manusia) merentasi empat keadaan: Google Translate sahaja, DeepL sahaja, WOKIE dengan penapisan GPT-3.5, dan WOKIE dengan penapisan GPT-4. Bar untuk konfigurasi WOKIE jauh lebih tinggi, terutamanya untuk pasangan bahasa seperti Inggeris-ke-Arab atau Inggeris-ke-Cina.

4.2 Peningkatan Prestasi Pemadanan Ontologi

Keputusan kuantitatif utama. Selepas memproses tesaurus bukan Inggeris melalui WOKIE untuk menambah label Inggeris, skor ukuran-F sistem pemadanan ontologi (LogMap, AML) meningkat dengan ketara—secara purata 22-35% bergantung pada bahasa dan kerumitan tesaurus. Ini membuktikan utiliti teras saluran: ia secara langsung meningkatkan kebolehoperasian semantik dengan menjadikan sumber bukan Inggeris boleh ditemui oleh alat OM berpusatkan Inggeris.

Penerangan Carta (Bayangan): Graf garis menunjukkan ukuran-F pemadanan ontologi pada paksi-y berbanding kaedah terjemahan berbeza pada paksi-x. Garis bermula rendah untuk "Tiada Terjemahan," naik sedikit untuk "Perkhidmatan TM Tunggal," dan memuncak tajam untuk "Saluran WOKIE."

4.3 Analisis Prestasi dan Kos

Dengan menggunakan LLM secara selektif hanya untuk istilah yang diperselisihkan (biasanya 10-25% daripada jumlah), WOKIE mengurangkan kos API LLM sebanyak 75-90% berbanding pendekatan terjemahan penuh-LLM yang naif, sambil mengekalkan ~95% manfaat kualiti. Masa pemprosesan didominasi oleh panggilan LLM, tetapi keseluruhan saluran tetap boleh dilaksanakan untuk tesaurus bersaiz sederhana pada perkakasan standard.

5. Kerangka Analisis: Kajian Kes Bukan Kod

Senario: Sebuah perpustakaan digital Eropah memiliki tesaurus bahasa Jerman untuk teknik seni zaman pertengahan. Penyelidik di Jepun tidak dapat mencari sumber berkaitan kerana alat pemadanan ontologi mereka hanya memproses label Inggeris.

Aplikasi WOKIE:

Input: Istilah Jerman "Wandmalerei" (lukisan dinding).
Peringkat 1 (TM Luar): Google Translate mengembalikan "wall painting." DeepL mengembalikan "mural painting." Microsoft Translator mengembalikan "wall painting." Terdapat percanggahan ("mural" lwn "wall").
Peringkat 2 (Pengesanan Percanggahan): Kesamaan antara calon adalah di bawah ambang. Penapisan LLM dicetuskan.
Peringkat 3 (Penapisan LLM): Arahan: "Diberikan istilah sejarah seni Jerman 'Wandmalerei' dan calon terjemahan Inggeris ['wall painting', 'mural painting'], yang manakah istilah yang paling tepat dan sesuai secara kontekstual untuk tesaurus SKOS dalam sejarah seni? Pertimbangkan kekhususan dan penggunaan biasa dalam bidang."
Output LLM: "Dalam konteks tesaurus sejarah seni seperti Getty AAT, 'mural painting' adalah deskriptor yang lebih tepat dan biasa digunakan untuk 'Wandmalerei,' kerana ia secara khusus menandakan lukisan yang digunakan terus pada dinding atau siling."
Keputusan: Konsep SKOS mendapat prefLabel "mural painting," membolehkan pemadanan tepat dengan ontologi bahasa Inggeris.

6. Aplikasi Masa Depan dan Hala Tuju Penyelidikan

Melampaui Terjemahan: Memperluas WOKIE untuk mencadangkan konsep baru berkaitan atau altLabel dalam bahasa sasaran, bertindak sebagai alat penambahan tesaurus.
Integrasi dengan Model Asas: Memanfaatkan model bahasa-penglihatan (seperti CLIP) untuk menterjemah konsep berdasarkan imej berkaitan dalam koleksi digital, bukan hanya teks.
Gelung Pembelajaran Aktif: Menggabungkan maklum balas manusia-dalam-gelung untuk membetulkan output LLM, secara berterusan meningkatkan prestasi khusus domain saluran.
Pemiawaian Penilaian: Membangunkan suite penanda aras khusus untuk menilai kualiti terjemahan SKOS/tesaurus, melangkaui BLEU kepada metrik yang menangkap pemeliharaan hierarki dan hubungan.
Sistem Penyusunan Ilmu (KOS) Lebih Luas: Menggunakan prinsip penapisan hibrid TM+LLM kepada ontologi lebih kompleks (OWL) di luar SKOS.

7. Rujukan

Kraus, F., Blumenröhr, N., Tonne, D., & Streit, A. (2025). Mind the Language Gap in Digital Humanities: LLM-Aided Translation of SKOS Thesauri. arXiv preprint arXiv:2507.19537.
Miles, A., & Bechhofer, S. (2009). SKOS Simple Knowledge Organization System Reference. W3C Recommendation. https://www.w3.org/TR/skos-reference/
Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30 (NIPS 2017).
Carroll, J. J., & Stickler, P. (2004). RDF Triples in the Semantic Web. IEEE Internet Computing.
Getty Research Institute. (2024). Art & Architecture Thesaurus (AAT). https://www.getty.edu/research/tools/vocabularies/aat/
Papineni, K., et al. (2002). BLEU: a Method for Automatic Evaluation of Machine Translation. Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL).

8. Analisis Pakar: Inti Teras, Aliran Logik, Kekuatan & Kelemahan, Pandangan Boleh Tindak

Inti Teras: WOKIE bukan sekadar alat terjemahan lain; ia adalah enjin kebolehoperasian pragmatik dan peka kos untuk dunia data warisan budaya yang terpisah-pisah. Inovasi sebenarnya ialah mengenali bahawa terjemahan AI sempurna adalah usaha sia-sia untuk domain khusus, dan sebaliknya, ia menggunakan LLM sebagai pisau bedah berketepatan tinggi dan bukannya tukul tumpul. Kertas kerja ini betul mengenal pasti masalah akar dalam KD: Bahasa Inggeris adalah bahasa pertanyaan de facto untuk data berkait, mewujudkan pengecualian senyap terhadap takungan ilmu bukan Inggeris yang luas. Matlamat WOKIE bukan terjemahan puitis tetapi membolehkan penemuan, sasaran yang jauh lebih boleh dicapai dan memberi impak.

Aliran Logik: Hujahnya menarik dan tersusun baik. Ia bermula dengan titik kesakitan yang tidak dapat dinafikan (pengecualian bahasa dalam KD), meruntuhkan penyelesaian jelas (kerja manual mustahil, TM klasik gagal kerana kekurangan data), dan meletakkan LLM sebagai penyelamat berpotensi tetapi cacat (kos, halusinasi). Kemudian, ia memperkenalkan model hibrid elegan: gunakan API murah, pantas untuk 80% kes mudah, dan gunakan LLM mahal, pintar hanya sebagai penimbang tara untuk 20% kes yang diperselisihkan. "Pengesanan percanggahan" ini adalah inti bijak projek. Penilaian secara logik mengikat kualiti terjemahan kepada hasil konkrit, boleh diukur iaitu peningkatan skor pemadanan ontologi, membuktikan utiliti dunia sebenar di luar kualiti terjemahan subjektif.

Kekuatan & Kelemahan:
Kekuatan: Seni bina hibrid adalah bijak secara komersial dan kukuh secara teknikal. Fokus pada SKOS, piawaian W3C, memastikan relevan segera. Sifat sumber terbuka dan reka bentuk untuk "perkakasan harian" menurunkan halangan penggunaan secara dramatik. Penilaian pada prestasi OM adalah langkah bijak—ia mengukur utiliti, bukan hanya estetik.
Kelemahan: Kertas kerja ini mengabaikan kejuruteraan arahan, yang merupakan faktor penentu untuk penapisan LLM. Arahan buruk boleh menjadikan lapisan LLM tidak berguna atau berbahaya. Penilaian, walaupun masuk akal, masih agak terpencil; bagaimana WOKIE dibandingkan dengan menala halus model sumber terbuka kecil seperti NLLB pada teks KD? Trajektori kos jangka panjang API LLM adalah faktor risiko untuk kelestarian yang tidak dibincangkan sepenuhnya.

Pandangan Boleh Tindak:

Untuk Institusi KD: Uji WOKIE segera pada satu tesaurus bukan Inggeris utama. Pulangan pelaburan dalam penemuan sumber diperbaiki dan penjajaran dengan hab utama seperti Europeana atau DPLA mungkin ketara. Mulakan dengan perkhidmatan peringkat percuma untuk mengesahkan.
Untuk Pembangun: Sumbang kepada kod asas WOKIE, terutamanya dalam mencipta pustaka arahan optimum, ditala domain untuk sub-bidang KD berbeza (arkeologi, muzikologi, dll.).
Untuk Pemberi Dana: Danai penciptaan penanda aras terminologi KD pelbagai bahasa standard emas untuk memajukan bidang di luar skor BLEU. Sokong projek yang mengintegrasikan output WOKIE ke dalam sistem pembelajaran aktif.
Langkah Seterus Kritikal: Komuniti mesti membangunkan model tadbir urus untuk label terjemahan mesin ini. Ia harus ditanda jelas sebagai "ditambah baik mesin" untuk mengekalkan integriti ilmiah, mengikut prinsip asal usul data yang diperjuangkan oleh inisiatif seperti Research Data Alliance (RDA).

Kesimpulannya, WOKIE mewakili jenis aplikasi AI pragmatik, didorong kes penggunaan yang sebenarnya akan mengubah aliran kerja. Ia tidak mengejar AGI; ia menyelesaikan masalah khusus, menyakitkan dengan gabungan bijak teknologi lama dan baru. Kejayaannya akan diukur bukan dalam mata BLEU, tetapi dalam bilangan rekod sejarah yang sebelum ini tidak kelihatan yang tiba-tiba menjadi boleh ditemui oleh penyelidik global.