Kit Alat EuroTermBank: Pengurusan Terminologi Terbuka untuk Pangkalan Data Bersekutu

1. Pengenalan

Bahasa bersifat dinamik, dengan istilah baharu muncul dan istilah sedia ada berkembang atau menjadi lapuk setiap hari. Perubahan berterusan ini menimbulkan cabaran besar bagi institusi yang bergantung pada terminologi yang tepat dan terkini, seperti penterjemah, pencipta kandungan, dan pembangun aplikasi Kecerdasan Buatan (AI). Organisasi individu sering bergelut untuk mengekalkan koleksi istilah mereka kerana kekurangan sistem pengurusan yang betul dan amalan piawai.

Kertas kerja ini menangani cabaran-cabaran ini dengan memperkenalkan Kit Alat EuroTermBank (ETBT), satu penyelesaian pengurusan terminologi terbuka yang direka untuk memudahkan perkongsian dan pengurusan sumber terminologi merentasi rangkaian bersekutu pangkalan data. Kit alat ini membolehkan organisasi mengurus istilah mereka, mencipta koleksi, dan berkongsi kedua-duanya secara dalaman dan luaran, dengan data terurus menyumbang secara automatik kepada EuroTermBank, sumber terminologi pelbagai bahasa terbesar di Eropah.

2. Kit Alat EuroTermBank (ETBT)

ETBT adalah penyelesaian perisian berasaskan piawaian yang membolehkan organisasi menubuhkan nod pengurusan terminologi mereka sendiri. Nod-nod ini boleh beroperasi secara bebas tetapi direka untuk bersambung dan berkongsi data dengan Rangkaian Bersekutu EuroTermBank yang lebih luas.

3. Aplikasi dalam Pemprosesan Bahasa Asli

Terminologi berkualiti tinggi adalah sumber kritikal untuk pelbagai tugas NLP, terutamanya yang melibatkan pelbagai bahasa.

4. Rangkaian Bersekutu & Perkongsian Data

Pendekatan bersekutu adalah asas strategi ETBT. Daripada satu pangkalan data berpusat tunggal, ia mencipta rangkaian nod yang saling bersambung (lihat Rajah konseptual 2 dalam PDF). Institusi mengendalikan pangkalan data terminologi mereka sendiri (nod bersekutu) dan memilih apa yang hendak dikongsi dengan rangkaian. Data yang dikongsi diagregatkan ke dalam EuroTermBank pusat, mencipta sumber yang luas dan sentiasa terkini. Model ini memberi insentif untuk penyertaan dengan membenarkan pemilik data mengekalkan kawalan sambil menyumbang kepada aset komuniti.

5. Wawasan & Analisis Utama

6. Butiran Teknikal & Kerangka Matematik

Walaupun PDF tidak menyelami formalisme matematik yang mendalam, prinsip asas untuk integrasi terminologi dalam sistem seperti NMT boleh dirangka sebagai masalah pengoptimuman. Pendekatan biasa adalah memesongkan taburan output model ke arah istilah bahasa sasaran yang diketahui setara dengan istilah sumber yang hadir dalam input.

Sebagai contoh, semasa langkah penyahkodan model NMT, kekangan terminologi boleh digunakan. Jika ayat sumber mengandungi istilah $s_t$ yang mempunyai terjemahan diketahui $t_t$ dalam pangkalan data terminologi, taburan kebarangkalian model $P(y_i | y_{

$\log P'(y_i | ...) = \log P(y_i | ...) + \lambda \cdot \mathbb{1}(y_i = t_t)$

di mana $\mathbb{1}$ adalah fungsi penunjuk dan $\lambda$ adalah hiperparameter boleh laras yang mengawal kekuatan kekangan. Kaedah yang lebih canggih melibatkan carian rasuk terkekang atau penandaan khusus istilah sumber (Dinu et al., 2019; Bergmanis & Pinnis, 2021b). Data berstruktur daripada ETBT menyediakan pasangan $(s_t, t_t)$ yang boleh dipercayai yang diperlukan untuk teknik-teknik ini.

7. Keputusan Eksperimen & Penerangan Carta

PDF merujuk kerja terdahulu yang menunjukkan keberkesanan integrasi terminologi tetapi tidak membentangkan keputusan eksperimen baharu untuk ETBT itu sendiri. Ia memetik kajian yang menunjukkan terminologi meningkatkan kualiti MT (Pinnis, 2015) dan kerja terkini mengenai integrasi terminologi ke dalam sistem neural (Bergmanis dan Pinnis, 2021b).

Penerangan Carta (Berdasarkan PDF Rajah 1 & 2):
Rajah 1 (Nod bersekutu disambungkan ke Rangkaian Bersekutu EuroTermBank): Ini kemungkinan menggambarkan rajah hab-dan-jari. Hab pusat dilabelkan "EuroTermBank." Memancar daripadanya adalah pelbagai nod, setiap satu mewakili institusi berbeza (contohnya, "Universiti A," "Syarikat B," "Agensi Kerajaan C"). Garisan menyambungkan setiap nod institusi ke hab pusat, mewakili secara visual rangkaian bersekutu di mana pangkalan data individu mengalir ke dalam sumber agregat.
Rajah 2 (Gambaran konseptual Rangkaian Bersekutu EuroTermBank): Ini digambarkan sebagai rajah konseptual, mungkin menggambarkan aliran data dan seni bina. Ia mungkin menunjukkan pengurusan terminologi tempatan berlaku dalam setiap "nod" institusi menggunakan perisian ETBT. Anak panah akan menunjukkan aliran data terminologi terurus daripada nod tempatan ini ke repositori pusat EuroTermBank, dan mungkin anak panah dua hala menunjukkan bagaimana pengguna atau aplikasi boleh membuat pertanyaan kepada sumber tempatan dan pusat.

8. Kerangka Analisis: Contoh Kes

Skenario: Agensi Ubat-ubatan Eropah (EMA) perlu memastikan terjemahan konsisten nama bahan farmaseutikal baharu (INN) merentasi semua bahasa EU dalam dokumen peraturannya.

Aplikasi Kerangka ETBT:

1. Persediaan Nod: EMA melaksanakan ETBT untuk mencipta nod terminologinya sendiri.
2. Kurasi Istilah: Ahli terminologi EMA memasukkan istilah INN baharu dengan definisi, konteks, dan terjemahan diluluskan dalam 24 bahasa EU.
3. Pengurusan Koleksi: Mereka mencipta koleksi "INN Farmaseutikal" dalam nod mereka.
4. Perkongsian Bersekutu: EMA mengkonfigurasi koleksi ini untuk dikongsi dengan Rangkaian Bersekutu EuroTermBank.
5. Impak Hiliran:
   • Dalaman: Penterjemah dan penulis dokumen EMA menggunakan nod tempatan melalui API/antara muka untuk terminologi konsisten.
   • Luar: Istilah-istilah diagregatkan ke dalam EuroTermBank. Sebuah syarikat terjemahan di Poland kini boleh mengakses terjemahan rasmi Poland bagi nama ubat baharu melalui portal awam EuroTermBank.
   • Integrasi AI: Sistem NMT yang digunakan untuk menterjemah dokumen perubatan boleh dikonfigurasi untuk menggunakan API EuroTermBank, menggunakan kekangan untuk memastikan "Sacubitril" sentiasa diterjemahkan dengan betul, bukan ditransliterasi atau salah diterjemahkan.

9. Aplikasi Masa Depan & Hala Tuju Pembangunan

• Penyebaran Terminologi Masa Nyata: Membangunkan mekanisme untuk kemas kini hampir serta-merta daripada nod bersekutu kepada aplikasi pengguna (contohnya, sistem MT, alat CAT), beralih daripada kemas kini kelompok kepada model strim.
• Pengekstrakan & Kurasi Terminologi Berkuasa AI: Mengintegrasikan LLM dan alat pengekstrakan istilah tanpa penyeliaan ke dalam aliran kerja ETBT untuk membantu ahli terminologi manusia mengenal pasti dan mentakrif istilah baharu daripada korpus, mengurangkan usaha manual.
• Blockchain untuk Provenans & Kepercayaan: Meneroka teknologi lejar terpencar untuk menjejaki asal usul, suntingan, dan status kelulusan setiap entri istilah secara kekal, menangani jurang kualiti dan tadbir urus. Ini boleh mencipta "skor kepercayaan" yang boleh disahkan untuk data terminologi.
• Terminologi Rentas Modal: Memperluaskan model melampaui teks untuk mengurus terminologi piawai untuk pengecaman pertuturan (model akustik) dan juga pelabelan imej/video (menyambungkan istilah kepada konsep visual), menyokong AI multimodal.
• Integrasi Mendalam dengan LLM: Menggunakan rangkaian terminologi bersekutu sebagai pangkalan pengetahuan yang boleh dipercayai untuk membumikan Model Bahasa Besar, mencegah halusinasi istilah teknikal dan meningkatkan prestasi mereka dalam domain khusus—konsep yang selari dengan penyelidikan mengenai penjanaan dipertingkatkan pengambilan semula (RAG).

10. Rujukan

1. Arcan, M., et al. (2014). Leveraging Terminology Resources for Statistical Machine Translation in the CAT Domain. Proceedings of LREC.
2. Arcan, M., et al. (2017). Statistical Machine Translation for Patent Documents with Terminology Handling. Proceedings of the 14th Conference of the European Association for Machine Translation (EAMT).
3. Bergmanis, T., & Pinnis, M. (2021b). Dynamic Terminology Integration for Adaptive Neural Machine Translation. Findings of the Association for Computational Linguistics: EMNLP 2021.
4. de Gspert, A., et al. (2018). The Tilde MT Platform for Professional Translators. Proceedings of the 15th Conference of the European Association for Machine Translation (EAMT).
5. Dinu, G., et al. (2019). Training Neural Machine Translation to Apply Terminology Constraints. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.
6. Exel, M., et al. (2020). Terminology-Aware Sentence Mining for NMT Domain Adaptation. Proceedings of the 22nd Annual Conference of the European Association for Machine Translation (EAMT).
7. Gornostay, T. (2010). Terminology Management in the European Union. Proceedings of the 14th EURALEX International Congress.
8. Jon, R., et al. (2021). TermEval 2021: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 8th Workshop on Natural Language Processing for Computer Assisted Translation (NLP4CAT).
9. Pinnis, M. (2015). Domain Adaptation for Statistical Machine Translation with Terminology Mining and Term Translation. PhD Thesis, University of Latvia.
10. Vasiljevs, A., & Borzovs, J. (2006). Towards Open and Dynamic Lexical and Terminological Resources. Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC).
11. Vasiljevs, A., et al. (2008). EuroTermBank: Towards Greater Interoperability of Distributed Terminology Resources. Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC).
12. Verplaetse, H., & Lambrechts, J. (2019). Terminology Management in a Modern Translation Workflow. The Journal of Specialised Translation, 31.
13. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). [Rujukan luaran mengenai struktur pembelajaran bersekutu/berkitar]
14. Wikimedia Foundation. (2023). Wikidata: Making a free, collaborative, multilingual database of the world's knowledge. https://www.wikidata.org. [Rujukan luaran mengenai tadbir urus data kolaboratif]