Kaedah Pencarian Memori Terjemahan: Algoritma, Penilaian, dan Hala Tuju Masa Depan

1. Pengenalan

Sistem Memori Terjemahan (TM) merupakan asas penting alat Bantuan Terjemahan Berkomputer (CAT) moden, yang digunakan secara meluas oleh penterjemah profesional. Komponen kritikal sistem ini ialah algoritma padanan kabur—mekanisme yang mengambil segmen terjemahan terdahulu yang paling berguna daripada pangkalan data (Bank TM atau TMB) untuk membantu tugasan terjemahan baharu. Walaupun sistem komersial sering menyimpan algoritma khusus mereka sebagai hak milik, persetujuan akademik dan industri menunjukkan kaedah berasaskan jarak suntingan sebagai piawaian de facto. Kertas kerja ini menyiasat andaian ini, menilai pelbagai algoritma padanan terhadap pertimbangan manusia tentang kebolehgunaan, dan mencadangkan algoritma baharu berasaskan ketepatan n-gram berwajaran yang mengatasi kaedah tradisional.

2. Latar Belakang & Kerja Berkaitan

Konsep asas teknologi TM muncul pada akhir 1970-an dan awal 1980-an. Penerimaan meluasnya sejak akhir 1990-an telah mengukuhkan peranannya dalam aliran kerja terjemahan profesional. Keberkesanan sistem TM bukan sahaja bergantung pada kualiti dan relevansi terjemahan yang disimpan, tetapi yang lebih penting, pada algoritma yang mengambilnya.

2.1. Peranan Memori Terjemahan

Sistem TM berfungsi dengan menyimpan pasangan terjemahan sumber-sasaran. Apabila penterjemah bekerja pada ayat baharu ("sumber"), sistem tersebut membuat pertanyaan kepada TMB untuk ayat sumber terdahulu yang serupa dan mempersembahkan terjemahan sepadan mereka sebagai cadangan. Metrik persamaan yang digunakan secara langsung menentukan kualiti bantuan yang diberikan.

2.2. Sistem TM Komersial & Kerahsiaan Algoritma

Seperti yang dinyatakan oleh Koehn dan Senellart (2010) serta Simard dan Fujita (2012), algoritma pencarian tepat yang digunakan dalam sistem TM komersial (cth., SDL Trados, memoQ) biasanya tidak didedahkan. Ini mewujudkan jurang antara amalan industri dan penyelidikan akademik.

2.3. Andaian Jarak Suntingan

Walaupun terdapat kerahsiaan, literatur secara konsisten mencadangkan bahawa jarak suntingan (jarak Levenshtein) adalah algoritma teras dalam kebanyakan sistem komersial. Jarak suntingan mengukur bilangan minimum suntingan aksara tunggal (sisipan, penghapusan, penggantian) yang diperlukan untuk menukar satu rentetan kepada yang lain. Walaupun intuitif, korelasinya dengan persepsi penterjemah tentang "kebolehgunaan" belum disahkan secara ketat terhadap pertimbangan manusia sebelum kerja ini.

3. Metodologi & Algoritma Dinilai

Kajian ini menilai beberapa algoritma padanan kabur, bermula dari garis asas mudah ke piawaian industri yang dihipotesiskan dan akhirnya ke cadangan baharu.

3.1. Algoritma Garis Asas

Garis asas mudah termasuk padanan rentetan tepat dan metrik pertindihan berasaskan token (cth., persamaan Jaccard pada token perkataan). Ini berfungsi sebagai penanda aras prestasi batas bawah.

3.2. Jarak Suntingan (Levenshtein)

Algoritma yang dipercayai digunakan secara komersial. Diberikan dua rentetan $S$ (sumber) dan $T$ (calon), jarak Levenshtein $lev_{S,T}(|S|, |T|)$ dikira secara dinamik. Skor persamaan sering diperoleh sebagai: $sim = 1 - \frac{lev_{S,T}(|S|, |T|)}{\max(|S|, |T|)}$.

3.3. Ketepatan N-gram Berwajaran yang Dicadangkan

Sumbangan utama kertas kerja ini adalah algoritma baharu yang diilhamkan oleh metrik penilaian terjemahan mesin seperti BLEU, tetapi disesuaikan untuk tugas pencarian TM. Ia mengira ketepatan berwajaran bagi n-gram yang sepadan (jujukan bersebelahan n perkataan) antara ayat sumber baharu dan ayat sumber calon dalam TMB. Pemberat boleh diselaraskan untuk mencerminkan keutamaan penterjemah untuk panjang padanan, memberikan pemberat lebih tinggi kepada padanan bersebelahan yang lebih panjang, yang selalunya lebih berguna daripada padanan pendek yang berselerak.

3.4. Penilaian Manusia melalui Crowdsourcing

Kekuatan metodologi kritikal ialah penggunaan pertimbangan manusia sebagai piawaian emas. Menggunakan Amazon Mechanical Turk, penilai manusia diberikan ayat sumber baharu dan beberapa terjemahan calon yang diambil oleh algoritma berbeza. Mereka menilai calon mana yang "paling berguna" untuk menterjemah ayat sumber baharu itu. Ini secara langsung mengukur utiliti praktikal setiap algoritma, mengelakkan bias penilaian bulatan yang dinyatakan oleh Simard dan Fujita (2012) apabila menggunakan metrik MT untuk kedua-dua pencarian dan penilaian.

4. Butiran Teknikal & Formulasi Matematik

Skor Ketepatan N-gram Berwajaran (WNP) yang dicadangkan untuk terjemahan calon $C$ diberikan sumber baharu $S$ dan sumber calon $S_c$ daripada TDB dirumuskan seperti berikut:

Biarkan $G_n(S)$ menjadi set semua n-gram dalam ayat $S$. Ketepatan n-gram $P_n$ ialah:

$P_n = \frac{\sum_{g \in G_n(S) \cap G_n(S_c)} w(g)}{\sum_{g \in G_n(S_c)} w(g)}$

Di mana $w(g)$ ialah fungsi pemberat. Skema yang mudah tetapi berkesan ialah pemberat berasaskan panjang: $w(g) = |g|^\alpha$, di mana $|g|$ ialah panjang n-gram (n) dan $\alpha$ ialah parameter boleh ditala ($\alpha > 0$) yang mengawal keutamaan untuk padanan yang lebih panjang. Skor WNP akhir ialah min geometri berwajaran ketepatan merentas peringkat n-gram yang berbeza (cth., unigram, bigram, trigram), serupa dengan BLEU tetapi dengan pemberat boleh disesuaikan $w(g)$.

Ini berbeza dengan jarak suntingan, yang beroperasi pada peringkat aksara dan tidak secara semula jadi mengutamakan unit bermakna linguistik seperti frasa pelbagai perkataan.

5. Keputusan Eksperimen & Analisis

Eksperimen dijalankan merentas pelbagai domain (cth., teknikal, undang-undang) dan pasangan bahasa untuk memastikan keteguhan.

5.1. Korelasi dengan Pertimbangan Manusia

Keputusan utama ialah algoritma Ketepatan N-gram Berwajaran (WNP) yang dicadangkan secara konsisten menunjukkan korelasi lebih tinggi dengan pertimbangan manusia tentang "kebolehgunaan" berbanding algoritma jarak suntingan piawai. Penemuan ini mencabar anggapan keunggulan jarak suntingan untuk tugas khusus ini. Garis asas, seperti yang dijangkakan, menunjukkan prestasi lebih teruk.

5.2. Prestasi Merentas Domain & Pasangan Bahasa

Keunggulan algoritma WNP dikekalkan merentas domain teks yang berbeza dan untuk pasangan bahasa yang berbeza. Ini mencadangkan keteguhan dan kebolehgunaan umumnya, tidak terikat kepada jenis teks atau struktur bahasa tertentu.

Penerangan Carta (Bayangan): Satu carta bar akan menunjukkan peratusan masa cadangan teratas setiap algoritma dipilih sebagai "paling berguna" oleh penilai manusia. Bar untuk "Ketepatan N-gram Berwajaran" akan jauh lebih tinggi daripada bar untuk "Jarak Suntingan" merentas beberapa bar berkumpulan yang mewakili domain berbeza (Teknikal, Perubatan, Berita).

6. Kerangka Analisis: Kajian Kes

Senario: Menterjemah ayat sumber baharu "Configure the advanced security settings for the network protocol."

Calon TMB 1 (Sumber): "Configure the security settings for the application."
Calon TMB 2 (Sumber): "The advanced network protocol settings are crucial."

• Jarak Suntingan: Mungkin sedikit memihak kepada Calon 1 kerana kurang suntingan aksara (menukar "application" kepada "network protocol").
• Ketepatan N-gram Berwajaran (dengan keutamaan panjang): Akan sangat memihak kepada Calon 2. Ia berkongsi frasa utama yang lebih panjang "advanced network protocol settings" (4-gram), yang merupakan unit teknikal yang tepat. Menggunakan semula frasa tepat ini sangat berharga kepada penterjemah, walaupun struktur ayat selebihnya berbeza lebih banyak.

Kajian kes ini menggambarkan bagaimana WNP lebih baik menangkap sifat "berkelompok" padanan memori terjemahan yang berguna—penterjemah sering menggunakan semula frasa nama teknikal secara verbatim.

7. Inti Pati & Perspektif Penganalisis

Inti Pati: Industri terjemahan telah mengoptimumkan untuk metrik yang salah. Selama beberapa dekad, teras rahsia sistem TM komersial kemungkinan besar adalah jarak suntingan peringkat aksara, alat yang lebih sesuai untuk semakan ejaan daripada penggunaan semula semantik. Kerja Bloodgood dan Strauss mendedahkan ketidakselarasan ini, membuktikan bahawa yang penting bagi penterjemah ialah koherensi fraseologi, bukan suntingan aksara minimum. Algoritma ketepatan n-gram berwajaran mereka bukan sekadar penambahbaikan tambahan; ia adalah penyelarasan semula asas ke arah menangkap kelompok linguistik yang bermakna, menyelaraskan logik pencarian mesin dengan proses kognitif penterjemah manusia dalam memanfaatkan serpihan boleh guna semula.

Aliran Logik: Logik kertas kerja ini menarik secara mudah: 1) Akui kebergantungan industri pada kotak hitam jarak suntingan. 2) Hipotesiskan bahawa fokus peringkat aksaranya mungkin tidak sepadan dengan utiliti manusia. 3) Cadangkan alternatif berpusatkan perkataan/frasa (WNP). 4) Yang penting, mengelak perangkap penilaian sumbang menggunakan metrik MT dengan membumikan kebenaran dalam keutamaan manusia crowdsourced. Langkah terakhir ini adalah langkah bijak—ia mengalihkan perdebatan dari persamaan teori kepada kebolehgunaan praktikal.

Kekuatan & Kelemahan: Kekuatannya ialah pengesahan empirikalnya dengan manusia dalam gelung, metodologi yang mengingatkan penilaian manusia ketat yang digunakan untuk mengesahkan kejayaan seperti kualiti terjemahan imej CycleGAN (Zhu et al., "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," ICCV 2017). Kelemahan, yang diakui oleh penulis, ialah skala. Walaupun WNP mengatasi dari segi kualiti, kos pengiraannya untuk memadankan dengan TMB dunia sebenar yang besar adalah lebih tinggi daripada jarak suntingan yang dioptimumkan. Ini adalah pertukaran klasik ketepatan-kelajuan. Tambahan pula, seperti yang dilihat dalam sistem pencarian neural berskala besar (cth., kerja FAIR pada pencarian petikan padat), bergerak melampaui padanan bentuk permukaan kepada persamaan semantik menggunakan penyematan boleh menjadi lompatan seterusnya, hala tuju yang disediakan oleh kertas kerja ini tetapi tidak diterokai.

Wawasan Boleh Tindak: Bagi vendor TM, mandatnya jelas: buka kotak hitam dan inovasi melampaui jarak suntingan. Mengintegrasikan komponen seperti WNP, mungkin sebagai lapisan penyusunan semula di atas penapis awal jarak suntingan pantas, boleh menghasilkan penambahbaikan UX serta-merta. Bagi pengurus penyetempatan, penyelidikan ini menyediakan kerangka untuk menilai alat TM bukan sahaja pada peratusan padanan, tetapi pada kualiti padanan tersebut. Tanya vendor: "Bagaimana anda memastikan padanan kabur anda relevan secara konteks, bukan hanya hampir dari segi aksara?" Masa depan terletak pada sistem hibrid yang menggabungkan kecekapan jarak suntingan, kecerdasan fraseologi WNP, dan kefahaman semantik model neural—sintesis yang dimulakan secara menarik oleh kertas kerja ini.

8. Aplikasi Masa Depan & Hala Tuju Penyelidikan

• Sistem Pencarian Hibrid: Menggabungkan penapis cetek pantas (seperti jarak suntingan) dengan penyusun semula yang lebih tepat dan mendalam (seperti WNP atau model neural) untuk pencarian berskala besar dan berkualiti tinggi.
• Integrasi dengan Terjemahan Mesin Neural (NMT): Menggunakan pencarian TM sebagai pembekal konteks untuk sistem NMT, serupa dengan cara k-kejiranan terdekat atau penjanaan dipertingkatkan pencarian (RAG) berfungsi dalam model bahasa besar. Kualiti segmen yang diambil menjadi lebih kritikal di sini.
• Pemberat Peribadi: Menyesuaikan parameter $\alpha$ dalam algoritma WNP berdasarkan gaya penterjemah individu atau keperluan projek khusus (cth., terjemahan undang-undang mungkin lebih menghargai padanan frasa tepat daripada terjemahan pemasaran).
• Padanan Semantik Rentas Bahasa: Bergerak melampaui padanan berasaskan rentetan untuk menggunakan penyematan ayat pelbagai bahasa (cth., daripada model seperti Sentence-BERT) untuk mencari segmen yang serupa secara semantik walaupun bentuk permukaan berbeza, menangani batasan utama semua kaedah semasa.
• Pembelajaran Aktif untuk Kurasi TM: Menggunakan skor keyakinan daripada algoritma padanan maju untuk mencadangkan terjemahan baharu mana yang harus diutamakan untuk ditambah ke TMB, mengoptimumkan pertumbuhan dan relevansinya.

9. Rujukan

1. Bloodgood, M., & Strauss, B. (2014). Translation Memory Retrieval Methods. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics (pp. 202-210).
2. Arthern, P. J. (1978). Machine Translation and Computerized Terminology Systems—A Translator’s Viewpoint. Translating and the Computer.
3. Kay, M. (1980). The Proper Place of Men and Machines in Language Translation. Xerox PARC Technical Report.
4. Koehn, P., & Senellart, J. (2010). Convergence of Translation Memory and Statistical Machine Translation. Proceedings of AMTA.
5. Simard, M., & Fujita, A. (2012). A Poor Man's Translation Memory Using Machine Translation Evaluation Metrics. Proceedings of AMTA.
6. Christensen, T. P., & Schjoldager, A. (2010). Translation Memory (TM) Research: What Do We Know and How Do We Know It? Hermes – Journal of Language and Communication in Business.
7. Zhu, J., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV).