Chagua Lugha

Uboreshaji wa Watafsiri wa Mfano Mkubwa wa Lugha kupitia Kumbukumbu za Tafsiri

Karatasi ya utafiti inayochunguza jinsi Kumbukumbu za Tafsiri (TM) zinaweza kutumika kama msukumo wa kuimarisha sana utendaji wa tafsiri wa Mifano Mikubwa ya Lugha (LLM) kupitia ujifunzaji katika muktadha.
translation-service.org | PDF Size: 0.2 MB
Ukadiriaji: 4.5/5
★ ★ ★ ★ ★
Ukadiriaji Wako
Umekadiria waraka huu tayari
Kifuniko cha Waraka PDF - Uboreshaji wa Watafsiri wa Mfano Mkubwa wa Lugha kupitia Kumbukumbu za Tafsiri
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » Uboreshaji wa Watafsiri wa Mfano Mkubwa wa Lugha kupitia Kumbukumbu za Tafsiri

1. Utangulizi

Karatasi hii inachunguza mbinu mpya ya kuimarisha tafsiri ya mashine (MT) kwa kutumia uwezo unaojitokeza wa ujifunzaji katika muktadha wa Mifano Mikubwa ya Lugha (LLM). Dhana kuu ni kwamba Kumbukumbu za Tafsiri (TM)—hifadhidata za tafsiri za awali za kibinadamu—zinaweza kutumika kama misukumo yenye ufanisi sana ya mifano michache kwa LLM, na kuziongoza kutoa tafsiri sahihi zaidi na zinazolingana na uwanja bila kuhitaji mabadiliko ya muundo au urekebishaji.

Kazi hii inajielekeza dhidi ya mbinu za awali ambazo zilihitaji kubadilisha miundo ya Mifano ya Tafsiri ya Neural Machine Translation (NMT) au kujenga besi tofauti za maarifa ya tafsiri. Kinyume chake, mbinu inayopendekezwa, Kusukumia Kumbukumbu za Tafsiri kwa Mifano Mikubwa ya Lugha (TMP-LM), ni mbinu nyepesi, ya kusukumia tu, inayotumia uwezo wa asili wa LLM wa kuelewa na kufuata maagizo yanayowasilishwa katika dirisha lake la muktadha.

2. Mbinu: Kusukumia Kumbukumbu za Tafsiri kwa LLM (TMP-LM)

TMP-LM ni mfumo rahisi lakini wenye nguvu ambao huingiza ujuzi wa tafsiri kwenye LLM kwa kuweka mifano inayofaa ya TM mbele ya swala la tafsiri. Mchakato unajumuisha: 1) Kurejesha sentensi za chanzo zinazofanana na tafsiri zake kutoka kwa TM kwa sentensi fulani ya pembejeo. 2) Kuweka jozi hizi (chanzo, lengo) katika muundo wa msukumo unaofuatana kulingana na kiolezo maalum. 3) Kuwasilisha msukumo huu, kufuatwa na sentensi mpya ya chanzo, kwa LLM kwa ajili ya tafsiri.

2.1. Ubunifu wa Kiolezo cha Msukumo

Karatasi hii inachunguza mitindo tofauti ya misukumo ili kuwasiliana kwa ufanisi na LLM kuhusu kazi ya tafsiri na mifano. Kiolezo kikuu viwili vinaangaziwa:

  • Kiolezo cha Maagizo (INSTRUCTION): Hutumia maagizo ya lugha asilia. Kwa mfano: "Ikiwa tafsiri ya 'X1' kutoka Kiingereza hadi Kifaransa ni 'Y1' na tafsiri ya 'X2' ni 'Y2', basi tafsiri ya 'X_mpya' ni nini? Matokeo ya tafsiri tu yanahitajika."
  • Kiolezo Kilichopangwa (CODE): Hutumia muundo rasmi zaidi, wa jozi ya thamani-ufunguo. Kwa mfano: "[src-lang]=[X1] [tgt-lang]=[Y1] [src-lang]=[X2] [tgt-lang]=[Y2] [src-lang]=[X_mpya] [tgt-lang]="

Uchaguzi wa kiolezo huathiri sana utendaji wa LLM, na kiolezo kilichopangwa mara nyingi huleta matokeo thabiti zaidi kwa kupunguza utata.

2.2. Mfumo wa TMP-LM

Utaratibu msingi unaweza kufupishwa. Kwa kuzingatia sentensi ya pembejeo $x$, kitendakazi cha kurejesha TM $R(x)$ hupata jozi $k$ zinazofanana zaidi za chanzo-lengo $(x_i^{tm}, y_i^{tm})$. Kitendakazi cha kujenga msukumo $C(\{(x_i^{tm}, y_i^{tm})\}_{i=1}^k, x)$ huweka hizi katika muundo wa msukumo wa mwisho $P$. LLM, inayoonyeshwa kama $M$, kisha hutengeneza tafsiri: $\hat{y} = M(P)$.

Ufanisi unategemea uwezo wa LLM wa kufanya hojiana ya mfano katika muktadha—kutambua muundo katika mifano iliyotolewa na kuitumia kwa swala jipya.

3. Usanidi wa Majaribio na Matokeo

3.1. Hifadhidata na Viwango vya Msingi

Majaribio yalifanywa kwenye kazi za tafsiri katika lugha nyingi (k.m., Kiingereza-Kijerumani, Kiingereza-Kichina) na maeneo (Kisheria, IT, Matibabu). LLM kuu iliyotumika ilikuwa text-davinci-003 ya OpenAI. Viwango vya msingi vilijumuisha mifumo yenye nguvu, iliyorekebishwa vizuri ya NMT maalum ya uwanja iliyofunzwa kwenye mkusanyiko mkubwa wa maandishi ya lugha mbili.

Vipengele Muhimu vya Majaribio

  • Mfano: GPT-3.5 (text-davinci-003)
  • Kipimo cha Tathmini: Alama ya BLEU
  • Ulinganisho Muhimu: TMP-LM dhidi ya NMT ya Uwanja Iliyorekebishwa ya Hali ya Juu

3.2. Matokeo Muhimu na Uchambuzi

Matokeo yalikuwa ya kushangaza:

  • Faida Kubwa za BLEU: Kutumia misukumo ya hali ya juu ya TM iliboresha utendaji wa tafsiri wa sifuri-mpigo wa LLM kwa alama 20 hadi 30 za BLEU katika kazi mbalimbali. Hii inabadilisha LLM kutoka kwa mtafsiri wa wastani kuwa mtendaji mwenye uwezo mkubwa.
  • Kushindana na NMT ya Hali ya Juu: Utendaji wa LLM uliosukumwa ulilingana, na wakati mwingine ukazidi, ule wa mifumo ya hali ya juu ya NMT iliyofunzwa hasa kwenye data ya uwanja mkubwa. Hii ni ugunduzi muhimu, kwani inaonyesha kwamba LLM zilizo na msukumo unaofaa zinaweza kufanana na utendaji wa mifumo maalum bila mafunzo maalum ya kazi.
  • Nyeti ya Kiolezo: Kiolezo kilichopangwa (CODE) kwa ujumla kilitoa tafsiri za kuaminika zaidi na za hali ya juu kuliko kiolezo cha lugha asilia (INSTRUCTION), na kusisitiza umuhimu wa uhandisi sahihi wa msukumo.

Maelezo ya Chati (Yasiyo wazi): Chati ya mihimili ingeonyesha vikundi vitatu kwa kila jozi ya lugha/uwanja: 1) LLM Sifuri-Mpigo (BLEU ya chini), 2) LLM + TMP-LM (BLEU ya juu sana), 3) Kisingizio cha Hali ya Juu cha NMT (BLEU ya juu, sawa na kikundi cha 2). Mihimili ya vikundi 2 na 3 ingelingana karibu, na zote zikiwa juu sana kuliko kikundi cha 1.

4. Uchambuzi wa Kiufundi na Ufahamu Msingi

Ufahamu Msingi: Ufunuo wa kuvunja misingi wa karatasi hii ni kwamba uwezo wa tafsiri wa LLM haujakaa, bali ni kazi ya muktadha wake. Mfano ghafi ni mtafsiri duni, lakini wakati muktadha wake unapopandikizwa mifano ya tafsiri inayofaa, yenye uaminifu wa juu (TM), unafungua utendaji unaoshindana na mifumo maalum ya NMT. Hii inabadilisha kabisa LLM kutoka kwa mifumo tuli hadi injini za tafsiri zinazoweza kupangwa kwa muktadha. Inalingana na mabadiliko makubwa ya dhana yaliyoangaziwa na watafiti wa Kituo cha Utafiti cha Mifano ya Msingi cha Stanford, ambao wanadai kuwa "ujuzi" na "uwezo" wa mfano zinafafanuliwa zaidi na uanzishaji wa msingi wa msukumo badala ya uzito tuli pekee.

Mtiririko wa Mantiki: Hoja ni ya kuvutia na yenye nguvu. 1) LLM zina uwezo wa kujifunza katika muktadha na kufuata maagizo (kama ilivyoonyeshwa katika kazi kama "Kufunza mifano ya lugha kufuata maagizo kwa mrejesho wa kibinadamu" na Ouyang et al.). 2) Tafsiri ni kazi iliyofafanuliwa vizuri ambayo inaweza kuelezewa kupitia mifano. 3) TM ni jozi za mifano zilizochaguliwa, za hali ya juu. 4) Kwa hivyo, kuwasilisha TM kama mifano katika muktadha inapaswa, na inafanya, kuboresha sana ubora wa tafsiri. Mantiki ni imara na ushahidi wa majaribio ni thabiti.

Nguvu na Mapungufu: Nguvu haiwezi kukataliwa: mbinu rahisi, isiyoingilia kati, inaleta faida kubwa. Inawezesha MT ya hali ya juu kwa kutumia mali zilizopo za TM na LLM zilizotengenezwa tayari. Hata hivyo, mapungufu yako katika utegemezi. Kwanza, inategemea sana ubora na uhusiano wa mechi za TM zilizorejeshwa—taka ndani, taka nje. Pili, inarithi mapungufu yote ya LLM: gharama, ucheleweshaji, na vikwazo vya dirisha la muktadha (kama tatizo la "Kupotea-katikati" lililobainishwa na Liu et al.). Tatu, kama karatasi inavyodokeza, mbinu hiyo ni dhaifu; kiolezo kisichofaa cha msukumo kinaweza kudhoofisha utendaji. Katika hatua hii, ni zaidi ya uchawi kuliko uhandisi.

Ufahamu Unaoweza Kutekelezwa: Kwa watendaji, hii ni wito wa wazi wa kuacha kuona LLM kama watafsiri wa nje ya sanduku na kuanza kuwaona kama mifumo inayoweza kuboreshwa kwa msukumo. Uwekezaji lazima ubadilike kutoka kwa mafunzo ya mfano hadi kujenga mifumo thabiti ya kurejesha kwa TM na kuendeleza kiolezo sanifu, kilichoboreshwa cha msukumo kwa maeneo tofauti (sawa na jinsi jamii ilivyosanifisha urekebishaji wa BERT). Kwa watafiti, mpaka unaofuata ni kufanya mchakato huu kuwa thabiti zaidi na wenye ufanisi—kuchunguza jinsi ya kubana ujuzi wa TM katika misukumo yenye ufanisi zaidi au jinsi ya kuchanganya kusukumia na urekebishaji mwepesi ili kupunguza urefu wa muktadha na gharama.

5. Mfumo wa Uchambuzi: Mfano Usio na Msimbo

Fikiria kampuni ya tafsiri ya kisheria iliyo na TM kubwa ya vifungu vya mikataba. Hapo awali, mfumo wa NMT ungehitaji kufunzwa tena kwenye data mpya ya kisheria ili kuboresha. Kwa TMP-LM:

  1. Pembejeo: Sentensi mpya ya chanzo: "Kifungu cha fidia kitadumu baada ya kukomeshwa kwa Makubaliano haya."
  2. Kurejesha: Mfumo hutafuta TM ya kisheria na kupata vifungu viwili vinavyofanana, vilivyotafsiriwa awali:
    • TM1: Chanzo: "Wajibu huu wa usiri utadumu baada ya mkataba kumalizika." → Lengo: "La obligación de confidencialidad sobrevivirá a la expiración del contrato."
    • TM2: Chanzo: "Dhamana itadumu baada ya utoaji na ukaguzi." → Lengo: "La garantía sobrevivirá a la entrega y la inspección."
  3. Ujenzi wa Msukumo (Mtindo wa CODE): Mfumo hujenga msukumo huu kwa LLM: 
    [src-lang]=[This confidentiality obligation shall survive the expiration of the contract.] [tgt-lang]=[La obligación de confidencialidad sobrevivirá a la expiración del contrato.]
[src-lang]=[The warranty shall survive delivery and inspection.] [tgt-lang]=[La garantía sobrevivirá a la entrega y la inspección.]
[src-lang]=[The indemnity clause shall survive termination of this Agreement.] [tgt-lang]=
  4. Matokeo: LLM, ikitambua muundo ("X itadumu Y" → "X sobrevivirá a Y"), hutengeneza tafsiri inayolingana na mtindo na sahihi kisheria: "La cláusula de indemnización sobrevivirá a la terminación de este Acuerdo."

Mfumo huu unabadilisha LLM kuwa msaidizi wa tafsiri anayetambua muktadha na anayeshikamana na istilahi na mtindo uliowekwa tayari wa kampuni.

6. Matumizi ya Baadaye na Mwelekeo wa Utafiti

  • Mifumo ya Mseto Inayobadilika: Mifumo ya baadaye ya MT inaweza kubadilisha kwa urahisi kati ya NMT iliyorekebishwa kwa maandishi ya jumla na TMP-LM kwa maeneo yenye TM tajiri (kisheria, matibabu, kiufundi), na kuimarisha ubora na gharama.
  • Zaidi ya TM za Lugha Mbili: Kupanua dhana hii kwa kumbukumbu za tafsiri za lugha nyingi, na kuwezesha tafsiri ya mhimili wa mifano michache au kurekebisha mtindo katika lugha nyingi.
  • Ujifunzaji Amilifu na Usanifishaji wa TM: Kutumia alama za ujasiri wa LLM au kutokubaliana na TM zilizopo kuashiria makosa yanayowezekana katika TM za kibinadamu au kupendekeza maingizo mapya kwa wahariri wa baadaye wa kibinadamu, na kuunda mzunguko wa tafsiri unaojiboresha yenyewe.
  • Ujumuishaji na LLM Ndogo, Maalum: Kutumia TMP-LM kwa LLM zenye ufanisi zaidi, za wazi (kama Llama au Mistral) zilizorekebishwa hasa kwa ajili ya kazi za tafsiri, na kupunguza utegemezi wa API kubwa, za jumla, na za gharama kubwa.
  • Vipimo Sanifu vya Kusukumia: Jamii inahitaji vipimo kama "Prompt-MT" ili kutathmini kwa utaratibu mikakati tofauti ya kusukumia kwa tafsiri katika LLM mbalimbali, sawa na jukumu la WMT kwa NMT ya jadi.

7. Marejeo

  1. Mu, Y., Reheman, A., Cao, Z., et al. (2023). Augmenting Large Language Model Translators via Translation Memories. arXiv preprint arXiv:2305.17367.
  2. Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35.
  3. Khandelwal, U., Levy, O., Jurafsky, D., et al. (2021). Generalization through memorization: Nearest neighbor language models. International Conference on Learning Representations (ICLR).
  4. Bommasani, R., Hudson, D. A., Adeli, E., et al. (2021). On the opportunities and risks of foundation models. Stanford Center for Research on Foundation Models.
  5. Liu, N. F., Lin, K., Hewitt, J., et al. (2023). Lost in the middle: How language models use long contexts. arXiv preprint arXiv:2307.03172.
  6. Reheman, A., Cao, Z., Li, B., et al. (2023). One-shot learning for neural machine translation with translation memories. Findings of the Association for Computational Linguistics.