Uimarishaji wa Watafsiri wa Mifano ya Lugha Kubwa Kupitia Kumbukumbu za Tafsiri

1. Utangulizi

Karatasi hii ya utafiti, "Uimarishaji wa Watafsiri wa Mifano ya Lugha Kubwa Kupitia Kumbukumbu za Tafsiri," inachunguza njia mpya ya kuboresha tafsiri ya mashine (MT) kwa kutumia uwezo wa kujifunza katika muktadha wa Mifano ya Lugha Kubwa (LLMs). Wazo kuu ni kutumia Kumbukumbu za Tafsiri (TMs)—hifadhidata za tafsiri za kibinadamu zilizopita—kama misukumo ya nguvu kuongoza LLMs, na hivyo kuondoa hitaji la mabadiliko ya muundo au mafunzo upya makubwa ya mfano msingi. Mbinu hii, inayoitwa Kumsukuma Mfano wa Lugha Kubwa kwa Kumbukumbu za Tafsiri (TMP-LM), inaonyesha mafanikio makubwa ya utendaji, na kufanya tafsiri inayotumia LLM kuwa na ushindani na mifumo ya kisasa zaidi ya Tafsiri ya Mashine ya Neural (NMT) iliyoboreshwa kwa seti kubwa za data za ndani ya nyanja.

2. Mbinu

2.1. Kumsukuma Mfano wa Lugha Kubwa kwa Kumbukumbu za Tafsiri (TMP-LM)

TMP-LM ni mkakati rahisi lakini wenye ufanisi wa kumsukuma mfano kwa mifano michache. Kwa sentensi ya chanzo $x$ fulani ya kutafsiri, mfumo hupata jozi $k$ muhimu za tafsiri $(x^{tm}_i, y^{tm}_i)$ kutoka kwenye TM. Jozi hizi huwekwa katika muundo wa msukumo kufuatia kiolezo maalum, kisha huongezwa mwanzoni mwa maagizo ya kutafsiri $x$. LLM, ikizingatia msukumo huu, hutengeneza tafsiri $y$. Mchakato huu unaweza kuwekwa rasmi kama kutafuta $y$ inayofanya upeo wa $P(y | f_{ref}(x^{tm}_1, y^{tm}_1, ..., x^{tm}_k, y^{tm}_k, x), \theta)$, ambapo $f_{ref}$ ni kitendakazi cha kiolezo cha msukumo na $\theta$ ni vigezo vya LLM.

2.2. Ubunifu wa Kiolezo cha Msukumo

Karatasi hii inachunguza mitindo tofauti ya misukumo, hasa ikilinganisha muundo wa MAAGIZO na wa MSINGI WA KIFUNGU (CODE) (tazama Mchoro 1 kwenye PDF). Muundo wa MAAGIZO hutumia lugha asilia (k.m., "Ikiwa tafsiri ya X1 ni Y1..., basi tafsiri ya X ni nini?"). Muundo wa MSINGI WA KIFUNGU hutumia mtindo uliopangwa, wa thamani-kitu (k.m., "[src-lang]=[X1] [tgt-lang]=[Y1]..."). Uchaguzi wa kiolezo huathiri sana uwezo wa LLM kutumia kwa ufanisi mifano ya TM iliyotolewa.

3. Majaribio na Matokeo

3.1. Usanidi wa Majaribio

Majaribio yalifanywa kwa kutumia mfano wa GPT-3.5 (text-davinci-003, inayoitwa davinci-003) katika jozi nyingi za lugha (k.m., Zh-En, De-En) na nyanja (IT, Koran, Matibabu, Sheria). Kumbukumbu za Tafsiri zilitengenezwa kutoka kwa data ya ndani ya nyanja. Utendaji ulikadiriwa kwa kutumia alama ya BLEU, ikilinganisha TMP-LM dhidi ya msingi wenye nguvu: mfano wa kawaida wa davinci-003 bila misukumo ya TM na dhidi ya mfumo ulioboreshwa vizuri, wa kiwango kikubwa cha NMT (msingi wa SOTA).

3.2. Matokeo Makuu

Matokeo ni ya kushangaza. TMP-LM iliboresha ubora wa tafsiri ya LLM ya kawaida kwa alama 20 hadi 30 za BLEU katika kazi mbalimbali. Kwenye seti nyingi za majaribio, utendaji wa LLM iliyomsukumizwa ulilingana au hata ukazidi ule wa mfumo maalum, wa ndani ya nyanja wa NMT. Hii inaonyesha uwezo mkubwa wa kujifunza katika muktadha kwa misukumo ya hali ya juu ili kufaa LLMs za jumla kwa kazi maalum za tafsiri.

3.3. Uchambuzi wa Uondoaji

Uchambuzi wa uondoaji uthibitisha umuhimu wa ubora wa TM na ubunifu wa msukumo. Faida ya utendaji ilikuwa inahusiana moja kwa moja na uhusiano na usahihi wa mifano ya TM iliyopatikana. Zaidi ya hayo, msukumo wa mtindo wa MSINGI WA KIFUNGU kwa ujumla ulitoa maboresho madhubuti zaidi na thabiti kuliko ule wa mtindo wa MAAGIZO, pengine kwa sababu ya muundo wake wazi zaidi, usio na utata kwa LLM kuchambua.

4. Uchambuzi na Majadiliano

4.1. Uelewa Mkuu

Karatasi hii sio tu juu ya tafsiri bora; ni mafunzo bora ya usimamizi wa rasilimali. Waandishi wamegundua ukosefu muhimu wa ufanisi: kutotumiwa kikamilifu kwa kumbukumbu za tafsiri (TMs) zilizopo, zenye thamani kubwa, katika enzi ya LLMs. Wakati tasnia inajishughulisha na kuongeza vigezo vya mifano, wao wanaonyesha kuwa kuongeza akili ya muktadha—kumpa LLMs mifano sahihi ya awali—kunaweza kutoa matokeo makubwa yasiyolingana. Kuruka kwa alama 20-30 za BLEU sio uboreshaji tu; ni mabadiliko ya dhana, ikithibitisha kuwa kwa kazi nyingi, mtaalamu wa jumla aliyeongozwa kwa busara anaweza kushinda mtaalamu aliyeongozwa vizuri. Hii inalingana na matokeo katika nyanja zingine ambapo kujifunza katika muktadha hushinda ubora wa kuboresha kwenye kazi zenye data chache, kama ilivyojadiliwa katika utafiti kutoka taasisi kama Kituo cha Utafiti cha Mifano ya Msingi cha Stanford.

4.2. Mtiririko wa Mantiki

Hoja ni rahisi kwa ustadi na yenye ufanisi mkubwa: 1) Tatizo: LLMs ni watafsiri wenye nguvu lakini hawana upekee wa nyanja; TMs zina ujuzi mwingi wa nyanja lakini ni hifadhidata tuli. 2) Dhana: Ujifunzaji wa muktadha wa LLMs unaweza kuamsha TMs. 3) Utaratibu: Kuweka sehemu za TM kama misukumo ya mifano michache. 4) Uthibitisho: Faida kubwa za BLEU katika nyanja mbalimbali. 5) Maana: Mfumo bora wa tafsiri unaweza kuwa LLM iliyoimarishwa na utaftaji mseto, sio mfano safi wa NMT wa mwisho-hadi-mwisho. Mtiririko huu unaonyesha muundo wa mafanikio wa "utengenezaji ulioimarishwa na utaftaji" unaoonwa katika mifano kama RETRO, lakini unautumia kwa tatizo lililokomaa, muhimu kibiashara: tafsiri.

4.3. Nguvu na Udhaifu

Nguvu: Njia hii ni bora kwa vitendo. Ni isiyoingilia (hakuna mabadiliko ya mfano), inaweza kutekelezwa mara moja kwenye API kama za OpenAI, na hutumia gharama zilizotumika (TM za kampuni). Inageuza dosari (hifadhidata tuli za TM) kuwa rasilimali ya kimkakati. Ulinganisho na NMT ya SOTA ni kipimo cha ushujaa na kinachoshawishi.

Udhaifu: Karatasi hii inapita juu ya jambo kubwa wazi: ucheleweshaji na gharama. Kuunda na kuchakata misukumo mirefu, yenye mifano mingi kwa kila sentensi huongeza muda wa hitimisho na matumizi ya ishara kwa kiasi kikubwa, jambo linalozuia matumizi ya wakati halisi na ya kiwango kikubwa. Zaidi ya hayo, njia hii ni nyeti sana kwa ubora wa TM; mechi za TM zenye kelele au zisizohusiana zinaweza kudhoofisha utendaji, na kuunda hali ya "taka ndani, taka nje". Kutegemea mfano wa umiliki (davinci-003) pia hupunguza uwezo wa kurudiwa na uthibitisho huru.

4.4. Uelewa Unaoweza Kutekelezwa

Kwa viongozi wa makampuni: Acheni kuchukulia TM yako kama kumbukumbu ya zamani. Utafiti huu unalazimisha tathmini upya ya rasilimali za TM kama sehemu kuu ya mfumo wako wa AI wa tafsiri. Faida ya mwanzo iko katika kujenga mifumo imara ya utaftaji wa TM yenye uwezo wa utaftaji wa vekta iliyoboreshwa kwa kumsukuma LLM.

Kwa watafiti: Msukumo wa mtindo wa MSINGI WA KIFUNGU ni ugunduzi muhimu. Kazi ya baadaye lazima iweze kuweka utaratibu wa uhandisi wa misukumo kwa tafsiri, ikitoka kwa sanaa hadi sayansi. Kuchunguza hili kwa LLMs za chanzi huria (k.m., LLaMA, BLOOM) ni hatua muhimu inayofuata ili kuleta njia hii kwa watu wote.

Kwa watengenezaji: Tekeleza utaratibu wa kurudi nyuma. Tumia alama za ujasiri kutoka kwa mfumo wa utaftaji wa TM; ikiwa hakuna mechi ya hali ya juu inayopatikana, tumia tafsiri ya kawaida ya LLM ili kuepuka kudhoofika. Uimara huu mseto ndio ufunguo wa mifumo ya uzalishaji.

5. Maelezo ya Kiufundi

Ubunifu mkuu wa kiufundi ni uundaji wa msukumo. Kwa kuzingatia sentensi ya chanzo $x$, na jozi $k$ za TM zilizopatikana $(x_i^{tm}, y_i^{tm})$, msukumo $P$ unaundwa kama:
$P = f_{ref}(x_1^{tm}, y_1^{tm}, ..., x_k^{tm}, y_k^{tm}, x)$
Ambapo $f_{ref}$ ni kitendakazi cha kiolezo. LLM kisha huhesabu:
$y^* = \arg\max_y P(y | P, \theta)$
Majaribio ya karatasi kwa kawaida hutumia $k=2$ au $k=4$. Upatikanaji wa mifano ya TM unategemea vipimo vya ufanano kama BM25 au ufanano wa cosine wa ulaji kati ya $x$ na $x_i^{tm}$.

6. Mfano wa Mfumo wa Uchambuzi

Hali: Kampuni ya kisheria inahitaji kutafsiri kifungu kipya cha mkataba kutoka Kijerumani hadi Kiingereza. TM yao ina maelfu ya vifungu vilivyotafsiriwa awali.
Utumiaji wa Mfumo:

1. Utaftaji: Mfumo hutumia utaftaji wa maana kupata vifungu 2 vinavyofanana zaidi vya chanzo cha Kijerumani kutoka TM na tafsiri zao za kitaalamu za Kiingereza.
2. Uundaji wa Msukumo (Mtindo wa MSINGI WA KIFUNGU):
   [src-lang]=[Kifungu Kilichopatikana cha Kijerumani 1] [tgt-lang]=[Tafsiri ya Kiingereza 1] [src-lang]=[Kifungu Kilichopatikana cha Kijerumani 2] [tgt-lang]=[Tafsiri ya Kiingereza 2] [src-lang]=[Kifungu Kipya cha Kijerumani] [tgt-lang]=
3. Utekelezaji: Msukumo huu hutumwa kwa LLM (k.m., GPT-4). LLM, ikizingatia usemi halisi wa kisheria wa mifano ya awali, hutengeneza tafsiri ya kifungu kipya ambayo inadumisha istilahi na mtindo thabiti.
4. Matokeo: Tafsiri ya hali ya juu, inayofaa nyanja ambayo mtafsiri wa jumla angeweza kukosa.

Mfumo huu hugeuza kila kazi mpya ya tafsiri kuwa shida ya kujifunza kwa mifano michache maalum kwa muktadha wa hati hiyo.

7. Matumizi ya Baadaye na Mwelekeo

Matokeo ya TMP-LM yanaenea zaidi ya tafsiri:

• Utengenezaji wa Maandishi Unaodhibitiwa: Kufaa LLMs kwa sauti maalum za chapa, mitindo ya hati za kiufundi, au kufuata kanuni kwa kutumia maandishi ya kielelezo kama misukumo.
• Wasaidizi wa AI Walio binafsishwa: Kutumia barua pepe za zamani za mtumiaji, ripoti, au ujumbe kama "kumbukumbu ya mtindo" ili kumsukuma LLM kutengeneza maudhui mapya kwa sauti yake ya kipekee.
• Utengenezaji na Ufaa wa Msimbo: Kumsukuma LLMs na vitendakazi na mifumo iliyopo ya msingi wa msimbo ili kutengeneza msimbo mpya unaofuata mikataba na muundo sawa.
• Utafiti wa Baadaye: Mwelekeo muhimu ni pamoja na kuboresha ukandamizaji wa misukumo ili kupunguza gharama, kuendeleza mifano bora ya utaftaji kwa mechi isiyo wazi ya TM, na kuchunguza mipaka ya kujifunza katika muktadha dhidi ya ubora wa kuboresha LLMs zinapokua. Kuunganisha hili na mbinu za ubora wa ufanisi wa vigezo (PEFT) kama LoRA kunaweza kutoa mseto wenye nguvu zaidi.

Mwelekeo wa mwisho ni uundaji wa Vichinjio vya Muktadha vya Nguvu—mifumo inayosimamia, kupata, na kuunda muundo wa ujuzi muhimu zaidi wa muktadha (kutoka TMs, grafu za ujuzi, mwingiliano wa zamani) ili kuongoza LLMs kwa kazi yoyote iliyotolewa.

8. Marejeo

1. Mu, Y., Reheman, A., Cao, Z., et al. (2023). Augmenting Large Language Model Translators via Translation Memories. arXiv preprint arXiv:2305.17367.
2. Brown, T., Mann, B., Ryder, N., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33.
3. Khandelwal, U., Levy, O., Jurafsky, D., et al. (2021). Generalization through Memorization: Nearest Neighbor Language Models. International Conference on Learning Representations (ICLR).
4. Borgeaud, S., Mensch, A., Hoffmann, J., et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. International Conference on Machine Learning (ICML).
5. Stanford Center for Research on Foundation Models (CRFM). (2023). On the Opportunities and Risks of Foundation Models. https://crfm.stanford.edu/.
6. Vaswani, A., Shazeer, N., Parmar, N., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30.