স্পেনের স্বল্প-সম্পদ ভাষার জন্য বহুভাষিক স্থানান্তর ও ডোমেন অভিযোজন: এইচডব্লিউ-টিএসসি ডব্লিউএমটি ২০২৪ জমা

1. ভূমিকা

এই নথিটি ডব্লিউএমটি ২০২৪-এর "স্পেনের স্বল্প-সম্পদ ভাষায় অনুবাদ" কাজের জন্য হুয়াওয়ে ট্রান্সলেশন সার্ভিস সেন্টারের (এইচডব্লিউ-টিএসসি) জমার বিস্তারিত বিবরণ দেয়। দলটি তিনটি নির্দিষ্ট অনুবাদ দিকে অংশগ্রহণ করে: স্প্যানিশ থেকে আরাগোনিজ (es→arg), স্প্যানিশ থেকে আরানিজ (es→arn), এবং স্প্যানিশ থেকে আস্তুরিয়ান (es→ast)। সমাধান করা মূল চ্যালেঞ্জটি হল গুরুতরভাবে সীমিত সমান্তরাল প্রশিক্ষণ ডেটা সহ ভাষাগুলির জন্য নিউরাল মেশিন ট্রান্সলেশন (এনএমটি), যা অনুবাদ প্রযুক্তিকে অন্তর্ভুক্তিমূলক করতে একটি সাধারণ বাধা।

প্রস্তাবিত সমাধানটি একটি গভীর ট্রান্সফরমার-বিগ আর্কিটেকচারে প্রয়োগ করা উন্নত প্রশিক্ষণ কৌশলের সমন্বয়কে কাজে লাগায়। এই কৌশলগুলির মধ্যে রয়েছে বহুভাষিক স্থানান্তর শিক্ষণ, নিয়মিতকৃত ড্রপআউট, ফরোয়ার্ড এবং ব্যাক ট্রান্সলেশন এর মাধ্যমে সিন্থেটিক ডেটা উৎপাদন, LaBSE ডিনয়েজিং ব্যবহার করে শব্দ হ্রাস, এবং ট্রান্সডাকশন এনসেম্বল লার্নিং এর মাধ্যমে মডেল একত্রীকরণ। ডেটার স্বল্পতা সত্ত্বেও অনুবাদের গুণমান সর্বাধিক করার লক্ষ্যে এই কৌশলগুলির সমন্বয় করা হয়েছিল, চূড়ান্ত মূল্যায়নে প্রতিযোগিতামূলক ফলাফল অর্জন করে।

2. ডেটাসেট

প্রশিক্ষণ শুধুমাত্র ডব্লিউএমটি ২০২৪ আয়োজকদের প্রদত্ত ডেটার উপর পরিচালিত হয়েছিল, যা একটি ন্যায্য তুলনা নিশ্চিত করে। ডেটায় উৎস (স্প্যানিশ) এবং লক্ষ্য (স্বল্প-সম্পদ) উভয় ভাষায় দ্বিভাষিক সমান্তরাল কর্পোরা এবং একভাষিক ডেটা অন্তর্ভুক্ত রয়েছে।

3. এনএমটি সিস্টেমের ওভারভিউ

সিস্টেমটি একটি গভীর ট্রান্সফরমার-বিগ আর্কিটেকচারের উপর নির্মিত। উদ্ভাবনটি বেস মডেলে নয়, বরং ডেটার সীমাবদ্ধতা কাটিয়ে উঠতে ডিজাইন করা প্রশিক্ষণ কৌশলগুলির পরিশীলিত পাইপলাইনে রয়েছে:

• বহুভাষিক প্রি-ট্রেনিং: সম্পর্কিত ভাষার ডেটার মিশ্রণে (যেমন, অন্যান্য রোমান্স ভাষা) একটি মডেল প্রি-ট্রেন করা হয়। এটি প্যারামিটার (শব্দভাণ্ডার, এনকোডার/ডিকোডার স্তর) ভাগ করা সম্ভব করে, উচ্চ-সম্পদ ভাষা থেকে নিম্ন-সম্পদ ভাষায় জ্ঞান স্থানান্তর সক্ষম করে।
• নিয়মিতকৃত ড্রপআউট (উ ও অন্যান্য, ২০২১): একটি উন্নত ড্রপআউট কৌশল যা বিভিন্ন স্তর বা প্রশিক্ষণ ধাপ জুড়ে সামঞ্জস্যপূর্ণ ড্রপআউট মাস্ক প্রয়োগ করে ছোট ডেটাসেটে মডেলের সাধারণীকরণ উন্নত করে এবং ওভারফিটিং প্রতিরোধ করে।
• সিন্থেটিক ডেটা উৎপাদন:
  • ফরোয়ার্ড ট্রান্সলেশন: লক্ষ্য-ভাষার একভাষিক ডেটাকে আবার উৎস ভাষায় অনুবাদ করে সিন্থেটিক উৎস-লক্ষ্য জোড়া তৈরি করা।
  • ব্যাক ট্রান্সলেশন: উৎস-ভাষার একভাষিক ডেটাকে লক্ষ্য ভাষায় অনুবাদ করা, যা এনএমটি ডেটা অগমেন্টেশনের একটি মৌলিক কৌশল।
• LaBSE ডিনয়েজিং (ফেং ও অন্যান্য, ২০২০): ভাষা-নিরপেক্ষ BERT বাক্য এমবেডিং (LaBSE) মডেল ব্যবহার করে সিন্থেটিক ডেটা থেকে শব্দযুক্ত বা নিম্ন-গুণের বাক্য জোড়া ফিল্টার করা, নিশ্চিত করা যে শুধুমাত্র উচ্চ-গুণের উদাহরণ চূড়ান্ত প্রশিক্ষণকে নির্দেশনা দেয়।
• ট্রান্সডাকশন এনসেম্বল লার্নিং (ওয়াং ও অন্যান্য, ২০২০): একাধিক পৃথকভাবে প্রশিক্ষিত এনএমটি মডেলের (যেমন, বিভিন্ন ডেটা মিশ্রণে প্রশিক্ষিত) ক্ষমতাগুলিকে একত্রিত করে একটি একক, আরও শক্তিশালী মডেলে পরিণত করার একটি পদ্ধতি, রানটাইম এনসেম্বল করার পরিবর্তে।

4. পরীক্ষামূলক সেটআপ ও ফলাফল

পেপারে বলা হয়েছে যে উপরে উল্লিখিত উন্নয়ন কৌশলগুলি ব্যবহার করে চূড়ান্ত ডব্লিউএমটি ২০২৪ মূল্যায়নে একটি প্রতিযোগিতামূলক ফলাফল অর্জিত হয়েছে। যদিও উদ্ধৃত অংশে নির্দিষ্ট BLEU বা chrF++ স্কোর দেওয়া নেই, ফলাফলটি স্বল্প-সম্পদ পরিস্থিতির জন্য বহু-কৌশল পদ্ধতির কার্যকারিতাকে বৈধতা দেয়। সাফল্যটি সম্ভবত কৌশলগুলির পরিপূরক প্রকৃতি থেকে উদ্ভূত হয়েছে: স্থানান্তর শিক্ষণ একটি শক্তিশালী সূচনা প্রদান করে, সিন্থেটিক ডেটা কার্যকর ডেটাসেট প্রসারিত করে, ডিনয়েজিং এটি পরিষ্কার করে, এবং নিয়মিতকরণ/এনসেম্বল পদ্ধতি চূড়ান্ত কর্মক্ষমতা স্থিতিশীল করে এবং বৃদ্ধি করে।

5. মূল বিশ্লেষণ ও বিশেষজ্ঞ ব্যাখ্যা

6. প্রযুক্তিগত বিবরণ ও গাণিতিক সূত্রায়ন

যদিও পিডিএফ উদ্ধৃতিতে স্পষ্ট সূত্র দেওয়া নেই, মূল কৌশলগুলিকে আনুষ্ঠানিকভাবে বর্ণনা করা যেতে পারে:

নিয়মিতকৃত ড্রপআউট (ধারণাগত): আদর্শ ড্রপআউট যা স্বাধীনভাবে এলোমেলো মাস্ক প্রয়োগ করে তার বিপরীতে, নিয়মিতকৃত ড্রপআউট সামঞ্জস্য প্রয়োগ করে। একটি স্তরের আউটপুট $h$ এর জন্য, $h_{drop} = h \odot m$ যেখানে $m \sim \text{Bernoulli}(p)$ প্রতিবার পরিবর্তিত হয়, তার পরিবর্তে একটি রূপ একাধিক স্তর বা প্রশিক্ষণ ধাপ জুড়ে একটি প্রদত্ত ইনপুট সিকোয়েন্সের জন্য একই মাস্ক $m$ ব্যবহার করতে পারে, যা মডেলটিকে আরও শক্তিশালী বৈশিষ্ট্য শিখতে বাধ্য করে। প্রশিক্ষণের সময় ক্ষতি ফাংশন এই সামঞ্জস্যকে একটি নিয়মিতকারী হিসাবে অন্তর্ভুক্ত করে।

ব্যাক ট্রান্সলেশন উদ্দেশ্য: লক্ষ্য ভাষায় একটি একভাষিক বাক্য $y$ দেওয়া হলে, একটি ব্যাকওয়ার্ড মডেল $\theta_{y\rightarrow x}$ একটি সিন্থেটিক উৎস বাক্য $\hat{x}$ তৈরি করে। সিন্থেটিক জোড়া $(\hat{x}, y)$ তারপর ফরোয়ার্ড মডেল $\theta_{x\rightarrow y}$ কে নেতিবাচক লগ-সম্ভাবনা কমিয়ে প্রশিক্ষণ দিতে ব্যবহৃত হয়: $\mathcal{L}_{BT} = -\sum \log P(y | \hat{x}; \theta_{x\rightarrow y})$।

LaBSE ডিনয়েজিং ফিল্টার: একটি সিন্থেটিক জোড়া $(\hat{x}, y)$ এর জন্য, তাদের LaBSE এমবেডিং $e_{\hat{x}}, e_{y}$ গণনা করা হয়। জোড়াটি শুধুমাত্র তখনই রাখা হয় যদি তাদের কোসাইন সাদৃশ্য একটি থ্রেশহোল্ড $\tau$ অতিক্রম করে: $\frac{e_{\hat{x}} \cdot e_{y}}{\|e_{\hat{x}}\|\|e_{y}\|} > \tau$। এটি সেই জোড়াগুলিকে ফিল্টার করে যেখানে শব্দার্থিক সারিবদ্ধতা দুর্বল।

7. ফলাফল ও চার্ট বর্ণনা

প্রদত্ত পিডিএফ বিষয়বস্তুতে নির্দিষ্ট ফলাফল সারণী বা চার্ট অন্তর্ভুক্ত নেই। বর্ণনার উপর ভিত্তি করে, একটি প্রকল্পিত ফলাফল চার্ট সম্ভবত দেখাবে:

• চার্টের ধরন: গ্রুপ বার চার্ট।
• X-অক্ষ: তিনটি ভাষা জোড়া: es→arg, es→arn, es→ast।
• Y-অক্ষ: স্বয়ংক্রিয় মূল্যায়ন মেট্রিক স্কোর (যেমন, BLEU, chrF++)।
• বার: ভাষা জোড়া প্রতি একাধিক বার তুলনা করে: 1) একটি বেসলাইন (শুধুমাত্র দ্বিভাষিক ডেটার উপর ট্রান্সফরমার-বিগ), 2) +বহুভাষিক স্থানান্তর, 3) +সিন্থেটিক ডেটা (BT/FT), 4) +ডিনয়েজিং ও এনসেম্বল (সম্পূর্ণ এইচডব্লিউ-টিএসসি সিস্টেম)।
• প্রত্যাশিত প্রবণতা: বেসলাইন থেকে সম্পূর্ণ সিস্টেমে একটি উল্লেখযোগ্য স্কোর বৃদ্ধি, যেখানে সবচেয়ে নাটকীয় আপেক্ষিক উন্নতি সর্বনিম্ন-সম্পদ ভাষা es→arg এর জন্য প্রত্যাশিত, যা চরম ডেটা স্বল্পতায় কৌশলগুলির কার্যকারিতা প্রদর্শন করে।

পেপারের উপসংহার যে সিস্টেমটি "প্রতিযোগিতামূলক ফলাফল" অর্জন করেছে তা বোঝায় যে এইচডব্লিউ-টিএসসির জন্য চূড়ান্ত বারগুলি ডব্লিউএমটি ২০২৪ মূল্যায়নে প্রতিটি কাজের জন্য লিডারবোর্ডের শীর্ষে বা তার কাছাকাছি হবে।

8. বিশ্লেষণ কাঠামো: একটি কেস স্টাডি

পরিস্থিতি: একটি প্রযুক্তি কোম্পানি একটি নতুন স্বল্প-সম্পদ উপভাষা, "LangX" এর জন্য একটি অনুবাদ সিস্টেম তৈরি করতে চায়, যার মাত্র ১০,০০০টি সমান্তরাল বাক্য রয়েছে কিন্তু একটি সম্পর্কিত উচ্চ-সম্পদ ভাষা "LangH"-এ ১ মিলিয়ন একভাষিক বাক্য রয়েছে।

কাঠামো প্রয়োগ (এইচডব্লিউ-টিএসসি দ্বারা অনুপ্রাণিত):

1. ধাপ ১ - ভিত্তি (স্থানান্তর): LangH এবং একই পরিবারের অন্যান্য ভাষার জন্য সর্বজনীনভাবে উপলব্ধ ডেটার উপর একটি বহুভাষিক মডেল প্রি-ট্রেন করুন। LangH→LangX মডেলটিকে এই ওজন দিয়ে শুরু করুন।
2. ধাপ ২ - স্কেল (সংশ্লেষণ):
   • প্রাথমিক মডেলটি ব্যবহার করে ১M LangH একভাষিক বাক্যের উপর ব্যাক-ট্রান্সলেশন সম্পাদন করুন, সিন্থেটিক (LangH, synthetic_LangX) জোড়া তৈরি করুন।
   • ১০K আসল জোড়ার উপর একটি বিপরীত (LangX→LangH) মডেল প্রশিক্ষণ দিন, তারপর LangX একভাষিক ডেটার (যদি উপলব্ধ থাকে) উপর ফরোয়ার্ড ট্রান্সলেশনের জন্য এটি ব্যবহার করুন, সিন্থেটিক (synthetic_LangH, LangX) জোড়া তৈরি করুন।
3. ধাপ ৩ - পরিশোধন (ডিনয়েজ): সমস্ত আসল এবং সিন্থেটিক জোড়া একত্রিত করুন। প্রতিটি সিন্থেটিক জোড়ার জন্য সাদৃশ্য স্কোর গণনা করতে একটি বাক্য এমবেডিং মডেল (যেমন, LaBSE) ব্যবহার করুন। একটি ক্যালিব্রেটেড সাদৃশ্য থ্রেশহোল্ড (যেমন, ০.৮) এর নিচের সমস্ত জোড়া ফিল্টার করুন।
4. ধাপ ৪ - অপ্টিমাইজ (প্রশিক্ষণ ও এনসেম্বল): নিয়মিতকৃত ড্রপআউট সহ পরিষ্কার, অগমেন্টেড ডেটাসেটে একাধিক চূড়ান্ত মডেল প্রশিক্ষণ দিন। একটি একক উৎপাদন মডেলে একত্রিত করতে ট্রান্সডাকশন এনসেম্বল লার্নিং ব্যবহার করুন।

এই কাঠামোগত, ধাপ-নিয়ন্ত্রিত পদ্ধতিটি প্রকল্পের ঝুঁকি হ্রাস করে এবং স্পষ্ট মাইলফলক প্রদান করে, যা হুয়াওয়ের কাজে স্পষ্ট শিল্প গবেষণা ও উন্নয়ন প্রক্রিয়াকে প্রতিফলিত করে।

9. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা

প্রদর্শিত কৌশলগুলির স্পেনের নির্দিষ্ট ভাষাগুলির বাইরেও বিস্তৃত প্রয়োগযোগ্যতা রয়েছে:

• ডিজিটাল সংরক্ষণ: ন্যূনতম সমান্তরাল ডেটা সহ শত শত বিপন্ন বৈশ্বিক ভাষার জন্য অনুবাদ এবং বিষয়বস্তু তৈরি সক্ষম করা।
• এন্টারপ্রাইজ ডোমেন অভিযোজন: সাধারণ এমটি মডেলগুলিকে অত্যন্ত বিশেষায়িত পরিভাষায় (যেমন, আইনি, চিকিৎসা) দ্রুত অভিযোজিত করা যেখানে ইন-ডোমেন সমান্তরাল ডেটা বিরল কিন্তু একভাষিক ম্যানুয়াল/ঐতিহ্যবাহী নথি বিদ্যমান।
• মাল্টিমোডাল স্বল্প-সম্পদ শিক্ষণ: পাইপলাইনের নীতিগুলি—স্থানান্তর, সিন্থেটিক ডেটা, ডিনয়েজিং—স্বল্প-সম্পদ ইমেজ ক্যাপশনিং বা স্পিচ ট্রান্সলেশন কাজের জন্য অভিযোজিত হতে পারে।

ভবিষ্যতের গবেষণার দিকনির্দেশনা:

1. এলএলএম ইন্টিগ্রেশন: সবচেয়ে জরুরি দিক হল এই পাইপলাইনটিকে ডিকোডার-শুধু এলএলএমগুলির সাথে একীভূত করা। ভবিষ্যতের কাজের উচিত গুণমান, খরচ এবং বিলম্বের পরিপ্রেক্ষিতে ফাইন-টিউনিং (যেমন, Mistral, Llama) এই কাস্টমাইজড এনএমটি পদ্ধতির সাথে তুলনা করা।
2. গতিশীল ডেটা সময়সূচি: স্থির ফিল্টারিংয়ের পরিবর্তে, শিক্ষার সময় আসল বনাম সিন্থেটিক, পরিষ্কার বনাম শব্দযুক্ত ডেটার প্রবর্তন বুদ্ধিমত্তার সাথে সময়সূচি করার পাঠ্যক্রম শিক্ষণ কৌশল বিকাশ করুন।
3. ব্যাখ্যাযোগ্য ডিনয়েজিং: কোসাইন সাদৃশ্য থ্রেশহোল্ডের বাইরে সিন্থেটিক ডেটা গুণমানের জন্য আরও ব্যাখ্যাযোগ্য মেট্রিক্সে যান, সম্ভাব্যভাবে মডেল আত্মবিশ্বাস বা অনিশ্চয়তা অনুমান ব্যবহার করে।
4. জিরো-শট স্থানান্তর: অন্বেষণ করুন যে এই স্প্যানিশ ভাষাগুলির স্যুটে প্রশিক্ষিত মডেলগুলি অদেখা কিন্তু সম্পর্কিত রোমান্স ভাষাগুলিতে কীভাবে কাজ করে, প্রকৃত জিরো-শট ক্ষমতার দিকে এগিয়ে যাচ্ছে।

10. তথ্যসূত্র

1. Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.
2. Feng, F., Yang, Y., Cer, D., Ariwazhagan, N., & Wang, W. (2020). Language-agnostic BERT sentence embedding. arXiv preprint arXiv:2007.01852.
3. Koehn, P., et al. (2007). Moses: Open source toolkit for statistical machine translation. ACL.
4. Li, Z., et al. (2022). Pre-training multilingual neural machine translation by leveraging alignment information. Findings of EMNLP.
5. Ruder, S. (2023). Recent Advances in Natural Language Processing. ACL Rolling Review Survey Track.
6. Wang, Y., et al. (2020). Transduction ensemble learning for neural machine translation. AAAI.
7. Wu, Z., et al. (2021). Regularized dropout for neural machine translation. ACL-IJCNLP.
8. Wu, Z., et al. (2023). Synthetic data for neural machine translation: A survey. Computational Linguistics.
9. Zhu, J.Y., Park, T., Isola, P., & Efros, A.A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. ICCV.