রিইনফোর্সমেন্ট লার্নিং সহ মাল্টিমোডাল মেশিন ট্রান্সলেশন: একটি অভিনব A2C পদ্ধতি

সূচিপত্র

1. ভূমিকা

মেশিন ট্রান্সলেশন (এমটি) ঐতিহ্যগতভাবে শুধুমাত্র পাঠ্য তথ্যের উপর নির্ভর করে। এই গবেষণাপত্রটি মাল্টিমোডাল মেশিন ট্রান্সলেশন (এমএমটি) নিয়ে অনুসন্ধান করে, যা অনুবাদের মান উন্নত করতে ছবির মতো অতিরিক্ত মোডালিটি একীভূত করে। সমাধান করা মূল চ্যালেঞ্জটি হল প্রশিক্ষণের উদ্দেশ্য (সর্বাধিক সম্ভাবনা অনুমান) এবং চূড়ান্ত-লক্ষ্য মূল্যায়ন মেট্রিক্স (যেমন, BLEU) এর মধ্যে ব্যবধান, পাশাপাশি ক্রম উৎপাদনে এক্সপোজার বায়াস সমস্যা।

লেখকরা অনুবাদের মানের মেট্রিক্সের জন্য সরাসরি অপ্টিমাইজ করার জন্য রিইনফোর্সমেন্ট লার্নিং (আরএল), বিশেষভাবে এডভান্টেজ অ্যাক্টর-ক্রিটিক (A2C) অ্যালগরিদম ব্যবহার করে একটি অভিনব সমাধান প্রস্তাব করেছেন। মডেলটি Multi30K এবং Flickr30K ডেটাসেট ব্যবহার করে WMT18 মাল্টিমোডাল ট্রান্সলেশন টাস্কে প্রয়োগ করা হয়েছে।

2. সম্পর্কিত কাজ

গবেষণাপত্রটি নিজেকে দুটি সমান্তরাল ক্ষেত্রের মধ্যে স্থাপন করে: নিউরাল মেশিন ট্রান্সলেশন (এনএমটি) এবং ক্রম কাজের জন্য রিইনফোর্সমেন্ট লার্নিং। এটি জিন এট আল. এর মৌলিক এনএমটি কাজ এবং ভিনিয়ালস এট আল. এর নিউরাল ইমেজ ক্যাপশন (এনআইসি) মডেলের উল্লেখ করে। ক্রম ভবিষ্যদ্বাণীর জন্য আরএল-এর ক্ষেত্রে, এটি র্যানজাটো এট আল. এর REINFORCE ব্যবহার করে করা কাজ উদ্ধৃত করে। মূল পার্থক্য হল A2C-এর প্রয়োগ বিশেষভাবে মাল্টিমোডাল ট্রান্সলেশন সেটিং-এ, যেখানে পলিসিকে ভিজ্যুয়াল এবং টেক্সচুয়াল উভয় প্রসঙ্গ বিবেচনা করতে হয়।

3. পদ্ধতি

3.1. মডেল আর্কিটেকচার

প্রস্তাবিত আর্কিটেকচারটি একটি দ্বৈত-এনকোডার, একক-ডিকোডার মডেল। একটি ResNet-ভিত্তিক সিএনএন ছবির বৈশিষ্ট্যগুলো এনকোড করে, যখন একটি দ্বিমুখী RNN (সম্ভবত LSTM/GRU) উৎস বাক্যটি এনকোড করে। এই মাল্টিমোডাল উপস্থাপনাগুলো একীভূত করা হয় (যেমন, সংযোজন বা অ্যাটেনশনের মাধ্যমে) এবং একটি RNN ডিকোডার-এ খাওয়ানো হয়, যা A2C কাঠামোতে অ্যাক্টর হিসেবে কাজ করে, টার্গেট অনুবাদটিকে টোকেন-বাই-টোকেন তৈরি করে।

3.2. রিইনফোর্সমেন্ট লার্নিং ফর্মুলেশন

অনুবাদ প্রক্রিয়াটিকে একটি মার্কভ ডিসিশন প্রসেস (এমডিপি) হিসেবে ফ্রেম করা হয়েছে।

• অবস্থা ($s_t$): বর্তমান ডিকোডার লুকানো অবস্থা, ছবি এবং উৎস পাঠ্য থেকে সম্মিলিত প্রসঙ্গ, এবং আংশিকভাবে তৈরি টার্গেট ক্রম।
• কর্ম ($a_t$): পরবর্তী টার্গেট শব্দভাণ্ডার টোকেন নির্বাচন করা।
• পলিসি ($\pi_\theta(a_t | s_t)$): $\theta$ দ্বারা প্যারামিটারাইজড ডিকোডার নেটওয়ার্ক।
• পুরস্কার ($r_t$): একটি স্পার্স পুরস্কার, সাধারণত সম্পূর্ণ তৈরি ক্রমের BLEU স্কোর রেফারেন্সের সাথে তুলনা করে। এটি প্রশিক্ষণকে সরাসরি মূল্যায়নের সাথে সামঞ্জস্যপূর্ণ করে।

ক্রিটিক নেটওয়ার্ক ($V_\phi(s_t)$) একটি অবস্থার মান অনুমান করে, এডভান্টেজ $A(s_t, a_t) = Q(s_t, a_t) - V(s_t)$ ব্যবহার করে পলিসি আপডেটের ভ্যারিয়েন্স কমাতে সাহায্য করে।

3.3. প্রশিক্ষণ পদ্ধতি

প্রশিক্ষণে স্থিতিশীলতার জন্য সুপারভাইজড প্রি-ট্রেনিং (এমএলই) এবং আরএল ফাইন-টিউনিং একত্রিত করা জড়িত। এডভান্টেজ সহ পলিসি গ্রেডিয়েন্ট আপডেট হল: $\nabla_\theta J(\theta) \approx \mathbb{E}[\nabla_\theta \log \pi_\theta(a_t|s_t) A(s_t, a_t)]$। ক্রিটিকটিকে টেম্পোরাল ডিফারেন্স ত্রুটি কমানোর জন্য আপডেট করা হয়।

4. পরীক্ষা ও ফলাফল

4.1. ডেটাসেট

Multi30K: 30,000টি ছবি ধারণ করে, প্রতিটির সাথে ইংরেজি বর্ণনা এবং জার্মান অনুবাদ রয়েছে। Flickr30K Entities: ফ্রেজ-লেভেল অ্যানোটেশন সহ Flickr30K কে প্রসারিত করে, এখানে আরও সূক্ষ্ম মাল্টিমোডাল অ্যালাইনমেন্ট টাস্কের জন্য ব্যবহৃত হয়েছে।

4.2. মূল্যায়ন মেট্রিক্স

প্রাথমিক মেট্রিক: BLEU (বাইলিংগুয়াল ইভ্যালুয়েশন আন্ডারস্টাডি)। এছাড়াও রিপোর্ট করা হয়েছে: METEOR এবং CIDEr যেখানে প্রযোজ্য সেখানে ক্যাপশন মান মূল্যায়নের জন্য।

4.3. ফলাফল বিশ্লেষণ

গবেষণাপত্রটি রিপোর্ট করে যে প্রস্তাবিত A2C-ভিত্তিক এমএমটি মডেল সুপারভাইজড এমএলই বেসলাইনকে ছাড়িয়ে গেছে। মূল ফলাফলের মধ্যে রয়েছে:

• ইংরেজি-জার্মান অনুবাদ টাস্কে উন্নত BLEU স্কোর, যা সরাসরি মেট্রিক অপ্টিমাইজেশনের কার্যকারিতা প্রদর্শন করে।
• ভিজ্যুয়ালাইজেশন সম্ভবত দেখিয়েছে যে মডেলটি অস্পষ্ট শব্দ তৈরি করার সময় প্রাসঙ্গিক ছবির অঞ্চলে মনোযোগ দিতে শিখেছে (যেমন, "bank" অর্থনৈতিক বনাম নদীর তীর হিসেবে)।
• আরএল পদ্ধতিটি এক্সপোজার বায়াস প্রশমিত করতে সাহায্য করেছে, যার ফলে আরও শক্তিশালী দীর্ঘ-ক্রম উৎপাদন হয়েছে।

প্রকল্পিত ফলাফল টেবিল (গবেষণাপত্র বর্ণনার ভিত্তিতে):

5. আলোচনা

5.1. শক্তি ও সীমাবদ্ধতা

শক্তি:

• সরাসরি অপ্টিমাইজেশন: প্রশিক্ষণ ক্ষতি (এমএলই) এবং মূল্যায়ন মেট্রিক্স (BLEU) এর মধ্যে ব্যবধান দূর করে।
• মাল্টিমোডাল ফিউশন: অনুবাদকে দ্ব্যর্থতা দূর করতে ভিজ্যুয়াল প্রসঙ্গকে কার্যকরভাবে কাজে লাগায়।
• পক্ষপাত প্রশমন: প্রশিক্ষণের সময় আরএল-এর এক্সপ্লোরেশনের মাধ্যমে এক্সপোজার বায়াস হ্রাস করে।

সীমাবদ্ধতা ও ত্রুটি:

• উচ্চ ভ্যারিয়েন্স ও অস্থিরতা: আরএল প্রশিক্ষণ কুখ্যাতভাবে জটিল; কনভারজেন্স এমএলই-এর তুলনায় ধীর এবং কম স্থিতিশীল।
• স্পার্স পুরস্কার: শুধুমাত্র চূড়ান্ত-ক্রম BLEU ব্যবহার করলে খুব স্পার্স পুরস্কার পাওয়া যায়, যা ক্রেডিট অ্যাসাইনমেন্ট কঠিন করে তোলে।
• গণনীয় ব্যয়: আরএল প্রশিক্ষণের সময় সম্পূর্ণ ক্রম স্যাম্পলিং প্রয়োজন, যা গণনা সময় বৃদ্ধি করে।
• মেট্রিক গেমিং: BLEU-এর জন্য অপ্টিমাইজ করা মেট্রিক "গেমিং"-এর দিকে নিয়ে যেতে পারে, যা সাবলীল কিন্তু ভুল বা অর্থহীন অনুবাদ তৈরি করে, এটি ETH Zurich NLP গ্রুপের মতো সমালোচনায় আলোচিত একটি পরিচিত সমস্যা।

5.2. ভবিষ্যৎ দিকনির্দেশনা

গবেষণাপত্রটি আরও পরিশীলিত পুরস্কার ফাংশন অন্বেষণ (যেমন, BLEU-কে শব্দার্থিক সাদৃশ্যের সাথে একত্রিত করা), এই কাঠামোটি অন্যান্য মাল্টিমোডাল seq2seq টাস্কে প্রয়োগ (যেমন, ভিডিও ক্যাপশনিং), এবং PPO-এর মতো আরও নমুনা-দক্ষ আরএল অ্যালগরিদম তদন্ত করার পরামর্শ দেয়।

6. মূল বিশ্লেষণ ও বিশেষজ্ঞ অন্তর্দৃষ্টি

মূল অন্তর্দৃষ্টি: এই গবেষণাপত্রটি শুধু অনুবাদে ছবি যোগ করার বিষয়ে নয়; এটি ডেটা অনুকরণ (এমএলই) থেকে সরাসরি একটি লক্ষ্য অনুসরণ (আরএল) করার কৌশলগত পরিবর্তন। লেখকরা স্ট্যান্ডার্ড এনএমটি প্রশিক্ষণের মৌলিক অসামঞ্জস্য সঠিকভাবে চিহ্নিত করেছেন। তাদের A2C ব্যবহার একটি ব্যবহারিক পছন্দ—বিশুদ্ধ পলিসি গ্রেডিয়েন্ট (REINFORCE) এর চেয়ে বেশি স্থিতিশীল কিন্তু সেই সময়ে পূর্ণাঙ্গ PPO-এর চেয়ে কম জটিল, যা একটি অভিনব প্রয়োগ ক্ষেত্রের জন্য একটি কার্যকর প্রথম পদক্ষেপ করে তোলে।

যুক্তিগত প্রবাহ ও কৌশলগত অবস্থান: যুক্তিটি সঠিক: 1) এমএলই-এর লক্ষ্য মিসম্যাচ এবং এক্সপোজার বায়াস রয়েছে, 2) আরএল মূল্যায়ন মেট্রিককে পুরস্কার হিসেবে ব্যবহার করে এটি সমাধান করে, 3) মাল্টিমোডালিটি গুরুত্বপূর্ণ দ্ব্যর্থতা দূরীকরণ প্রসঙ্গ যোগ করে, 4) অতএব, আরএল+মাল্টিমোডালিটি উচ্চতর ফলাফল দেবে। এটি কাজটিকে তিনটি জনপ্রিয় বিষয়ের (এনএমটি, আরএল, ভিশন-ল্যাঙ্গুয়েজ) সংযোগস্থলে অবস্থান দেয়, প্রভাবের জন্য একটি চতুর পদক্ষেপ। যাইহোক, গবেষণাপত্রের দুর্বলতা, প্রাথমিক আরএল-ফর-এনএলপি কাজে সাধারণ, হল আরএল প্রশিক্ষণের ইঞ্জিনিয়ারিং জটিলতা-কে কম গুরুত্ব দেওয়া—ভ্যারিয়েন্স, পুরস্কার শেপিং, এবং হাইপারপ্যারামিটার সংবেদনশীলতা—যা প্রায়শই পুনরুৎপাদনযোগ্যতাকে একটি দুঃস্বপ্নে পরিণত করে, যেমন গুগল ব্রেইন এবং FAIR-এর পরবর্তী সার্ভেগুলিতে উল্লেখ করা হয়েছে।

শক্তি ও ত্রুটি: প্রধান শক্তি হল ধারণাগত স্বচ্ছতা এবং স্ট্যান্ডার্ড ডেটাসেটে প্রুফ-অফ-কনসেপ্ট। ত্রুটিগুলো ভবিষ্যতের কাজের জন্য রেখে দেওয়া বিবরণে রয়েছে: স্পার্স BLEU পুরস্কার একটি কঠোর যন্ত্র। মাইক্রোসফট রিসার্চ এবং অ্যালেনএআই-এর গবেষণা দেখিয়েছে যে ঘন, মধ্যবর্তী পুরস্কার (যেমন, বাক্য গঠনগত সঠিকতার জন্য) বা অ্যাডভারসারিয়াল পুরস্কার প্রায়শই সামঞ্জস্যপূর্ণ উচ্চ-মানের উৎপাদনের জন্য প্রয়োজনীয়। মাল্টিমোডাল ফিউশন পদ্ধতিও সম্ভবত সরল (প্রাথমিক সংযোজন); ViLBERT-এর মতো মডেল দ্বারা অনুপ্রাণিত স্ট্যাকড ক্রস-অ্যাটেনশনের মতো আরও গতিশীল প্রক্রিয়া একটি প্রয়োজনীয় বিবর্তন হবে।

কার্যকরী অন্তর্দৃষ্টি: অনুশীলনকারীদের জন্য, এই গবেষণাপত্রটি একটি আলোকবর্তিকা যা ইঙ্গিত করে যে লক্ষ্য-ভিত্তিক প্রশিক্ষণ হল ভবিষ্যৎ জেনারেটিভ এআই-এর, শুধু অনুবাদের জন্য নয়। কার্যকরী উপলব্ধি হল আপনার সত্যিকারের মূল্যায়ন মানদণ্ডকে প্রতিফলিত করে এমন ক্ষতি ফাংশন এবং প্রশিক্ষণ শাসন ডিজাইন করা শুরু করা, এমনকি যদি এটি আরামদায়ক এমএলই-এর বাইরে যাওয়ার অর্থ হয়। গবেষকদের জন্য, পরবর্তী পদক্ষেপটি স্পষ্ট: হাইব্রিড মডেল। একটি ভাল প্রাথমিক পলিসির জন্য এমএলই দিয়ে প্রি-ট্রেন করুন, তারপর আরএল+মেট্রিক পুরস্কার দিয়ে ফাইন-টিউন করুন, এবং সম্ভবত উন্নত টেক্সট জেনারেশন মডেলগুলিতে দেখা যায় এমন সাবলীলতার জন্য কিছু GAN-স্টাইল ডিসক্রিমিনেটর মিশ্রিত করুন। ভবিষ্যৎ মাল্টি-অবজেক্টিভ অপ্টিমাইজেশন-এ নিহিত, এমএলই-এর স্থিতিশীলতা, আরএল-এর লক্ষ্য-নির্দেশিততা এবং GAN-এর অ্যাডভারসারিয়াল তীক্ষ্ণতাকে মিশ্রিত করে।

7. প্রযুক্তিগত বিবরণ

মূল গাণিতিক সূত্র:

মূল আরএল আপডেট একটি এডভান্টেজ বেসলাইন সহ পলিসি গ্রেডিয়েন্ট উপপাদ্য ব্যবহার করে:

$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}[\nabla_\theta \log \pi_\theta(a|s) \, A^{\pi_\theta}(s,a)]$

যেখানে $A^{\pi_\theta}(s,a) = Q(s,a) - V(s)$ হল এডভান্টেজ ফাংশন। A2C-তে, ক্রিটিক নেটওয়ার্ক $V_\phi(s)$ অবস্থা-মান ফাংশন অনুমান করতে শেখে, এবং এডভান্টেজ অনুমান করা হয়:

$A(s_t, a_t) = r_t + \gamma V_\phi(s_{t+1}) - V_\phi(s_t)$ (যেখানে $t < T$), এবং $r_T$ হল চূড়ান্ত BLEU স্কোর।

ক্ষতি ফাংশনগুলি হল:

অ্যাক্টর (পলিসি) ক্ষতি: $L_{actor} = -\sum_t \log \pi_\theta(a_t|s_t) A(s_t, a_t)$

ক্রিটিক (মান) ক্ষতি: $L_{critic} = \sum_t (r_t + \gamma V_\phi(s_{t+1}) - V_\phi(s_t))^2$

8. বিশ্লেষণ কাঠামোর উদাহরণ

কেস স্টাডি: "He is fishing by the bank." অনুবাদ করা

পরিস্থিতি: একটি শুধুমাত্র-পাঠ্য এনএমটি মডেল "bank" কে এর সবচেয়ে ঘন ঘন আর্থিক প্রতিষ্ঠানের অর্থে অনুবাদ করতে পারে ("Bank" জার্মান ভাষায়)।

প্রস্তাবিত মডেলের কাঠামো:

1. ইনপুট প্রসেসিং:
   • টেক্সট এনকোডার: "He is fishing by the bank." প্রসেস করে। "bank" শব্দটির উচ্চ অস্পষ্টতা রয়েছে।
   • ইমেজ এনকোডার (ResNet): সংযুক্ত ছবিটি প্রসেস করে, একটি নদী, জল, সবুজ এবং একটি রড সহ একজন ব্যক্তির ইঙ্গিত দেয় এমন বৈশিষ্ট্যগুলি নিষ্কাশন করে।
2. মাল্টিমোডাল ফিউশন: সম্মিলিত উপস্থাপনাটি "আর্থিক ভবন" এর চেয়ে "নদী" সম্পর্কিত ভিজ্যুয়াল বৈশিষ্ট্যগুলিকে দৃঢ়ভাবে ওজন দেয়।
3. আরএল-নির্দেশিত ডিকোডিং (অ্যাক্টর): ডিকোডার, "bank" শব্দের জন্য শব্দ তৈরি করার ধাপে, ভিজ্যুয়াল প্রসঙ্গ দ্বারা প্রভাবিত একটি পলিসি $\pi_\theta(a|s)$ রয়েছে। জার্মান শব্দভাণ্ডারের উপর সম্ভাব্যতা বন্টন "Ufer" (নদীর তীর) এর জন্য "Bank" এর চেয়ে বেশি শিফট করে।
4. পুরস্কার গণনা (ক্রিটিক): সম্পূর্ণ ক্রম "Er angelt am Ufer" তৈরি করার পরে, মডেলটি মানব রেফারেন্স অনুবাদের সাথে তুলনা করে একটি পুরস্কার (যেমন, BLEU স্কোর) পায়। একটি সঠিক দ্ব্যর্থতা দূরীকরণ একটি উচ্চতর পুরস্কার দেয়, সেই ধাপে ছবিতে মনোযোগ দেওয়ার পলিসির সিদ্ধান্তকে শক্তিশালী করে।

এই উদাহরণটি চিত্রিত করে যে কীভাবে কাঠামোটি শব্দার্থিক অস্পষ্টতা সমাধানের জন্য ভিজ্যুয়াল প্রসঙ্গ ব্যবহার করে, আরএল লুপ নিশ্চিত করে যে এই ধরনের সঠিক দ্ব্যর্থতা দূরীকরণ সরাসরি পুরস্কৃত এবং শেখা হয়।

9. ভবিষ্যৎ প্রয়োগ ও সম্ভাবনা

এখানে উপস্থাপিত প্যারাডাইমের ছবি-নির্দেশিত অনুবাদের বাইরেও সুদূরপ্রসারী প্রভাব রয়েছে:

• অ্যাক্সেসিবিলিটি প্রযুক্তি: বধির/শ্রবণ প্রতিবন্ধী ব্যক্তিদের জন্য রিয়েল-টাইম অডিও-ভিজ্যুয়াল অনুবাদ, যেখানে সাইন ল্যাঙ্গুয়েজের ভিডিও এবং প্রাসঙ্গিক দৃশ্য তথ্য পাঠ্য/বক্তৃতায় অনুবাদ করা হয়।
• এমবডিড এআই ও রোবোটিক্স: রোবটগুলি নির্দেশ ব্যাখ্যা করে ("চকচকে কাপটি তুলে নাও") ক্যামেরা থেকে ভাষা কমান্ড এবং ভিজ্যুয়াল উপলব্ধি একত্রিত করে, টাস্ক সম্পূর্ণ করার সাফল্যের জন্য অপ্টিমাইজ করতে আরএল ব্যবহার করে।
• সৃজনশীল বিষয়বস্তু উৎপাদন: ছবির সিরিজ বা ভিডিও গল্পরেখার উপর ভিত্তি করে গল্পের অধ্যায় বা সংলাপ (পাঠ্য) তৈরি করা, বর্ণনামূলক সংহতি এবং সম্পৃক্ততার জন্য পুরস্কার সহ।
• মেডিকেল ইমেজিং রিপোর্ট: রেডিওলজি স্ক্যান (ছবি) এবং রোগীর ইতিহাস (পাঠ্য) ডায়াগনস্টিক রিপোর্টে অনুবাদ করা, ক্লিনিকাল নির্ভুলতা এবং সম্পূর্ণতার জন্য পুরস্কার সহ।
• ভবিষ্যৎ প্রযুক্তিগত দিকনির্দেশনা: বৃহৎ মাল্টিমোডাল ফাউন্ডেশন মডেল (যেমন, GPT-4V, Claude 3) এর সাথে শক্তিশালী এনকোডার হিসেবে একীকরণ; মানুষের পছন্দ থেকে পুরস্কার ফাংশন শেখার জন্য ইনভার্স রিইনফোর্সমেন্ট লার্নিং ব্যবহার; বিদ্যমান বিশাল অনুবাদ ডেটাসেট আরও দক্ষভাবে কাজে লাগানোর জন্য অফলাইন আরএল প্রয়োগ।

মূল প্রবণতা হল প্যাসিভ, সম্ভাবনা-ভিত্তিক মডেল থেকে সক্রিয়, লক্ষ্য-চালিত এজেন্ট-এ স্থানান্তরিত হওয়া যা সুসংজ্ঞায়িত উদ্দেশ্য অর্জনের জন্য একাধিক তথ্য প্রবাহ কাজে লাগাতে পারে। এই গবেষণাপত্রটি সেই পথে একটি প্রাথমিক কিন্তু গুরুত্বপূর্ণ পদক্ষেপ।

10. তথ্যসূত্র

1. Jean, S., Cho, K., Memisevic, R., & Bengio, Y. (2015). On using very large target vocabulary for neural machine translation. ACL.
2. Bengio, S., Vinyals, O., Jaitly, N., & Shazeer, N. (2015). Scheduled sampling for sequence prediction with recurrent neural networks. NeurIPS.
3. Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2015). Show and tell: A neural image caption generator. CVPR.
4. Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhutdinov, R., ... & Bengio, Y. (2015). Show, attend and tell: Neural image caption generation with visual attention. ICML.
5. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. CVPR.
6. Ranzato, M., Chopra, S., Auli, M., & Zaremba, W. (2016). Sequence level training with recurrent neural networks. ICLR.
7. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347.
8. Lu, J., Batra, D., Parikh, D., & Lee, S. (2019). ViLBERT: Pretraining task-agnostic visiolinguistic representations for vision-and-language tasks. NeurIPS.
9. Google Brain & FAIR. (2020). Challenges in Reinforcement Learning for Text Generation (Survey).
10. Microsoft Research. (2021). Dense Reward Engineering for Language Generation.