কম্পিউটার-সহায়ক অনুবাদের জন্য স্নায়বিক গুণমান অনুমান ও স্বয়ংক্রিয় পোস্ট-সম্পাদনা

সূচিপত্র

1. ভূমিকা

স্নায়বিক মেশিন অনুবাদের (এনএমটি) আবির্ভাব মেশিন-উৎপাদিত অনুবাদের ব্যবহারের দিকে দৃষ্টিভঙ্গি পরিবর্তন করেছে। তবে, এনএমটির ফলাফল ও মানব মানের মধ্যকার ব্যবধান ম্যানুয়াল পোস্ট-সম্পাদনার প্রয়োজনীয়তা তৈরি করে, যা একটি সময়সাপেক্ষ প্রক্রিয়া। এই গবেষণাপত্রটি একটি এন্ড-টু-এন্ড গভীর শিক্ষণ কাঠামো প্রস্তাব করে যা গুণমান অনুমান (কিউই) এবং স্বয়ংক্রিয় পোস্ট-সম্পাদনা (এপিই) সংযুক্ত করে। লক্ষ্য হলো ত্রুটি সংশোধনের পরামর্শ প্রদান এবং মানব অনুবাদকের পোস্ট-সম্পাদনা আচরণ অনুকরণকারী একটি ব্যাখ্যাযোগ্য, স্তরবিন্যাস মডেলের মাধ্যমে তাদের বোঝা কমানো।

2. সম্পর্কিত কাজ

এই কাজটি বেশ কয়েকটি পরস্পরসংযুক্ত গবেষণা ধারার উপর প্রতিষ্ঠিত: স্নায়বিক মেশিন অনুবাদ (এনএমটি), গুণমান অনুমান (তথ্যসূত্র ছাড়াই অনুবাদের গুণমান পূর্বাভাস দেওয়া), এবং স্বয়ংক্রিয় পোস্ট-সম্পাদনা (এমটি আউটপুট স্বয়ংক্রিয়ভাবে সংশোধন করা)। এটি কম্পিউটার-সহায়ক অনুবাদ (ক্যাট) ইকোসিস্টেমের মধ্যে নিজেকে স্থাপন করে, যার লক্ষ্য স্বতন্ত্র এমটি বা কিউই সিস্টেমের বাইরে গিয়ে একটি সংযুক্ত, সিদ্ধান্ত-চালিত পাইপলাইনের দিকে অগ্রসর হওয়া।

3. পদ্ধতি

মূল উদ্ভাবন হলো তিনটি ডেলিগেশন মডিউল সম্বলিত একটি স্তরবিন্যাস মডেল, যা ট্রান্সফরমার স্নায়বিক নেটওয়ার্কের সাথে দৃঢ়ভাবে সংযুক্ত।

3.1 স্তরবিন্যাস মডেল স্থাপত্য

মডেলটি প্রথমে একটি সূক্ষ্ম-দানাদার কিউই মডিউলের মাধ্যমে এমটি প্রার্থীদের স্ক্রিন করে। পূর্বাভাসিত সামগ্রিক গুণমান স্কোরের ভিত্তিতে, এটি শর্তসাপেক্ষে বাক্যটিকে দুটি পোস্ট-সম্পাদনা পথের একটিতে রুট করে।

3.2 গুণমান অনুমান মডিউল

এই মডিউলটি বিস্তারিত টোকেন-লেভেল ত্রুটি (যেমন, ভুল অনুবাদ, বাদ পড়া) পূর্বাভাস দেয় যা সামগ্রিক বাক্য-স্তরের গুণমান স্কোরে সমষ্টিবদ্ধ হয়। এটি উৎস বাক্য এবং এমটি আউটপুট বিশ্লেষণ করতে ট্রান্সফরমার-ভিত্তিক এনকোডার ব্যবহার করে।

3.3 সৃজনশীল পোস্ট-সম্পাদনা

কিউই মডিউল দ্বারা নিম্ন গুণমান বিবেচিত বাক্যগুলির জন্য, একটি সিকোয়েন্স-টু-সিকোয়েন্স সৃজনশীল মডেল (ট্রান্সফরমার ভিত্তিক) সম্পূর্ণরূপে অনুবাদটি পুনরায় বাক্য গঠন ও লেখার জন্য নিযুক্ত করা হয়। এটি সমস্যাযুক্ত অংশের উপর দৃষ্টি নিবদ্ধ করে একটি পূর্ণ পুনরায় অনুবাদের অনুরূপ।

3.4 পারমাণবিক অপারেশন পোস্ট-সম্পাদনা

ছোটখাটো ত্রুটি সহ উচ্চ গুণমানের বাক্যগুলির জন্য, একটি আরও দক্ষ মডিউল ব্যবহার করা হয়। এটি টোকেন স্তরে পারমাণবিক সম্পাদনা অপারেশনের একটি ক্রম (যেমন, KEEP, DELETE, REPLACE_WITH_X) পূর্বাভাস দেয়, মূল এমটি আউটপুটে পরিবর্তন ন্যূনতম করে। অবস্থান $t$-এ একটি অপারেশন $o_t$-এর সম্ভাব্যতা মডেল করা যেতে পারে: $P(o_t | \mathbf{s}, \mathbf{mt}_{1:t}) = \text{Softmax}(\mathbf{W} \cdot \mathbf{h}_t + \mathbf{b})$ যেখানে $\mathbf{h}_t$ মডেল থেকে লুকানো অবস্থা, $\mathbf{s}$ উৎস, এবং $\mathbf{mt}$ মেশিন অনুবাদ।

4. পরীক্ষা ও ফলাফল

4.1 ডেটাসেট ও সেটআপ

মূল্যায়ন WMT 2017 APE শেয়ার্ড টাস্ক থেকে ইংরেজি–জার্মান ডেটাসেটে পরিচালিত হয়েছিল। স্ট্যান্ডার্ড মেট্রিক BLEU (উচ্চতর ভালো) এবং TER (অনুবাদ সম্পাদনা হার, নিম্নতর ভালো) ব্যবহার করা হয়েছিল।

4.2 পরিমাণগত ফলাফল (BLEU/TER)

প্রস্তাবিত স্তরবিন্যাস মডেলটি WMT 2017 APE টাস্কে সর্বশেষ সেরা কর্মক্ষমতা অর্জন করেছে, BLEU এবং TER স্কোর উভয় ক্ষেত্রেই শীর্ষস্থানীয় পদ্ধতিগুলিকে ছাড়িয়ে গেছে। এটি শর্তসাপেক্ষ রাউটিং কৌশল এবং দ্বৈত পোস্ট-সম্পাদনা পদ্ধতির কার্যকারিতা প্রদর্শন করে।

4.3 মানব মূল্যায়ন

একটি নিয়ন্ত্রিত মানব মূল্যায়নে, প্রত্যয়িত অনুবাদকদের প্রস্তাবিত এপিই সিস্টেমের সহায়তা সহ ও ছাড়া এমটি আউটপুট পোস্ট-সম্পাদনা করতে বলা হয়েছিল। ফলাফলে দেখা গেছে যে এপিই পরামর্শ ব্যবহার করার সময় পোস্ট-সম্পাদনা সময়ে উল্লেখযোগ্য হ্রাস ঘটেছে, যা বাস্তব-বিশ্বের ক্যাট ওয়ার্কফ্লোতে সিস্টেমের ব্যবহারিক উপযোগিতা নিশ্চিত করে।

5. প্রযুক্তিগত বিশ্লেষণ ও কাঠামো

5.1 মূল অন্তর্দৃষ্টি ও যৌক্তিক প্রবাহ

মূল অন্তর্দৃষ্টি: গবেষণাপত্রের মৌলিক অগ্রগতি শুধু আরেকটি এপিই মডেল নয়; এটি হলো মানব পোস্ট-সম্পাদকের জ্ঞানীয় প্রক্রিয়ার কৌশলগত স্নায়বিক নেটওয়ার্ক দ্বারা নির্বাহযোগ্য একটি সিদ্ধান্ত বৃক্ষে বিভাজন। একটি একক "ঠিক-করো" মডেলের পরিবর্তে, তারা বিশেষজ্ঞ অনুবাদকের প্রথম ধাপটি অনুকরণ করে: মূল্যায়ন করুন, তারপর যথাযথভাবে কাজ করুন। এটি উন্নত রোবোটিক্স এবং রিইনফোর্সমেন্ট লার্নিংয়ে দেখা "অনুমান তারপর কর্ম" পাইপলাইনের প্রতিফলন ঘটায়, ভাষাগত সংশোধনে এটি প্রয়োগ করে। সৃজনশীল ও পারমাণবিক সম্পাদনার মধ্যকার পছন্দটি সরাসরি একজন মানুষের একটি বিশ্রী অনুচ্ছেদ পুনর্লিখন বা কেবল একটি টাইপো সংশোধনের মধ্যে সিদ্ধান্ত নেওয়ার অনুরূপ।

যৌক্তিক প্রবাহ: পাইপলাইনটি মার্জিতভাবে অনুক্রমিক কিন্তু শর্তসাপেক্ষ। ১) নির্ণয় (কিউই): একটি সূক্ষ্ম-দানাদার, টোকেন-লেভেল ত্রুটি সনাক্তকরণ সিস্টেম ডায়াগনস্টিক টুল হিসেবে কাজ করে। এটি বাক্য-স্তরের স্কোরিংয়ের চেয়ে বেশি উন্নত, সমস্যার একটি "হিটম্যাপ" প্রদান করে। ২) ট্রায়াজ: নির্ণয় একটি বাইনারি সিদ্ধান্তে সমষ্টিবদ্ধ হয়: এটি কি একটি "অসুস্থ" বাক্য (নিম্ন গুণমান) নাকি ছোটখাটো অসুস্থতা সহ একটি "সুস্থ" বাক্য (উচ্চ গুণমান)? ৩) চিকিৎসা: গুরুতর ক্ষেত্রে (নিম্ন গুণমান) একটি পূর্ণ সৃজনশীল মডেলের নিবিড় পরিচর্যা পায়—সমস্যাযুক্ত স্প্যানের একটি সম্পূর্ণ পুনরায় অনুবাদ। স্থিতিশীল ক্ষেত্রে (উচ্চ গুণমান) পারমাণবিক অপারেশনের মাধ্যমে ন্যূনতম আক্রমণাত্মক সার্জারি পায়। এই প্রবাহ নিশ্চিত করে যে গণনামূলক সম্পদ দক্ষতার সাথে বরাদ্দ করা হয়, যা সিস্টেম অপ্টিমাইজেশন তত্ত্ব থেকে ধার করা একটি নীতি।

5.2 শক্তি ও দুর্বলতা

শক্তি:

1. মানব-কেন্দ্রিক নকশা: তিন-মডিউল কাঠামোটি এর সর্বশ্রেষ্ঠ শক্তি। এটি এপিইকে একটি ব্ল্যাক-বক্স টেক্সট-টু-টেক্সট সমস্যা হিসেবে বিবেচনা করে না বরং এটিকে ব্যাখ্যাযোগ্য উপ-কাজে (কিউই, বড় পুনর্লিখন, ছোট সম্পাদনা) বিভক্ত করে, যা পেশাদার অনুবাদকদের জন্য সিস্টেম আউটপুটকে আরও বিশ্বাসযোগ্য এবং ডিবাগযোগ্য করে তোলে। এটি সমালোচনামূলক প্রয়োগে ব্যাখ্যাযোগ্য এআই-এর জন্য প্রচেষ্টার সাথে সামঞ্জস্যপূর্ণ।
2. সম্পদ দক্ষতা: শর্তসাপেক্ষ নির্বাহটি চতুর। কেন একটি শুধুমাত্র একটি শব্দ পরিবর্তন প্রয়োজন এমন বাক্যে গণনামূলকভাবে ভারী একটি সৃজনশীল মডেল চালানো হবে? এই গতিশীল রাউটিং, মিশ্র-বিশেষজ্ঞ মডেল বা গুগলের সুইচ ট্রান্সফরমারের স্মরণ করিয়ে দেয়, মোতায়েনের জন্য একটি স্কেলযোগ্য পথ প্রদান করে।
3. অনুভবিক বৈধতা: WMT বেঞ্চমার্কে দৃঢ় ফলাফল বাস্তব মানব মূল্যায়ন এর সাথে যুক্ত যা সময় সাশ্রয় দেখায় সেটি স্বর্ণমান। অনেক গবেষণাপত্র BLEU স্কোরেই থেমে যায়; একটি ব্যবহারকারী গবেষণায় কার্যকারিতা প্রমাণ করা ব্যবহারিক মূল্যের বাধ্যকরী প্রমাণ।

দুর্বলতা ও সীমাবদ্ধতা:

1. বাইনারি ট্রায়াজ অতিসরলীকরণ: উচ্চ/নিম্ন গুণমান দ্বৈততা একটি সমালোচনামূলক বাধা। মানব পোস্ট-সম্পাদনা একটি বর্ণালীতে বিদ্যমান। একটি বাক্য ৮০% সঠিক হতে পারে কিন্তু একটি সমালোচনামূলক, প্রসঙ্গ-ভঙ্গকারী ত্রুটি থাকতে পারে (একটি মারাত্মক ত্রুটি সহ একটি "উচ্চ" স্কোর)। বাইনারি গেট এটি পারমাণবিক সম্পাদনায় ভুলভাবে রুট করতে পারে, একটি স্থানীয় কিন্তু গভীর পুনর্জন্মের প্রয়োজনীয়তা হারিয়ে ফেলতে পারে। কিউই মডিউলটির আত্মবিশ্বাস স্কোর বা বহু-শ্রেণী ত্রুটি তীব্রতা লেবেল প্রয়োজন।
2. প্রশিক্ষণ জটিলতা ও পাইপলাইন ভঙ্গুরতা: এটি একটি বহু-পর্যায়ের পাইপলাইন (কিউই মডেল -> রাউটার -> দুটি পিই মডেলের একটি)। ত্রুটিগুলি যৌগিক হয়। যদি কিউই মডেলটি ভুলভাবে ক্যালিব্রেটেড হয়, তবে পুরো সিস্টেমের কর্মক্ষমতা হ্রাস পায়। এই ধরনের একটি সিস্টেমকে এন্ড-টু-এন্ড প্রশিক্ষণ দেওয়া কুখ্যাতভাবে কঠিন, প্রায়শই রাউটিং পার্থক্যের জন্য গাম্বেল-সফটম্যাক্স বা রিইনফোর্সমেন্ট লার্নিংয়ের মতো পরিশীলিত কৌশল প্রয়োজন, যা গবেষণাপত্রটি সম্পূর্ণরূপে সম্বোধন নাও করতে পারে।
3. ডোমেইন ও ভাষা জোড়া লক-ইন: বেশিরভাগ গভীর শিক্ষণ এমটি/এপিই সিস্টেমের মতো, এর কর্মক্ষমতা নির্দিষ্ট ভাষা জোড়া এবং ডোমেইনের (যেমন, WMT En-De) জন্য সমান্তরাল ডেটার গুণমান ও পরিমাণের উপর ব্যাপকভাবে নির্ভরশীল। গবেষণাপত্রটি স্বল্প-সম্পদ ভাষা জোড়া বা নতুন ডোমেইনে (যেমন, আইনি থেকে চিকিৎসা) দ্রুত অভিযোজন অন্বেষণ করে না, যা এন্টারপ্রাইজ ক্যাট টুলের জন্য একটি প্রধান বাধা। সাম্প্রতিক এনএলপি গবেষণায় অন্বেষিত মেটা-লার্নিং বা অ্যাডাপ্টার মডিউলের মতো কৌশলগুলি প্রয়োজনীয় পরবর্তী পদক্ষেপ হতে পারে।

5.3 কার্যকরী অন্তর্দৃষ্টি

গবেষকদের জন্য:

1. নরম রাউটিং অন্বেষণ করুন: কঠিন বাইনারি সিদ্ধান্ত পরিত্যাগ করুন। সৃজনশীল ও পারমাণবিক সম্পাদকের একটি নরম, ওজনযুক্ত সংমিশ্রণ অনুসন্ধান করুন, যেখানে কিউই মডিউলের আউটপুট প্রতিটির অবদান ওজন করে। এটি কিউই ত্রুটির প্রতি আরও দৃঢ় হতে পারে।
2. বাহ্যিক জ্ঞান সংযুক্ত করুন: বর্তমান মডেলটি বিশুদ্ধভাবে উৎস এবং এমটি বাক্যের উপর নির্ভর করে। অনুবাদ মেমরি (টিএম) ডাটাবেস বা পরিভাষা ভিত্তি থেকে বৈশিষ্ট্যগুলি—পেশাদার ক্যাট স্যুটে স্ট্যান্ডার্ড টুল—অতিরিক্ত প্রসঙ্গ হিসেবে অন্তর্ভুক্ত করুন। এটি বিশুদ্ধ স্নায়বিক পদ্ধতি এবং ঐতিহ্যবাহী লোকালাইজেশন ইঞ্জিনিয়ারিংয়ের মধ্যে ব্যবধান সেতুবন্ধন করে।
3. বাস্তব-বিশ্বের ক্যাট লগে বেঞ্চমার্ক করুন: WMT শেয়ার্ড টাস্কের বাইরে যান। অনুবাদক মিথস্ক্রিয়া লগ সহ বাস্তব, বিশৃঙ্খল, বহু-ডোমেইন অনুবাদ প্রকল্পে পরীক্ষা করার জন্য একটি অনুবাদ সংস্থার সাথে অংশীদারিত্ব করুন। এটি সত্যিকারের ব্যর্থতার মোড প্রকাশ করবে।

পণ্য বিকাশকারীদের জন্য (ক্যাট টুল বিক্রেতা):

1. একটি গুণমান গেট হিসেবে বাস্তবায়ন করুন: অনুবাদ ব্যবস্থাপনা সিস্টেমে প্রি-ফিল্টার হিসেবে কিউই মডিউল ব্যবহার করুন। স্বয়ংক্রিয়ভাবে নিম্ন-আত্মবিশ্বাসের সেগমেন্টগুলিকে সিনিয়র পর্যালোচকদের মনোযোগের জন্য ফ্ল্যাগ করুন বা সেগুলিকে সৃজনশীল এপিই পরামর্শ দিয়ে প্রি-পপুলেট করুন, পর্যালোচনা ওয়ার্কফ্লোকে প্রবাহিত করুন।
2. UI ইন্টিগ্রেশনের জন্য পারমাণবিক সম্পাদকের উপর ফোকাস করুন: পারমাণবিক অপারেশন আউটপুট (KEEP/DELETE/REPLACE) ইন্টারেক্টিভ ইন্টারফেসের জন্য উপযুক্ত। এটি স্মার্ট, ভবিষ্যদ্বাণীমূলক টেক্সট সম্পাদনা চালিত করতে পারে যেখানে অনুবাদক পারমাণবিক পরামর্শ গ্রহণ/প্রত্যাখ্যান/সম্পাদনা করতে কীবোর্ড শর্টকাট ব্যবহার করে, কীস্ট্রোক নাটকীয়ভাবে হ্রাস করে।
3. মডেল অভিযোজনযোগ্যতাকে অগ্রাধিকার দিন: এপিই সিস্টেমের জন্য দক্ষ ফাইন-টিউনিং বা ডোমেইন অভিযোজন পাইপলাইন বিকাশে বিনিয়োগ করুন। এন্টারপ্রাইজ ক্লায়েন্টদের তাদের নির্দিষ্ট জার্গন এবং স্টাইল গাইডের জন্য উপযোগী মডেল দিনের মধ্যে প্রয়োজন, মাসের মধ্যে নয়।

বিশ্লেষণ কাঠামো উদাহরণ কেস

পরিস্থিতি: একটি আইনি নথি অনুবাদ ইংরেজি থেকে জার্মান।
উৎস: "The party shall indemnify the other party for all losses."
বেসলাইন এমটি আউটপুট: "Die Partei wird die andere Partei für alle Verluste entschädigen." (সঠিক, কিন্তু "Partei" ব্যবহার করে যা একটি কঠোর চুক্তি প্রসঙ্গে খুব অনানুষ্ঠানিক/অস্পষ্ট হতে পারে। একটি ভালো শব্দ হতে পারে "Vertragspartei")।
প্রস্তাবিত মডেল ওয়ার্কফ্লো:

1. কিউই মডিউল: সেগমেন্টটি বিশ্লেষণ করে। বেশিরভাগ টোকেন সঠিক, কিন্তু "Partei" কে একটি সম্ভাব্য পরিভাষা অমিল হিসেবে ফ্ল্যাগ করে (অগত্যা একটি ত্রুটি নয়, কিন্তু একটি অপ্টিমাল নয় এমন শব্দ পছন্দ)। বাক্যটি একটি "উচ্চ গুণমান" স্কোর পায়।
2. রাউটিং: পারমাণবিক অপারেশন পোস্ট-সম্পাদনা মডিউলে প্রেরিত।
3. পারমাণবিক সম্পাদক: উৎস ও প্রসঙ্গ দেওয়া হলে, এটি অপারেশন ক্রম প্রস্তাব করতে পারে: [KEEP, KEEP, REPLACE_WITH_'Vertragspartei', KEEP, KEEP, KEEP, KEEP]।
4. আউটপুট: "Die Vertragspartei wird die andere Vertragspartei für alle Verluste entschädigen." এটি একটি সুনির্দিষ্ট, ন্যূনতম সম্পাদনা যা আইনি পরিভাষা মানের সাথে সামঞ্জস্যপূর্ণ।

এই উদাহরণটি দেখায় কিভাবে মডেলটি সাধারণ ত্রুটি সংশোধনের বাইরে গিয়ে শৈলী ও পরিভাষা উন্নতকরণে অবদান রাখে, যা পেশাদার অনুবাদের একটি মূল প্রয়োজন।

6. ভবিষ্যতের প্রয়োগ ও দিকনির্দেশনা

এই সংযুক্ত কিউই-এপিই কাঠামোর প্রভাব ঐতিহ্যবাহী অনুবাদের বাইরে প্রসারিত:

1. অভিযোজিত এমটি সিস্টেম: কিউই সংকেত রিয়েল-টাইমে একটি এনএমটি সিস্টেমে ফিডব্যাক দেওয়া যেতে পারে অনলাইন অভিযোজন বা রিইনফোর্সমেন্ট লার্নিংয়ের জন্য, একটি স্ব-উন্নয়নশীল অনুবাদ লুপ তৈরি করতে।
2. বিষয়বস্তু নিয়ন্ত্রণ ও লোকালাইজেশন: পারমাণবিক অপারেশন মডিউলটি ব্যবহারকারী-উৎপাদিত বিষয়বস্তু স্বয়ংক্রিয়ভাবে লোকালাইজ বা নিয়ন্ত্রণ করতে অভিযোজিত হতে পারে নীতি নিয়মের ভিত্তিতে সাংস্কৃতিকভাবে উপযুক্ত প্রতিস্থাপন বা সম্পাদনা প্রয়োগ করে।
3. শিক্ষা ও প্রশিক্ষণ: সিস্টেমটি অনুবাদ শিক্ষার্থীদের জন্য একটি বুদ্ধিমান টিউটর হিসেবে কাজ করতে পারে, বিস্তারিত ত্রুটি বিশ্লেষণ (কিউই মডিউল থেকে) এবং প্রস্তাবিত সংশোধন প্রদান করে।
4. বহুমাধ্যমিক অনুবাদ: চিত্র-ভিত্তিক (OCR অনুবাদ) বা বক্তৃতা-থেকে-বক্তৃতা অনুবাদ সিস্টেমের জন্য অনুরূপ গুণমান অনুমান ও পোস্ট-সম্পাদনা নীতি সংযুক্ত করা, যেখানে ত্রুটিগুলির বিভিন্ন মড্যালিটি রয়েছে।
5. স্বল্প-সম্পদ ও অনিরীক্ষিত সেটিংস: ভবিষ্যতের কাজে এই নীতিগুলি প্রয়োগ করতে হবে যেখানে বড় সমান্তরাল কর্পোরা উপলব্ধ নয়, সম্ভাব্যভাবে CycleGAN এর মতো কাজ দ্বারা অনুপ্রাণিত অনিরীক্ষিত বা আধা-নিরীক্ষিত কৌশল ব্যবহার করে, কিন্তু পাঠ্যে প্রয়োগ করা।

7. তথ্যসূত্র

1. Wang, J., Wang, K., Ge, N., Shi, Y., Zhao, Y., & Fan, K. (2020). Computer Assisted Translation with Neural Quality Estimation and Automatic Post-Editing. arXiv preprint arXiv:2009.09126.
2. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.
3. Specia, L., Shah, K., de Souza, J. G., & Cohn, T. (2013). QuEst - A translation quality estimation framework. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics: System Demonstrations.
4. Junczys-Dowmunt, M., & Grundkiewicz, R. (2016). Log-linear combinations of monolingual and bilingual neural machine translation models for automatic post-editing. In Proceedings of the First Conference on Machine Translation.
5. Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1125-1134). (শর্তসাপেক্ষ, কাজ-নির্দিষ্ট রূপান্তরের ধারণাগত সাদৃশ্যের জন্য উদ্ধৃত)।
6. Läubli, S., Fishel, M., Massey, G., Ehrensberger-Dow, M., & Volk, M. (2013). Assessing post-editing efficiency in a realistic translation environment. Proceedings of MT Summit XIV.