ابزارک یوروترم‌بانک: مدیریت اصطلاحات باز برای پایگاه‌های داده فدرال

1. مقدمه

زبان پویا است و اصطلاحات جدیدی ظهور می‌کنند و اصطلاحات موجود روزانه تکامل یافته یا منسوخ می‌شوند. این تغییر مداوم چالشی بزرگ برای نهادهایی است که به اصطلاحات دقیق و به‌روز وابسته‌اند، مانند مترجمان، تولیدکنندگان محتوا و توسعه‌دهندگان برنامه‌های هوش مصنوعی. سازمان‌های منفرد اغلب به دلیل فقدان سیستم‌های مدیریت مناسب و رویه‌های استاندارد، در حفظ مجموعه اصطلاحات خود با مشکل مواجه می‌شوند.

این مقاله با ارائه ابزارک یوروترم‌بانک (ETBT) به این چالش‌ها می‌پردازد، یک راه‌حل مدیریت اصطلاحات باز که برای تسهیل اشتراک‌گذاری و مدیریت منابع اصطلاحات در یک شبکه فدرال از پایگاه‌های داده طراحی شده است. این ابزارک به سازمان‌ها امکان می‌دهد اصطلاحات خود را مدیریت کنند، مجموعه‌ها را ایجاد کرده و آن‌ها را هم داخلی و هم خارجی به اشتراک بگذارند، در حالی که داده‌های گردآوری شده به طور خودکار به یوروترم‌بانک، بزرگترین منبع اصطلاحات چندزبانه اروپا، کمک می‌کنند.

2. ابزارک یوروترم‌بانک (ETBT)

ETBT یک راه‌حل نرم‌افزاری مبتنی بر استاندارد است که به سازمان‌ها اجازه می‌دهد گره‌های مدیریت اصطلاحات خود را راه‌اندازی کنند. این گره‌ها می‌توانند به طور مستقل عمل کنند اما برای اتصال و اشتراک‌گذاری داده با شبکه فدرال گسترده‌تر یوروترم‌بانک طراحی شده‌اند.

3. کاربردها در پردازش زبان طبیعی

اصطلاحات با کیفیت بالا منبعی حیاتی برای وظایف مختلف NLP، به ویژه آن‌هایی که شامل چندزبانی هستند، می‌باشد.

4. شبکه فدرال و اشتراک‌گذاری داده

رویکرد فدرال سنگ بنای استراتژی ETBT است. به جای یک پایگاه داده متمرکز واحد، شبکه‌ای از گره‌های به هم پیوسته ایجاد می‌کند (شکل مفهومی 2 در PDF را ببینید). نهادها پایگاه‌های داده اصطلاحات خود (گره‌های فدرال) را میزبانی می‌کنند و انتخاب می‌کنند چه چیزی را با شبکه به اشتراک بگذارند. داده‌های اشتراک‌گذاری شده در یوروترم‌بانک مرکزی تجمیع می‌شوند و منبعی وسیع و همیشه به‌روز ایجاد می‌کنند. این مدل با اجازه دادن به مالکان داده برای حفظ کنترل در عین مشارکت در یک دارایی مشترک، مشارکت را تشویق می‌کند.

5. بینش‌ها و تحلیل کلیدی

6. جزئیات فنی و چارچوب ریاضی

در حالی که PDF به صورت‌گرایی ریاضی عمیق نمی‌پردازد، اصل زیربنایی برای یکپارچه‌سازی اصطلاحات در سیستم‌هایی مانند NMT را می‌توان به عنوان یک مسئله بهینه‌سازی قالب‌بندی کرد. یک رویکرد رایج، سوگیری توزیع خروجی مدل به سمت اصطلاحات زبان مقصدی است که معادل‌های شناخته شده اصطلاحات مبدأ موجود در ورودی هستند.

به عنوان مثال، در مرحله رمزگشایی یک مدل NMT، می‌توان یک محدودیت اصطلاحات اعمال کرد. اگر جمله مبدأ حاوی یک اصطلاح $s_t$ باشد که ترجمه شناخته شده $t_t$ در پایگاه داده اصطلاحات دارد، توزیع احتمال مدل $P(y_i | y_{

$\log P'(y_i | ...) = \log P(y_i | ...) + \lambda \cdot \mathbb{1}(y_i = t_t)$

که در آن $\mathbb{1}$ تابع نشانگر است و $\lambda$ یک ابرپارامتر قابل تنظیم است که قدرت محدودیت را کنترل می‌کند. روش‌های پیچیده‌تر شامل جستجوی پرتو مقید یا برچسب‌گذاری تخصصی اصطلاحات مبدأ است (Dinu و همکاران، 2019؛ Bergmanis & Pinnis, 2021b). داده‌های ساختاریافته از ETBT جفت‌های قابل اعتماد $(s_t, t_t)$ لازم برای این تکنیک‌ها را فراهم می‌کند.

7. نتایج آزمایشی و توصیف نمودار

PDF به کارهای قبلی که اثربخشی یکپارچه‌سازی اصطلاحات را نشان می‌دهند ارجاع می‌دهد اما نتایج آزمایشی جدیدی برای خود ETBT ارائه نمی‌دهد. این مقاله مطالعاتی را ذکر می‌کند که نشان می‌دهند اصطلاحات کیفیت MT را افزایش می‌دهند (Pinnis, 2015) و کارهای اخیرتر در مورد یکپارچه‌سازی اصطلاحات در سیستم‌های عصبی (Bergmanis و Pinnis, 2021b).

توصیف نمودار (بر اساس شکل 1 و 2 PDF):
شکل 1 (گره‌های فدرال متصل به شبکه فدرال یوروترم‌بانک): این احتمالاً یک نمودار محور و پره را به تصویر می‌کشد. محور مرکزی با برچسب "یوروترم‌بانک" مشخص شده است. از آن گره‌های متعددی خارج می‌شوند که هر کدام نمایانگر یک نهاد متفاوت هستند (مانند "دانشگاه الف"، "شرکت ب"، "سازمان دولتی ج"). خطوط هر گره نهادی را به محور مرکزی متصل می‌کنند و به صورت بصری شبکه فدرال را نشان می‌دهند که در آن پایگاه‌های داده منفرد به منبع تجمیعی تغذیه می‌کنند.
شکل 2 (تصویر مفهومی از شبکه فدرال یوروترم‌بانک): این به عنوان یک شکل مفهومی توصیف شده است، که احتمالاً جریان داده و معماری را نشان می‌دهد. احتمالاً مدیریت اصطلاحات محلی را در داخل هر "گره" نهادی با استفاده از نرم‌افزار ETBT نشان می‌دهد. فلش‌ها جریان داده‌های اصطلاحات گردآوری شده از این گره‌های محلی به مخزن مرکزی یوروترم‌بانک را نشان می‌دهند، و احتمالاً فلش‌های دوطرفه نشان می‌دهند که چگونه کاربران یا برنامه‌ها می‌توانند هم منابع محلی و هم مرکزی را پرس‌وجو کنند.

8. چارچوب تحلیل: یک مثال موردی

سناریو: آژانس دارویی اروپا (EMA) نیاز دارد ترجمه یکنواخت نام‌های جدید مواد دارویی (INN) را در تمام زبان‌های اتحادیه اروپا در اسناد نظارتی خود تضمین کند.

کاربرد چارچوب ETBT:

1. راه‌اندازی گره: EMA ابزارک ETBT را برای ایجاد گره اصطلاحات خود مستقر می‌کند.
2. گردآوری اصطلاح: اصطلاح‌شناسان EMA اصطلاحات INN جدید را با تعاریف، زمینه‌ها و ترجمه‌های تأیید شده در 24 زبان اتحادیه اروپا وارد می‌کنند.
3. مدیریت مجموعه: آن‌ها یک مجموعه "INNهای دارویی" را در گره خود ایجاد می‌کنند.
4. اشتراک‌گذاری فدرال: EMA این مجموعه را پیکربندی می‌کند تا با شبکه فدرال یوروترم‌بانک به اشتراک گذاشته شود.
5. تأثیر پایین‌دستی:
   • داخلی: مترجمان و نویسندگان اسناد EMA از گره محلی از طریق API/رابط برای اصطلاحات یکنواخت استفاده می‌کنند.
   • خارجی: اصطلاحات در یوروترم‌بانک تجمیع می‌شوند. یک شرکت ترجمه در لهستان اکنون می‌تواند ترجمه رسمی لهستانی یک نام داروی جدید را از طریق پورتال عمومی یوروترم‌بانک دسترسی پیدا کند.
   • یکپارچه‌سازی هوش مصنوعی: یک سیستم NMT مورد استفاده برای ترجمه اسناد پزشکی می‌تواند برای استفاده از API یوروترم‌بانک پیکربندی شود و محدودیت‌هایی اعمال کند تا اطمینان حاصل شود که "Sacubitril" همیشه به درستی ترجمه می‌شود، نه ترانویسی یا اشتباه ترجمه می‌شود.

9. کاربردهای آتی و جهت‌های توسعه

• انتشار اصطلاحات بلادرنگ: توسعه مکانیسم‌هایی برای به‌روزرسانی‌های تقریباً فوری از گره‌های فدرال به برنامه‌های مصرف‌کننده (مانند سیستم‌های MT، ابزارهای CAT)، حرکت از به‌روزرسانی‌های دسته‌ای به مدل جریانی.
• استخراج و گردآوری اصطلاحات مبتنی بر هوش مصنوعی: یکپارچه‌سازی مدل‌های زبانی بزرگ و ابزارهای استخراج اصطلاح بدون نظارت در گردش کار ETBT برای کمک به اصطلاح‌شناسان انسانی در شناسایی و تعریف اصطلاحات جدید از پیکره‌ها، کاهش تلاش دستی.
• بلاک‌چین برای رهگیری و اعتماد: کاوش فناوری دفترکل غیرمتمرکز برای رهگیری تغییرناپذیر منشأ، ویرایش‌ها و وضعیت تأیید هر مدخل اصطلاح، پرداختن به شکاف کیفیت و حکمرانی. این می‌تواند یک "امتیاز اعتماد" قابل تأیید برای داده‌های اصطلاحات ایجاد کند.
• اصطلاحات چندوجهی: گسترش مدل فراتر از متن برای مدیریت اصطلاحات استاندارد شده برای تشخیص گفتار (مدل‌های آکوستیک) و حتی برچسب‌گذاری تصویر/ویدیو (اتصال اصطلاحات به مفاهیم بصری)، پشتیبانی از هوش مصنوعی چندوجهی.
• یکپارچه‌سازی عمیق با مدل‌های زبانی بزرگ: استفاده از شبکه اصطلاحات فدرال به عنوان یک پایگاه دانش قابل اعتماد برای زمین‌سازی مدل‌های زبانی بزرگ، جلوگیری از توهم اصطلاحات فنی و بهبود عملکرد آن‌ها در حوزه‌های تخصصی - مفهومی هم‌سو با تحقیقات در مورد تولید تقویت شده با بازیابی (RAG).

10. منابع

1. Arcan, M., et al. (2014). Leveraging Terminology Resources for Statistical Machine Translation in the CAT Domain. Proceedings of LREC.
2. Arcan, M., et al. (2017). Statistical Machine Translation for Patent Documents with Terminology Handling. Proceedings of the 14th Conference of the European Association for Machine Translation (EAMT).
3. Bergmanis, T., & Pinnis, M. (2021b). Dynamic Terminology Integration for Adaptive Neural Machine Translation. Findings of the Association for Computational Linguistics: EMNLP 2021.
4. de Gspert, A., et al. (2018). The Tilde MT Platform for Professional Translators. Proceedings of the 15th Conference of the European Association for Machine Translation (EAMT).
5. Dinu, G., et al. (2019). Training Neural Machine Translation to Apply Terminology Constraints. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.
6. Exel, M., et al. (2020). Terminology-Aware Sentence Mining for NMT Domain Adaptation. Proceedings of the 22nd Annual Conference of the European Association for Machine Translation (EAMT).
7. Gornostay, T. (2010). Terminology Management in the European Union. Proceedings of the 14th EURALEX International Congress.
8. Jon, R., et al. (2021). TermEval 2021: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 8th Workshop on Natural Language Processing for Computer Assisted Translation (NLP4CAT).
9. Pinnis, M. (2015). Domain Adaptation for Statistical Machine Translation with Terminology Mining and Term Translation. PhD Thesis, University of Latvia.
10. Vasiljevs, A., & Borzovs, J. (2006). Towards Open and Dynamic Lexical and Terminological Resources. Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC).
11. Vasiljevs, A., et al. (2008). EuroTermBank: Towards Greater Interoperability of Distributed Terminology Resources. Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC).
12. Verplaetse, H., & Lambrechts, J. (2019). Terminology Management in a Modern Translation Workflow. The Journal of Specialised Translation, 31.
13. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). [ارجاع خارجی به ساختارهای یادگیری فدرال/چرخه‌ای]
14. Wikimedia Foundation. (2023). Wikidata: Making a free, collaborative, multilingual database of the world's knowledge. https://www.wikidata.org. [ارجاع خارجی به حکمرانی داده مشارکتی]