Инструментарий EuroTermBank: Открытое управление терминологией для федеративных баз данных

1. Введение

Язык динамичен: новые термины появляются, а существующие меняются или устаревают ежедневно. Эта постоянная изменчивость представляет серьёзную проблему для организаций, зависящих от точной и актуальной терминологии, таких как переводчики, создатели контента и разработчики приложений на основе искусственного интеллекта (ИИ). Отдельным организациям часто не хватает ресурсов для поддержания собственных терминологических коллекций из-за отсутствия надлежащих систем управления и стандартизированных практик.

В данной статье рассматриваются эти проблемы и представляется Инструментарий EuroTermBank (ETBT) — решение для открытого управления терминологией, предназначенное для облегчения обмена и управления терминологическими ресурсами в федеративной сети баз данных. Инструментарий позволяет организациям управлять своими терминами, создавать коллекции и делиться ими как внутри, так и за пределами организации, при этом курируемые данные автоматически пополняют EuroTermBank — крупнейший в Европе многоязычный терминологический ресурс.

2. Инструментарий EuroTermBank (ETBT)

ETBT — это программное решение, основанное на стандартах, которое позволяет организациям создавать собственные узлы управления терминологией. Эти узлы могут работать независимо, но предназначены для подключения и обмена данными с более широкой Федеративной сетью EuroTermBank.

3. Применение в обработке естественного языка

Высококачественная терминология является критически важным ресурсом для различных задач NLP, особенно связанных с многоязычием.

4. Федеративная сеть и обмен данными

Федеративный подход является краеугольным камнем стратегии ETBT. Вместо единой централизованной базы данных создаётся сеть взаимосвязанных узлов (см. концептуальный Рисунок 2 в PDF). Учреждения размещают собственные терминологические базы данных (федеративные узлы) и выбирают, чем делиться с сетью. Общие данные агрегируются в центральный EuroTermBank, создавая обширный и постоянно актуальный ресурс. Эта модель стимулирует участие, позволяя владельцам данных сохранять контроль, одновременно внося вклад в общий актив.

5. Ключевые выводы и анализ

6. Технические детали и математическая модель

Хотя PDF-документ не углубляется в строгий математический формализм, базовый принцип интеграции терминологии в такие системы, как NMT, можно представить как задачу оптимизации. Распространённый подход заключается в смещении выходного распределения модели в сторону терминов на целевом языке, которые являются известными эквивалентами исходных терминов, присутствующих во входных данных.

Например, на этапе декодирования модели NMT может применяться терминологическое ограничение. Если исходное предложение содержит термин $s_t$, для которого в терминологической базе данных известно перевод $t_t$, распределение вероятностей модели $P(y_i | y_{

$\log P'(y_i | ...) = \log P(y_i | ...) + \lambda \cdot \mathbb{1}(y_i = t_t)$

где $\mathbb{1}$ — индикаторная функция, а $\lambda$ — настраиваемый гиперпараметр, контролирующий силу ограничения. Более сложные методы включают ограниченный лучевой поиск или специальную разметку исходных терминов (Dinu et al., 2019; Bergmanis & Pinnis, 2021b). Структурированные данные из ETBT предоставляют надёжные пары $(s_t, t_t)$, необходимые для этих методов.

7. Результаты экспериментов и описание графиков

В PDF-документе упоминаются предыдущие работы, демонстрирующие эффективность интеграции терминологии, но не представлены новые экспериментальные результаты для самого ETBT. В нём цитируются исследования, показывающие повышение качества MT за счёт терминологии (Pinnis, 2015), и более поздние работы по интеграции терминологии в нейронные системы (Bergmanis and Pinnis, 2021b).

Описание графиков (на основе Рисунка 1 и 2 в PDF):
Рисунок 1 (Федеративные узлы, связанные с Федеративной сетью EuroTermBank): Вероятно, это диаграмма типа «звезда». Центральный узел обозначен как «EuroTermBank». От него расходятся несколько узлов, каждый из которых представляет отдельное учреждение (например, «Университет A», «Компания B», «Государственное агентство C»). Линии соединяют каждый институциональный узел с центральным, визуально представляя федеративную сеть, в которой отдельные базы данных пополняют агрегированный ресурс.
Рисунок 2 (Концептуальное изображение Федеративной сети EuroTermBank): Описан как концептуальный рисунок, вероятно, иллюстрирующий поток данных и архитектуру. Вероятно, он показывает локальное управление терминологией внутри каждого институционального «узла» с помощью программного обеспечения ETBT. Стрелки указывают на поток курируемых терминологических данных из этих локальных узлов в центральный репозиторий EuroTermBank, а также, возможно, двунаправленные стрелки, показывающие, как пользователи или приложения могут запрашивать как локальные, так и центральные ресурсы.

8. Структура анализа: Пример использования

Сценарий: Европейское агентство по лекарственным средствам (EMA) должно обеспечить единообразный перевод новых международных непатентованных наименований (МНН) фармацевтических субстанций на все языки ЕС в своих нормативных документах.

Применение структуры ETBT:

1. Настройка узла: EMA разворачивает ETBT для создания собственного терминологического узла.
2. Курирование терминов: Терминологи EMA вводят новые термины МНН с определениями, контекстами и утверждёнными переводами на 24 языка ЕС.
3. Управление коллекцией: Они создают коллекцию «Фармацевтические МНН» в своём узле.
4. Федеративный обмен: EMA настраивает эту коллекцию для общего доступа через Федеративную сеть EuroTermBank.
5. Дальнейшее влияние:
   • Внутреннее: Переводчики и составители документов EMA используют локальный узел через API/интерфейс для обеспечения единообразия терминологии.
   • Внешнее: Термины агрегируются в EuroTermBank. Теперь переводческая компания в Польше может получить доступ к официальному польскому переводу нового названия лекарства через публичный портал EuroTermBank.
   • Интеграция с ИИ: Система NMT, используемая для перевода медицинских документов, может быть настроена на использование API EuroTermBank, применяя ограничения для гарантии того, что «Sacubitril» всегда переводится правильно, а не транслитерируется или переводится с ошибкой.

9. Будущие применения и направления развития

• Распространение терминологии в реальном времени: Разработка механизмов для почти мгновенного обновления данных от федеративных узлов к потребляющим приложениям (например, системам MT, CAT-инструментам), переход от пакетных обновлений к потоковой модели.
• Извлечение и курирование терминологии с помощью ИИ: Интеграция LLM и инструментов неконтролируемого извлечения терминов в рабочий процесс ETBT для помощи терминологистам в выявлении и определении новых терминов из корпусов, сокращая ручной труд.
• Блокчейн для отслеживания происхождения и доверия: Исследование технологии распределённого реестра для неизменного отслеживания происхождения, редактирования и статуса утверждения каждой терминологической записи, что решает проблему качества и управления. Это может создать проверяемый «индекс доверия» для терминологических данных.
• Кросс-модальная терминология: Расширение модели за пределы текста для управления стандартизированной терминологией для распознавания речи (акустические модели) и даже разметки изображений/видео (связывание терминов с визуальными концепциями), поддерживая мультимодальный ИИ.
• Глубокая интеграция с LLM: Использование федеративной терминологической сети в качестве надёжной базы знаний для «заземления» больших языковых моделей, предотвращая галлюцинации технических терминов и улучшая их работу в специализированных областях — концепция, согласующаяся с исследованиями по генерации, дополненной извлечением (RAG).

10. Список литературы

1. Arcan, M., et al. (2014). Leveraging Terminology Resources for Statistical Machine Translation in the CAT Domain. Proceedings of LREC.
2. Arcan, M., et al. (2017). Statistical Machine Translation for Patent Documents with Terminology Handling. Proceedings of the 14th Conference of the European Association for Machine Translation (EAMT).
3. Bergmanis, T., & Pinnis, M. (2021b). Dynamic Terminology Integration for Adaptive Neural Machine Translation. Findings of the Association for Computational Linguistics: EMNLP 2021.
4. de Gspert, A., et al. (2018). The Tilde MT Platform for Professional Translators. Proceedings of the 15th Conference of the European Association for Machine Translation (EAMT).
5. Dinu, G., et al. (2019). Training Neural Machine Translation to Apply Terminology Constraints. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.
6. Exel, M., et al. (2020). Terminology-Aware Sentence Mining for NMT Domain Adaptation. Proceedings of the 22nd Annual Conference of the European Association for Machine Translation (EAMT).
7. Gornostay, T. (2010). Terminology Management in the European Union. Proceedings of the 14th EURALEX International Congress.
8. Jon, R., et al. (2021). TermEval 2021: Shared Task on Automatic Term Extraction Using the Annotated Corpora for Term Extraction Research (ACTER) Dataset. Proceedings of the 8th Workshop on Natural Language Processing for Computer Assisted Translation (NLP4CAT).
9. Pinnis, M. (2015). Domain Adaptation for Statistical Machine Translation with Terminology Mining and Term Translation. PhD Thesis, University of Latvia.
10. Vasiljevs, A., & Borzovs, J. (2006). Towards Open and Dynamic Lexical and Terminological Resources. Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC).
11. Vasiljevs, A., et al. (2008). EuroTermBank: Towards Greater Interoperability of Distributed Terminology Resources. Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC).
12. Verplaetse, H., & Lambrechts, J. (2019). Terminology Management in a Modern Translation Workflow. The Journal of Specialised Translation, 31.
13. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV). [Внешняя ссылка на федеративные/циклические структуры обучения]
14. Wikimedia Foundation. (2023). Wikidata: Making a free, collaborative, multilingual database of the world's knowledge. https://www.wikidata.org. [Внешняя ссылка на совместное управление данными]