Качество перевода: ChatGPT vs. Google Translate
DOI:
https://doi.org/10.5281/zenodo.17540902Ключевые слова:
качество перевода, машинный перевод, большая языковая модель, параметры оценки, обучение, типология ошибок, многомерные метрики качестваАннотация
В статье рассматриваются современные способы оценки перевода, модификация технологий оценивания, вариативность оценочных параметров в условиях развития нейросетевых технологий. В работе анализируются факторы, влияющие на качество перевода; к ним относятся модель машинного перевода, качество исходного материала, возможности и ограничения обучения машинного перевода. Представлены результаты эксперимента по оценке качества перевода научных статей.
Скачивания
Библиографические ссылки
СПИСОК ЛИТЕРАТУРЫ
1. Егорова А. Ю., Зацман И. М., Косарик В. В., Нуриев В. А. Нестабильность нейронного машинного перевода // Системы и средства информатики. 2020. Т. 30. № 2. С. 124-135. DOI: 10.14357/08696527200212.
2. Елизарова Л. В., Дмитриева К. К. Объективные параметры субъективной оценки качества перевода // Вестник Воронежского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2024. № 2. С. 30-38. DOI: 10.17308/lic/1680-5755/2024/2/30-38.
3. Кириченко И. А., Сигачева Н. А. Цифровизация перевода с английского на русский язык: анализ и сравнение качества машинного сервиса // Казанский вестник молодых ученых. 2020. Т. 4. № 3. С. 27-37.
4. Княжева Е. А. О некоторых аспектах исследования проблемы оценки качества перевода // Вестник Московского Университета. Серия 22. Теория перевода. 2024. № 1. С. 98-118. DOI: 10.55959/MSU2074-6636-22-2024-17-1-98-118.
5. Колин К. К., Хорошилов Ал-др. А., Никитин Ю. В., Пшеничный С. И., Хорошилов Ал-й А. Искусственный интеллект в технологиях машинного перевода // Социальные новации и социальные науки. Москва: ИНИОН РАН, 2021. № 2. С. 64-80.
6. Оболенский Д. М., Шевченко В. И. Использование метода RAG и больших языковых моделей в интеллектуальных образовательных экосистемах // Экономика. Информатика. 2024. № 51 (3). С. 699-709. DOI: 10.52575/2687-0932-2024-51-3-699-70.
7. Раренко М. Б. Машинный перевод: от перевода «по правилам» к нейронному переводу // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Сер. 6. Языкознание: Реферативный журнал. 2021. № 3. С. 70-79. DOI: 10.31249/ling/
2021.03.05.
8. Сергаева Ю. В. Оптимизация словообразовательной модели в процессе словотворчества // Studia Linguistica. 2012. № 21. С. 105-114.
9. Li Y., Suzuki J., Morishita M., Abe K., Inui K. MQM-Chat: Multidimensional Quality Metrics for Chat Translation // Proceedings of the 31st International Conference on Computational Linguistics. 2025. P. 3283-3299.
10. Lomel A. Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies // Machine Translation: Technologies and Applications. 2018. No. 1. Pp. 109-127.
11. Results of the WMT24 Metrics Shared Task: Are LLMs Breaking MT Metrics? / M. Freitag et al. // Association for Computational Linguistics: In Proceedings of the Ninth Conference on Machine Translation. 2024. P. 47-81.
12. Thompson B., Dhaliwal M. P., Frisch P., Domhan T., Federico M. A Shocking Amount of the Web is Machine Translated: Insights from Multi-Way Parallelism // Findings of the Association for Computational Linguistics. 2024. P. 1763-1775.
ИЛЛЮСТРАТИВНЫЙ МАТЕРИАЛ
«The Lancet». 2024. Доступ: https://www.thelancet.com. (дата обращения: 12.02.2025).
REFERENCES
1. Egorova, A. Yu., Zatsman, I. M., Kosarik, V. V., Nuriev, V. A. (2020). Nestabilnost neyronnogo mashinnogo perevoda [Instability of Neural Mashine Translation]. In Sistemy i sredstva informatiki. Vol. 30. No 2. Pp. 124-135. DOI: 10.14357/08696527200212. (In Russ.).
2. Elizarova, L. V., Dmitrieva, K. K. (2024). Obektivniye parametry subectivnoy otsenki kachestva perevoda [Objective parameters for subjective evaluation of translation quality]. In Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Lingvistika i mezhkulturnaya kommunikatsiya. No 2. Pp. 30-38. DOI: 10.17308/lic/1680-5755/2024/2/30-38. (In Russ.).
3. Kirichenko, I. A., Sigacheva, N. A. (2020). Tsifrovizatsiya perevoda s angliyskogo na russkiy yazyk: analiz i sravnenie kachestva mashinnogo servisa [Digitization of Translation from English to Russian: Analysis and Comparison of Machine Service Quality]. In Kazanskiy vestnik molodykh uchenykh. Vol. 4. No 3. Pp. 27-37. (In Russ.).
4. Knyazheva, E. A. (2024). O nekotorykh aspektakh issledovaniya problemy otsenki kachestva perevoda [Aspects of translation quality problem]. In Vestnik Moskovskogo Universiteta. Seriya 22. Teoriya perevoda. Pp. 98-118. DOI: 10.55959/MSU2074-6636-22-2024-17-1-98-118. (In Russ.).
5. Kolin, K. K., Khoroshilov, Al-dr. A., Nikitin, Yu. V., Pshenichnyy, S. I., Khoroshilov, Al-y. A. (2021). Iskusstvennyy intellekt v tekhnologiyakh mashinnogo perevoda [Artificial intelligence in machine translation technologies]. In Sotsialnye novatsii i sotsialnye nauki. No 2. Pp. 64-80. (In Russ.).
6. Obolenskiy, D. M., Shevchenko, V. I. (2024). Ispolzovanie metoda RAG i bolshikh yazykovykh modeley v intellektualnykh obrazovatelnykh ekosistemakh [Application of Large Language Models and the RAG in Intelligent Educational Ecosystems]. In Ekonomika. Informatika. No 3. Pp. 699-709. DOI: 10.52575/2687-0932-2024-51-3-699-70. (In Russ.).
7. Rarenko, M. B. (2021). Mashinnyy perevod: ot perevoda «po pravilam» k neyronnomu perevodu [Machine translation: from rule-based translation to neural translation]. In Sotsialnye i gumanitarnye nauki. Otechestvennaya i zarubezhnaya literatura. Ser. 6. Yazykoznanie: Referativnyi zhurnal. No 3. Pp. 70-79. DOI: 10.31249/ling/2021.03.05. (In Russ.).
8. Sergaeva, Yu. V. (2012). Optimizatsiya slovoobrazovatelnoy modeli v protsesse slovotvorchestva [Optimization of the word formation pattern in coinages]. In Studia Linguistica. No 21. Pp. 105-114. (In Russ.).
9. Li, Y., Suzuki, J., Morishita, M., Abe, K., Inui, K. (2025). MQM-Chat: Multidimensional Quality Metrics for Chat Translation. In Proceedings of the 31st International Conference on Computational Linguistics. Pp. 3283-3299.
10. Lomel, A. (2018). Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies. In Machine Translation: Technologies and Applications. No. 1. Pp. 109-127.
11. Results of the WMT24 Metrics Shared Task: Are LLMs Breaking MT Metrics? / M. Freitag et al. In Proceedings of the Ninth Conference on Machine Translation. 2024. Pp. 47-81.
12. Thompson, B., Dhaliwal, M. P., Frisch P., Domhan, T., Federico, M. A. (2024). Shocking Amount of the Web is Machine Translated: Insights from Multi-Way Parallelism. In Findings of the Association for Computational Linguistics. Pp. 1763-1775.
ILLUSTRATIVE MATERIAL
«The Lancet». 2024. Available at: https://www.thelancet.com. (accessed: 12.02.2025).
Загрузки
Опубликован
Выпуск
Раздел
Лицензия
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial» («Атрибуция — Некоммерческое использование») 4.0 Всемирная.
Статьи журнала «Studia Germanica, Romanica et Comparatistica» находятся в открытом доступе и распространяются в соответствии с условиями Лицензионного Договора с Донецким Государственным университетом, который бесплатно предоставляет авторам неограниченное распространение и самостоятельное архивирование.
