История машинного перевода: от механических словарей до больших языковых моделей
История машинного перевода насчитывает почти столетие. За это время технология прошла путь от механических картотек до нейросетей, которые переводят целые документы за секунды. Разберём ключевые вехи — они объясняют, почему современные системы машинного перевода устроены именно так.
От энтузиазма к «зиме» и обратно
Первые десятилетия машинный перевод развивался волнами. После успеха Джорджтаунского эксперимента 1954 года казалось, что задача будет решена за несколько лет: машина перевела 60 предложений с русского на английский, и пресса объявила профессию переводчика устаревшей. Однако язык оказался сложнее словаря и грамматических правил — и в 1966 году комитет ALPAC признал машинный перевод неперспективным. Финансирование исследований в США свернули почти на двадцать лет.
Возрождение принесли системы на основе правил: лингвисты вручную описывали грамматику и словари языковых пар. Такие системы, как SYSTRAN и советский ЭТАП, работали предсказуемо, но каждое улучшение требовало ручного труда, а результат оставался «машинным» по стилю.
Статистика, нейросети, трансформеры
В 1990-е исследователи IBM предложили другой путь: не описывать язык правилами, а учить машину на параллельных корпусах — миллионах пар «оригинал — перевод». Статистический машинный перевод доминировал два десятилетия и лёг в основу первого Google Translate. Он хорошо справлялся с частотными фразами, но терял связность на длинных предложениях.
Нейронный машинный перевод изменил правила игры: модель обрабатывает предложение целиком, а механизм внимания позволяет учитывать связи между далёкими словами. С 2016 года NMT стал отраслевым стандартом, а архитектура Transformer 2017 года — фундаментом и для больших языковых моделей, которые сегодня переводят с учётом контекста всего документа, терминологии и стиля бренда.