Почему перевести игру во время игры — по-настоящему трудная задача

Веб-страница отдаёт переводчику чистый текст. Игра отдаёт вам изображение — текст нарисован пикселями, и никакой читаемой строки под ним нет. Поэтому любой перевод начинается с того, что буквы нужно прочитать обратно из картинки, и всё, что происходит дальше, наследует любую ошибку этого первого шага.

Текст в играх — это едва ли не самый трудный случай для такого распознавания:

• Декоративные и рукописные шрифты, выбранные ради настроения, а не читаемости.
• Низкий контраст на движущемся анимированном фоне.
• Мелкие подписи интерфейса и текст, впечённый прямо в арт.

Одна неправильно распознанная буква способна перевернуть смысл — и поймать это спелл-чекером не получится, потому что слово часто оказывается именем собственным или термином, придуманным именно этой игрой. Дальше сам перевод сталкивается со второй проблемой: текст игры приходит фрагментами. Двухсловная подпись в меню. Цифра на HUD. Строка, которая всё ещё печатается посимвольно. Модели перевода лучше всего работают с целыми предложениями, а игра выдаёт осколки — без порядка, без окружающего контекста, на лексике, которую обычная модель никогда не видела.

И всё это должно работать на вашей машине прямо во время игры. Облачный сервис может бросить на одно предложение крупнейшую модель на свете. Живой оверлей делит память и видеокарту с игрой, в которую вы играете, — поэтому значительная часть мастерства в том, чтобы получить хороший результат от моделей, достаточно небольших, чтобы работать рядом с игрой, а не в том, чтобы просто взять самую большую.

Поместить текст на экран — просто. Поместить его поверх живой игры, не мешая, — нет.

Куда поместить перевод? Текст появляется там, где не угадать заранее — диалог внизу, описание предмета справа, тултип у курсора, системное сообщение в центре. Закрыть не то и не в тот момент — и оверлей сам становится той проблемой, которую должен был решать.

Экран не перестаёт двигаться. Одна строка диалога существует на протяжении десятков кадров, пока прокручивается, гаснет или печатается посимвольно. Оверлей должен распознавать «это та же строка, что я уже показываю», даже когда пиксели под ней слегка меняются каждый кадр — иначе будет постоянно мерцать и перерисовываться. Если ошибиться, получится дрожание; если сделать правильно — перевод держится стабильно, пока картинка под ним так толком и не останавливается.

И ничто из этого не должно стоить вам самой игры. Захват и отрисовка работают вне потока игры, не отбирая время кадра, а внутрь игры ничего не внедряется — Playto читает экран снаружи, так же как это делают программы записи экрана.

Это тихая проблема, и в чём-то самая трудная. Часть работы Playto — запоминать строки и слова, которые вам встретились, чтобы пройденная игра превращалась в то, что можно повторить позже. Звучит как простой учёт. Это не так — потому что текст игры вовсе не чистый список отдельных строк.

• Одно и то же предложение появляется на множестве кадров, пока печатается посимвольно.
• Экран, на котором вы просто стоите, снова и снова попадает в каждый новый захват.
• Один и тот же неизменившийся текст от кадра к кадру распознаётся чуть по-разному.

Поэтому решение «это новая строка, которую стоит сохранить» против «у меня уже есть эта» — настоящий выбор, который делается много раз в секунду. Склониться в одну сторону — и журнал заполнится дублями одного предложения; в другую — и он незаметно потеряет нужные строки. Понять, когда строка закончена, — отдельная головоломка: предложение, которое ещё раскрывается буква за буквой, очень похоже на короткое и уже завершённое.

Ничего из этого не видно, когда всё работает как надо. Вы просто видите чистый список того, что прочитали. Эта незаметность и есть основная часть работы.

Игры трудны по-разному, поэтому ни одно поведение не будет правильным для всех сразу — и именно поэтому Playto даёт вам несколько вариантов. Режимы чтения (от быстрого распознавания текста до полного распознавания изображения для стилизованных шрифтов) и режимы захвата (слежение за курсором, фиксированная область или целое окно) существуют, чтобы вы подбирали инструмент под то, как именно ломается конкретная игра. Как они сочетаются друг с другом — смотрите на странице оверлея.

И дальше будет лучше. Это настройка, над которой мы работаем постоянно — распознавание, стабильность оверлея, журнал. Если в какой-то игре текст читается плохо, демо бесплатна, и рассказать нам, в какой именно игре и что пошло не так, — самое полезное, что вы можете сделать; реальные игры в реальных руках — это тот сигнал, по которому мы улучшаем продукт.