Warum ein Spiel während des Spielens zu übersetzen wirklich schwer ist

Eine Webseite übergibt einem Übersetzer sauberen Text. Ein Spiel übergibt dir ein Bild — der Text ist als Pixel gezeichnet, ohne lesbaren Datenstrom darunter. Jede Übersetzung beginnt also damit, die Buchstaben aus dem Bild zurückzulesen, und alles danach erbt, was dieser erste Schritt falsch macht.

Spieltext ist für diesen Leseschritt fast der schwierigste Fall überhaupt:

• Dekorative und handschriftartige Schriften, gewählt für die Stimmung, nicht für die Lesbarkeit.
• Geringer Kontrast über einem bewegten, animierten Hintergrund.
• Winzige UI-Beschriftungen und Text, der in die Grafik eingebrannt ist.

Ein einzelnes falsch gelesenes Zeichen kann die Bedeutung umkehren — und es gibt keine Rechtschreibprüfung, die das auffängt, weil das Wort oft ein Eigenname oder ein vom Spiel erfundener Begriff ist. Dann steht die Übersetzung selbst vor einem zweiten Problem: Spieltext kommt in Fragmenten an. Eine zweiwortige Menübeschriftung. Eine Zahl im HUD. Eine Zeile, die sich noch Buchstabe für Buchstabe aufbaut. Übersetzungsmodelle leisten ihre beste Arbeit bei vollständigen Sätzen; ein Spiel liefert Bruchstücke, ohne Reihenfolge, ohne umgebenden Kontext, in einem Vokabular, das ein allgemeines Modell noch nie gesehen hat.

Und all das muss auf deinem Rechner laufen, während das Spiel läuft. Ein Cloud-Dienst kann das größte Modell der Welt auf einen einzelnen Satz ansetzen. Ein Live-Overlay teilt sich Arbeitsspeicher und GPU mit dem Spiel, das du gerade spielst — deshalb besteht ein großer Teil der Arbeit darin, aus Modellen, die klein genug sind, um neben einem Spiel zu bestehen, gute Ergebnisse zu holen, statt einfach nach dem größten zu greifen.

Text auf einen Bildschirm zu setzen ist einfach. Ihn über ein laufendes Spiel zu legen, ohne im Weg zu sein, ist es nicht.

Wohin kommt die Übersetzung? Text taucht an Stellen auf, die man nicht vorhersagen kann — Dialog unten, eine Item-Beschreibung rechts, ein Tooltip am Cursor, eine Systemmeldung in der Mitte. Verdeckt man zum falschen Zeitpunkt das Falsche, wird das Overlay selbst zu dem Problem, das es lösen sollte.

Der Bildschirm bewegt sich ständig. Eine einzelne Dialogzeile existiert über Dutzende Frames hinweg, während sie scrollt, ausblendet oder sich selbst tippt. Das Overlay muss erkennen „das ist dieselbe Zeile, die ich schon anzeige", selbst wenn sich die zugrunde liegenden Pixel jeden Frame leicht verschieben — sonst flackert es und zeichnet ständig neu. Macht man das falsch, sieht es aus wie Zittern; macht man es richtig, bleibt eine Übersetzung ruhig stehen, während das Bild darunter nie ganz aufhört, sich zu verändern.

Und nichts davon darf dich das Spiel kosten. Aufnahme und Rendering laufen abseits vom eigenen Thread des Spiels, sodass sie keine Frame-Zeit stehlen, und nichts wird ins Spiel injiziert — Playto liest den Bildschirm von außen, so wie es Screen-Recording-Software tut.

Das ist der leise Teil, und in gewisser Weise der schwerste. Ein Teil von Playtos Aufgabe ist es, sich die Zeilen und Wörter zu merken, denen du begegnet bist, damit ein gespieltes Spiel zu etwas wird, das du später wiederholen kannst. Das klingt nach simpler Buchhaltung. Ist es nicht — weil Spieltext keine saubere Liste eindeutiger Zeilen ist.

• Derselbe Satz erscheint über viele Frames hinweg, während er sich selbst aufbaut.
• Ein Bildschirm, auf dem du gerade stillstehst, taucht bei jeder Aufnahme erneut auf.
• Derselbe unveränderte Text wird von Frame zu Frame leicht unterschiedlich gelesen.

Zu entscheiden „das ist eine neue Zeile, die es wert ist, gespeichert zu werden" gegenüber „die habe ich schon" ist also eine echte Ermessensfrage, viele Male pro Sekunde getroffen. Neigt man zu der einen Seite, füllt sich das Protokoll mit Duplikaten desselben Satzes; neigt man zur anderen, lässt es still Zeilen fallen, die man haben wollte. Zu wissen, wann eine Zeile fertig ist, ist ein eigenes Rätsel — ein Satz, der sich noch Buchstabe für Buchstabe zeigt, sieht einem kurzen, vollständigen sehr ähnlich.

Nichts davon ist sichtbar, wenn es funktioniert. Du siehst nur eine saubere Liste dessen, was du gelesen hast. Diese Unsichtbarkeit ist der größte Teil der Arbeit.

Weil Spiele auf unterschiedliche Weise schwierig sind, ist kein einzelnes Verhalten für alle richtig — und genau deshalb gibt dir Playto mehrere zur Auswahl. Lesemodi (von schneller Texterkennung bis zu vollständiger Bilderkennung für stilisierte Schriften) und Aufnahmemodi (Cursor-Folgen, eine feste Region oder das gesamte Fenster) gibt es, damit du das Werkzeug daran anpassen kannst, wie ein bestimmtes Spiel eigenwillig ist. Wie sie zusammenpassen, steht auf der Overlay-Seite.

Und es wird besser. Das ist eine Feinabstimmung, an der wir kontinuierlich arbeiten — das Lesen, die Stabilität des Overlays, das Protokoll. Wenn ein Spiel für dich schlecht gelesen wird, ist die Demo kostenlos, und uns zu sagen, welches Spiel und was schiefging, ist das Nützlichste, was du tun kannst; echte Spiele in echten Händen sind das Signal, gegen das wir verbessern.