Vom Dialogtext zur Stimme im Spiel

VoiceDirector hilft bei der Dialogproduktion im Unreal-Editor. Du lieferst den Text, wählst eine Stimme oder importierst eine Aufnahme, hörst die Ergebnisse an und entscheidest, welcher Take ins Spiel kommt. Das Ergebnis ist ein normales Unreal-Audio-Asset: SoundWave. Mit Dialogbindungen lassen sich auch DialogueWave-Assets erstellen.

Eine Zeile ist ein Skripteintrag. Eine Variante ist diese Zeile in einer Sprache. Ein Take ist eine Aufnahme davon. Mehrere Takes bleiben erhalten, während das bisherige Spielaudio weiterverwendet wird.

Dein erstes Unreal-Projekt

1. Öffne Epic Games Launcher > Unreal Engine > Library und starte UE 5.5, 5.6, 5.7 oder 5.8.
2. Wähle im Projektbrowser Games > Third Person, dann Blueprint und Desktop. Blueprints sind visuelle Programme aus verbundenen Knoten; für diese Anleitung brauchst du kein C++.
3. Wähle Namen und Speicherordner, klicke Create und warte auf den Editor.

Plugin hinzufügen

Verwende den Build für deine Unreal-Version auf Windows x64. Bei Fab-Installation füge das Plugin über die Launcher-Bibliothek zur passenden Engine hinzu. Für eine Projektinstallation schließe den Editor und lege den gesamten Plugin-Ordner unter YourProject/Plugins/VoiceDirector/ ab. Erstelle Plugins bei Bedarf.

YourProject/Plugins/VoiceDirector/VoiceDirector.uplugin

Keine zweite verschachtelte VoiceDirector-Ebene. Ein reines Blueprint-Projekt benötigt das kompilierte Paket mit allen mitgelieferten Build-Dateien. Nur Quellcode erfordert einen C++-Compiler und einen eigenen Build.

1. Öffne das Projekt und Edit > Plugins. Suche VoiceDirector und aktiviere es.
2. Starte den Editor neu, falls verlangt.
3. Öffne Tools > VoiceDirector.

Dieser Einstieg verwendet eine fertige Aufnahme. Kokoro und ElevenLabs müssen dafür nicht eingerichtet sein.

1. Öffne Settings. Trage bei Output Content folder (/Game/...) /Game/VoiceDirector/Audio ein und klicke Save Output Folder. /Game entspricht dem Projektordner Content, keinem Windows-Laufwerk.
2. Lade beide Beispieldateien in einen gut auffindbaren Ordner.
3. Öffne unter Lines den Bereich Import script. Setze Import SourceId auf MyScript, klicke Import CSV und wähle die CSV.
4. Prüfe die Vorschau und klicke Apply Import. Lass Full snapshot ausgeschaltet.
5. Wähle L-001 mit Sprache en. Klicke Import WAV und wähle die Beispiel-WAV.
6. Wähle bei Bedarf Select take, dann Play. Du hörst „Keep your voice down.“ Stop beendet die Wiedergabe.
7. Klicke Approve take.
8. Öffne Publish oder Review publishing. Klicke Refresh Preview, markiere die neue SoundWave-Zeile und wähle Apply Selected Approved.
9. Öffne mit Ctrl + Space den Content Drawer und gehe zu Content > VoiceDirector > Audio. Danach kannst du den Ton im Spiel abspielen.

In einem schmalen Fenster öffne Sources & filters für den Import und Take review für die Aufnahmen. Auch ein Doppelklick auf die Zeile öffnet die Prüfung.

Schreibe die Dialoge in einer Tabelle oder einem Texteditor. Exportiere UTF-8-CSV mit Kommas.

LineId,CharacterId,Culture,Text,Context
L-001,rowan,en,Keep your voice down.,At the city gate

Unter Lines > Import script vergib eine stabile Import SourceId, öffne Import CSV, prüfe Added / Changed / Archived / Unchanged und klicke Apply Import. Eine Vorschau allein verändert nichts.

Nutze beim erneuten Import dieselbe SourceId und LineId. Identitäten und alte Takes bleiben erhalten. LineId darf in mehreren Sprachen vorkommen, aber das Paar LineId/Culture muss innerhalb einer Quelle eindeutig sein. Die Figur einer Zeile bleibt über Sprachen hinweg gleich.

CSV-Grenzen: 16 MiB und 10.000 Zeilen.

Zellen mit Kommas werden in doppelte Anführungszeichen gesetzt. Ein enthaltenes Anführungszeichen wird verdoppelt: "Er sagte ""Warte.""". Tabellenprogramme erledigen das normalerweise. Semikolon-CSV muss erneut mit Kommas gespeichert werden.

Eine DataTable speichert Tabellenzeilen in Unreal. Du kannst sie direkt auswählen, ohne CSV oder handgeschriebenes JSON.

1. Wähle unter Settings > Script DataTable das Asset.
2. Ordne Spalten LineId, CharacterId, Culture, Text sowie optional Context und SpokenText zu. String, Name und Text werden unterstützt. @RowName nutzt den Zeilennamen als LineId.
3. Die Quelle wird automatisch aus dem DataTable-Asset-Pfad abgeleitet. Klicke Preview DataTable Import.
4. Prüfe die Änderungen unter Lines und nutze Apply Import.

Eine neue Tabelle anlegen

Erstelle im Content Browser eine Blueprint Structure. Füge String-Felder LineId, CharacterId, Culture und Text-Felder Text, Context, SpokenText hinzu. Speichere sie. Erstelle eine Data Table mit dieser Struktur, füge eine Zeile hinzu und trage die Beispielwerte ein.

DataTables dürfen höchstens 10.000 Zeilen enthalten.

VoiceDirectorScriptRow ist außerdem als Importtyp im Editor verfügbar. Braucht das fertige Spiel selbst die Tabelle, verwende eine eigene Runtime-Struktur. Veröffentlichte SoundWaves sind normale Spiel-Assets.

Anbieter-Stimmen sind vorhandene Stimmen in Kokoro oder ElevenLabs. Eine Zuweisung verbindet eine davon mit CharacterId + Culture; sie trainiert kein neues Modell.

1. Richte einen Anbieter nach den folgenden Abschnitten ein.
2. Wähle ihn unter Voices und klicke Check Connection / List Voices. Das liest den Katalog, ohne Sprache zu erzeugen.
3. Trage CharacterId und Culture aus dem Skript ein. Wähle Voice und Model, passe verfügbare Optionen an und klicke Save Voice Assignment.
4. Wähle unter Lines die passende Variante und Generate new take.

Beispiel: rowan, en, Kokoro-Stimme af_heart, Modell kokoro. Die Stimme muss die gewünschte Sprache unterstützen. WAV-Import benötigt keine Stimmenzuweisung. Änderungen gelten für neue Generierungen; alte Takes behalten ihre Einstellungen.

Screenshot vergrößern ↗

Kokoro-FastAPI läuft separat auf deinem Rechner oder einem erreichbaren Server. VoiceDirector verbindet sich damit, installiert oder startet den Dienst aber nicht. Abhängigkeiten und Modelle benötigen Speicherplatz.

1. Folge der offiziellen Einrichtung für Kokoro-FastAPI v0.9.0. Für Windows CPU: Voraussetzungen installieren, Modell herunterladen und .start-cpu.ps1 im Backend-Ordner ausführen.
2. Warte auf Dienst und Modell. Prüfe bei lokaler Standardinstallation im Browser http://127.0.0.1:8880/docs.
3. Setze unter Settings die Kokoro-FastAPI base URL auf http://127.0.0.1:8880/v1. Klicke Save Settings.
4. Lade unter Voices den Katalog. Beginne mit af_heart, Modell kokoro, Sprache en und Geschwindigkeit 1.0.

Kokoro unterstützt Geschwindigkeit 0.5-2.0. Sprachen hängen von Modell und Stimme ab. Russische Skripte und WAV-Imports sind möglich, aber diese Kokoro-Integration erzeugt keine russische Sprache. Dafür brauchst du eine geeignete andere Quelle.

Du brauchst ein eigenes ElevenLabs-Konto, Guthaben und einen berechtigten Schlüssel. Generierungen verbrauchen dein Kontingent. Prüfe vor großen Stapeln die aktuellen Preise.

1. Öffne im Konto Developers > API Keys. Erstelle einen Schlüssel mit Voices: Read und Text to Speech: Access. Erlaube bei eingeschränktem Modellzugriff dein Modell.
2. Suche im Windows-Startmenü nach Umgebungsvariablen für dieses Konto bearbeiten. Unter Benutzervariablen wähle Neu: Name VOICEDIRECTOR_ELEVENLABS_KEY, Wert dein Schlüssel. Bestätige alle Dialoge.
3. Schließe Unreal und Epic Games Launcher vollständig, auch den Launcher im Infobereich. Starte sie erneut, damit sie die Variable übernehmen.
4. Wähle ElevenLabs unter Voices, klicke Check Connection / List Voices und wähle eine verfügbare Stimme und ein Modell.
5. Speichere die Figuren-/Sprachzuweisung. Generiere zuerst eine kurze Zeile und höre sie an.

VoiceDirector fordert pcm_24000 an und erstellt daraus eine PCM-WAV. Katalogzugriff bestätigt noch keine Berechtigung für dieses Ausgabeformat. Geschwindigkeit: 0.7-1.2; Style und Speaker Boost nur bei unterstützenden Modellen.

Bestehende Schlüssel lassen sich über More Actions (...) > Edit ändern. Siehe die offizielle Schlüsselanleitung. Berechtigungs-, Kontingent- oder regionale Zugriffsfehler müssen beim Anbieter geklärt werden.

1. Wähle Varianten unter Lines; Ctrl oder Shift ermöglicht Mehrfachauswahl.
2. Klicke Generate selected. Prüfe Anbieter, Anfragen, Zeichen und Kostenschätzung im Bestätigungsdialog.
3. Verfolge Jobs. Pause hält neue Sendungen an, Resume setzt sie fort, Cancel stoppt den Rest.
4. Bei Completed öffnet Open take genau diese Aufnahme in Lines und entfernt störende Filter.

Höchstens 1.000 Varianten pro Stapel und 5.000 Zeichen pro TTS-Anfrage.

Bei einer Variante heißt die Schaltfläche Generate new take, bei mehreren Generate selected.

Ein fertiger Take muss noch geprüft, freigegeben und veröffentlicht werden. Fehlerdiagnosen lassen sich kopieren.

Screenshot vergrößern ↗

Die Prüfansicht zeigt alle verfügbaren Takes mit aufgenommenem Text, Herkunft, Zeit, Dauer und echter WAV-Wellenform. Eine andere Zeile öffnet deren Verlauf.

Nutze Select take, Play, Stop und schließlich Approve take. Alle Takes bleiben vergleichbar. Die Wellenform wird zur Lesbarkeit skaliert; Lautstärke vergleichst du durch Anhören.

Eigene WAV importieren

Wähle eine Variante und Import WAV. Unterstützt: Little-Endian RIFF WAV, 16-Bit-PCM, 24 oder 48 kHz, mono oder stereo, höchstens 64 MiB. MP3, Float-WAV und 24-Bit-PCM vorher konvertieren.

More line actions bietet Sperren, Übersetzungsprüfung, Umbenennen mit stabiler ID und Dialogbindungen. Vor neuer Freigabe entsperren. Für gleiche Eingaben aktiviere Create another take even if input matches.

Screenshot vergrößern ↗

Nur Veröffentlichung erstellt oder aktualisiert die nativen Assets aus freigegebenen Takes. Import, Generierung und Freigabe allein ersetzen das bisherige Spielaudio nicht.

1. Öffne Publish > Refresh Preview.
2. Prüfe Pfad und Aktion: Create erstellt, Update aktualisiert, Conflict verlangt eine Klärung.
3. Markiere die gewünschten freigegebenen Zeilen samt benötigten Basis-SoundWaves und Dialogabhängigkeiten.
4. Klicke Apply Selected Approved und prüfe das Ergebnis. Copy kopiert den Pfad.

Extern geänderte, ungespeicherte oder schreibgeschützte Assets werden nicht einfach überschrieben. Behebe den Konflikt und aktualisiere die Vorschau. Für einen veralteten freigegebenen Take brauchst du die ausdrückliche Option für stale Takes; prüfe vorher Aufnahme und Text.

Screenshot vergrößern ↗

1. Öffne dein Level und im Hauptmenü der Werkzeugleiste Blueprints > Open Level Blueprint.
2. Suche Event BeginPlay; bei Bedarf per Rechtsklick auf den Graphen erstellen.
3. Ziehe vom weißen Ausführungspin eine Verbindung und suche Play Sound 2D.
4. Wähle im Feld Sound die veröffentlichte SoundWave.
5. Klicke Compile, speichere Blueprint und Level und starte mit Play.

Die Zeile spielt beim Levelstart. Für Figuren im Raum nutze Unreals räumliche Audioknoten und eigene Gesprächslogik. VoiceDirector erstellt Assets; das Spiel bestimmt den Zeitpunkt.

Referenziere das Audio im Spiel, damit es beim Packaging enthalten ist. Zur Laufzeit brauchst du weder Editor-Module noch Schlüssel oder TTS-Server. Siehe Epics Play Sound 2D.

Verwende bei Übersetzungen dieselbe LineId und CharacterId mit anderer Culture: L-001,rowan,en und L-001,rowan,fr. Liefere Übersetzung und passende Stimme oder Aufnahme selbst.

Die Standard-Ausgangssprache ist en. Veröffentliche Basis-SoundWave und neue lokalisierte Varianten zusammen. Unreal verwendet /Game/L10N/<culture>/.... Referenziere im Spiel das Basis-Asset und wähle die aktive Unreal-Kultur.

Nimm benötigte Kulturen und Internationalisierungsdaten unter Project Settings > Packaging in den Build auf. Die Editorsprache allein legt die Dialogsprache des Spiels nicht fest.

DialogueWave

Erstelle DialogueVoice-Assets für Sprecher und optional Zuhörer. Unter More line actions wähle Dialogue speaker, Zuhörer und einen stabilen Context key, dann Save Dialogue Context. Veröffentliche benötigte SoundWave- und DialogueWave-Zeilen zusammen.

DialogueVoice ist Dialogmetadaten, kein Stimmmodell. Pro LineId gibt es einen Kontext. Weitere Gesprächskontexte benötigen eigene Zeilenkennungen.

1. Bereite den Text vor und nutze Settings > Export Actor Manifest CSV.
2. Gib das Manifest dem Sprecher. Kennungen und verlangte WAV-Namen bleiben unverändert; verwende das unterstützte Aufnahmeformat.
3. Wähle bei Rückgabe Choose Actor Manifest und Choose Returned WAV Folder.
4. Klicke Preview Actor Matching. Prüfe fertige, fehlende und mehrdeutige Treffer; behebe Dateinamen und fehlende Aufnahmen.
5. Wähle fertige Zeilen und Import Selected Actor WAVs. Danach anhören, freigeben und veröffentlichen.

Takes behalten den Text des ursprünglichen Manifests. Nach zwischenzeitlichen Skriptänderungen können sie stale sein. Vergleiche den gesprochenen Text mit dem aktuellen Skript.

Settings enthält Kokoro-URL, Ausgabeordner, DataTable-Zuordnung, Sprecherwerkzeuge und Queue-Grenzen. Save Settings speichert Verbindung und Generierung; Save Output Folder speichert das Ausgabeziel.

Begrenze Anfragen und Zeichen pro Stapel. Für USD-Schätzungen trage den Anbieterpreis pro 1.000 Zeichen ein. Preis -1 bedeutet unbekannt; USD-Budget -1 bedeutet keine USD-Grenze. Bei aktivem Budget und unbekanntem Preis bleibt Cloud-Generierung bis zur berechenbaren Schätzung gesperrt.

Das sind lokale Editor-Einstellungen. Für normale Arbeit musst du kein JSON bearbeiten; nutze die sichtbaren Felder und Asset-Auswahl.

Screenshot vergrößern ↗

Sichere das ganze Projekt einschließlich:

Eine SoundWave allein stellt nicht den vollständigen Verlauf wieder her. Behalte auch die Take-Daten.

Nur ein Editor schreibt pro Projekt. Eine zweite Instanz kann schreibgeschützt öffnen. Schließe den anderen Editor und starte den aktuellen Unreal Editor neu, um Schreibzugriff zu erhalten; lösche keine Schreibsperre, solange ein Prozess arbeitet.

Nach abgebrochener Generierung prüfe Jobs. Bereits gesendete Anfragen können einen unbekannten Ausgang haben und werden nicht automatisch wiederholt. Prüfe den Anbieter zuerst.

Nutze unter Publish die Aktion Review interrupted publication für einen erkannten Stapel oder Restore From Publish Journal mit Saved/VoiceDirector/Publish/<batch>/Journal.json dieses Projekts. Prüfe die Bestätigung vor dem Wiederherstellen.

Unterbrochene Veröffentlichungen nutzen Journale und Backups. Behalte sie bis zur geklärten Wiederherstellung. Externe Änderungen ergeben Konflikte; neu erstellte Assets können nach Wiederherstellung zum Prüfen verbleiben. Bei Problemen sichere eine Projektkopie und sende die Diagnose an den Support.

Schreibe an nexusforgeuesupport@gmail.com. Nenne VoiceDirector-/Unreal-Version, Anbieter, genaue Schritte, Fehlermeldung und einen Screenshot der betroffenen Registerkarte.

Keine API-Schlüssel senden. Ein kleines freigebbares Skript-/Audio-Beispiel ist hilfreicher als ein privates Gesamtprojekt. Vor Untersuchungen zur Wiederherstellung immer eine Kopie behalten.