Verwendete ProdukteReverie AI entwickelt Unterhaltung, die auf Nutzer reagiert
Traditionelle Unterhaltung folgt einem festen Ablauf: Das Drehbuch wird geschrieben, die Darbietung aufgenommen und alle Zuschauer sehen dieselbe Reihenfolge.
Reverie AI entwickelt etwas anderes. Die Interaktionsmodelle verarbeiten Text, Sprache, Video, Berührungen, Gesten, Entscheidungen und Bildschirmaktionen und bestimmen den weiteren Verlauf. Nutzer können mit Figuren sprechen, Szenen beeinflussen, ein Ende verändern oder einen zuvor nicht vorhandenen Handlungszweig öffnen.
Das Erlebnis ist also nicht mehr vollständig festgelegt, bevor Nutzer eintreten. Figuren und Szenen müssen auf das reagieren, was gerade geschieht.
Eine reaktionsfähige Welt kann nicht auf die Vertonung warten
Bei festen Inhalten lässt sich Sprache aufnehmen, sobald das Drehbuch fertig ist. In einer interaktiven Welt existiert die nächste Zeile möglicherweise erst nach einer Nutzeraktion.
Reverie brauchte Sprache, die vor der vollständigen Antwort beginnt, Anweisungen innerhalb einer Zeile folgt und dieselbe Figur über Szenen und Verzweigungen hinweg erhält. Auch die Kosten mussten tragbar bleiben, wenn jede Interaktion neue Sprache erzeugt.
Es ging nicht nur um menschlich klingende synthetische Stimmen, sondern darum, Sprache als Teil einer lebendigen Welt handeln zu lassen.
Reverie AI wollte Figuren steuern statt ein fertiges Spracherlebnis wählen
Reverie bewertete vier Anforderungen: schnelles Streaming, Ausdruckskontrolle, beständige Figurenidentität und Mehrsprachigkeit. Das Team musste Figuren im jeweiligen Moment inszenieren, statt eine einzige Stimmung für die gesamte Antwort zu wählen.
Fish Audio erfüllte diese Anforderungen in einer Sprachbasis. Sprache wird während der Erzeugung über WebSocket gestreamt, der Ausdruck lässt sich im Text mit natürlicher Sprache steuern und wiederverwendbare Stimmmodelle bewahren eine einheitliche stimmliche Identität.
Fish Audio lässt Figuren unmittelbar reagieren
Mit Fish Audio kann Reverie Sprache streamen, bevor die komplette Antwort fertig ist. Das verkürzt die Zeit zwischen Nutzeraktion und Figurenreaktion so weit, dass sich die Interaktion durchgehend anfühlt.
Das Team kann einzelne Momente einer Zeile mit Hinweisen wie Flüstern, Lachen oder Begeisterung gestalten. Statt einer Stimmeinstellung für die ganze Szene passt Reverie die Darbietung an das Geschehen an.
Wiederverwendbare Stimmmodelle halten Figuren über Szenen, Sitzungen und Handlungszweige hinweg wiedererkennbar.
Eine Sprachbasis für Welten ohne Grenzen
Reveries Erlebnisse richten sich an ein weltweites Publikum. Sprache muss daher in mehreren Sprachen funktionieren, ohne für jeden Markt einen eigenen Produktionsprozess aufzubauen.
Das aktuelle Produktionsmodell von Fish Audio unterstützt 83 Sprachen. So bringt Reverie Figuren in neue Märkte und behält dieselbe Spracharchitektur bei.
Auch die Wirtschaftlichkeit zählt. Die nutzungsabhängige API von Fish Audio kostet 15 US-Dollar je Million UTF-8-Bytes und bietet eine Infrastruktur, die mit dem Sprachaufkommen zusätzlicher Interaktionen wächst.
Stimme wird Teil der Welt
Für Reverie bedeutet das den Wandel von Stimme als Wiedergabe zu Stimme als Beteiligung.
Figuren reagieren im Moment, statt aufgezeichnete Sätze abzuspielen. Ihre Stimmen verändern sich mit der Szene und behalten dennoch ihre Identität. Dieselbe Infrastruktur trägt verschiedene Formate – von Rollenspielbegleitern und virtuellen Haustieren bis zu interaktiven Abenteuern und Spielen.
Fish Audio gab Reverie die Sprachbasis, um diese Erlebnisse reaktionsfähig zu machen, ohne Sprachproduktion zu einem getrennten Prozess werden zu lassen.
