Modell-Landschaft
Sprache & Audio
Modelle, die Sprache verstehen, sprechen, in Echtzeit ein Gespräch führen oder Musik erzeugen. Wir nennen das Modell, nicht die App darum herum.
Zuletzt geprüft: 10.10.2026
Was diese Klasse ist
Die Klasse umfasst vier Aufgaben: Sprache verstehen (Mitschrift), Sprache erzeugen, Gespräche von Sprache zu Sprache in Echtzeit und das Erzeugen von Musik oder anderem Audio.
Der Sprachmodus einer App ist eine Produktoberfläche. Dahinter steht ein Modell, und um dieses Modell geht es hier. Wo ein Anbieter kein eigenes Audiomodell anbietet und seine Sprachfunktion auf Textmodellen betreibt, gibt es hier keinen Eintrag.
- Wofür ist es optimiert?
- Für Ton in Echtzeit: Sprache verlässlich verstehen, natürlich sprechen und schnell genug antworten, dass ein Gespräch entsteht.
- Worin unterscheidet es sich von einem Generalisten?
- Ein Generalist arbeitet mit Text. Ein Sprachmodell arbeitet mit dem Ton selbst – auch mit dem, was im Text verloren geht: Tonfall, Pausen, Emotion, zwei Menschen, die gleichzeitig reden.
- Was gibt es aus?
- Text aus Sprache, Sprache aus Text, Sprache direkt aus Sprache oder Musik.
- Wo ist es nützlich?
- Sprachassistenten und Telefonagenten, Mitschriften und Untertitel, Synchronisation und Sprecheraufnahmen, Barrierefreiheit, Musikentwürfe.
Ein Modell statt einer Kette
Lange war ein Sprachassistent drei Systeme hintereinander. Die neueren Modelle erledigen es in einem.
- Die KetteSpracherkennung macht aus Ton Text, ein Sprachmodell antwortet als Text, Sprachausgabe liest die Antwort vor. Laut dem Moshi-Paper kostet das mehrere Sekunden zwischen den Redebeiträgen, und was nicht Wort ist – Emotion, Geräusche – geht unterwegs verloren.
- Sprache-zu-SpracheEin Modell nimmt Ton auf und gibt Ton aus. Tonfall und Timing können im Signal bleiben.
- VollduplexDas Modell hört zu, während es spricht. Das erlaubt Unterbrechungen und kurze Bestätigungen, wie im Gespräch zwischen Menschen.
Fünf bemerkenswerte Modelle
Eine Auswahl mit Begründung, keine Rangliste; Rangbehauptungen der Anbieter geben wir hier nicht wieder.
Sprache-zu-Sprache in Echtzeit
Modelle, die ein gesprochenes Gespräch führen.
- OpenAI
GPT-Live 1
- Zweck
- Gesprochene Unterhaltung in Echtzeit.
- Was daran bemerkenswert ist
- Hört zu und spricht gleichzeitig (Vollduplex) und übergibt Nachdenken und Werkzeugnutzung an ein zweites Modell im Hintergrund.
- Warum es hier steht
- Andere Schnittstelle: die Stimme ist vom Denken getrennt.
- Zugang
- Über die OpenAI-API.
- Eingabe → Ausgabe
- Sprache → Sprache
Quellen: OpenAI API docs: GPT-Live 1, OpenAI API changelog · geprüft am 10.10.2026
Modellseite im Register: GPT-Live 1 → - Google
Gemini 3.8 Live
- Zweck
- Sprachagenten mit geringer Verzögerung.
- Was daran bemerkenswert ist
- Verarbeitet Sprache direkt zu Sprache. Google beschreibt die Modelle als schlankere Alternative zu verketteten Systemen aus Erkennung, Sprachmodell und Sprachausgabe.
- Warum es hier steht
- Sprache-zu-Sprache in einem Modell statt in einer Kette aus drei Systemen.
- Zugang
- Über die Gemini-API (Live API).
- Eingabe → Ausgabe
- Sprache → Sprache
- GrenzeDie Funktion für emotional angepasste Antworten ist laut Modellseite aus der API entfernt.
Quellen: Gemini API docs: Gemini 3.8 Live, Gemini API changelog, Google: Build real-time voice applications with Gemini · geprüft am 10.10.2026
Modellseite im Register: Gemini 3.8 Live →
Sprache erzeugen
Aus Text wird Sprache.
- ElevenLabs
Eleven v4
- Zweck
- Sprache aus Text erzeugen.
- Was daran bemerkenswert ist
- Der Vortrag wird über Anweisungen im Text gesteuert, etwa [laughs] oder eine beschriebene Sprechweise.
- Warum es hier steht
- Sprachausgabe, bei der Tonfall und Emotion gezielt vorgegeben werden.
- Zugang
- In den ElevenLabs-Produkten und über die API, zusammen mit der schnelleren Variante Eleven v4 Turbo.
- Eingabe → Ausgabe
- Text mit Regieanweisungen → Sprache
Quellen: ElevenLabs: Eleven v4 (28 September 2026), ElevenLabs docs: Models · geprüft am 10.10.2026
Modellseite im Register: Eleven v4 →
Sprache verstehen
Aus Sprache wird Text.
- Microsoft
MAI-Transcribe-2
- Zweck
- Gesprochene Sprache in Text übertragen.
- Was daran bemerkenswert ist
- Die Streaming-Variante liefert laut Microsoft Mitschriften in 60 Sprachen und erkennt die Sprache fortlaufend selbst.
- Warum es hier steht
- Microsoft baut Spracherkennung als eigene Modellreihe auf.
- Zugang
- Über Microsoft Foundry. Seit dem 1. Oktober 2026 gibt es zusätzlich MAI-Transcribe-2-Streaming für Mitschriften in Echtzeit.
- Eingabe → Ausgabe
- Sprache → Text
Musik
Erzeugte Musik und Audio.
- Google
Lyria 3.5
- Zweck
- Musik erzeugen, bis hin zu ganzen Liedern.
- Was daran bemerkenswert ist
- Jede erzeugte Aufnahme trägt laut Dokumentation ein SynthID-Wasserzeichen; Ausgabe in Stereo mit 44,1 kHz.
- Warum es hier steht
- Musikerzeugung als Programmierschnittstelle, mit Kennzeichnung der Ausgabe ab Werk.
- Zugang
- Über die Gemini-API (Modell-ID lyria-3.5).
- Eingabe → Ausgabe
- Text → Musik, Stereo mit 44,1 kHz
Quellen: Gemini API docs: Music generation, Gemini API changelog · geprüft am 10.10.2026
Modellseite im Register: Lyria 3.5 →
Keine RanglisteDie Reihenfolge ist die Reihenfolge dieser Liste. agi.jetzt benotet diese Modelle nicht und vergleicht sie nicht miteinander.
Warum ist das für AGI relevant?
Sprache ist die natürlichste Form, in der Menschen sich verständigen. Ein System, das in Echtzeit wahrnimmt und antwortet, mit Tonfall und Timing, interagiert anders als eines, das auf getippten Text wartet.
Für allgemeine Intelligenz zählt das als Wahrnehmung und Verständigung: hören, was gemeint ist, nicht nur, was gesagt wird, und reagieren, während das Gegenüber noch spricht.
Was das nicht über AGI belegt
Menschlich klingen ist nicht denken. Eine flüssige Stimme sagt nichts darüber, ob das Gesagte stimmt.
Relevanz für AGI heißt nicht belegter Fortschritt in Richtung AGI. Diese Modelle gehören nicht zu den Spitzenmodellen, und nichts auf dieser Seite geht in den AGI-Fortschritt ein.
Forschung hinter den allgemeinen Aussagen
- Défossez et al.: Moshi: a speech-text foundation model for real-time dialogue (2024)Beschreibt die Grenzen verketteter Systeme: mehrere Sekunden Verzögerung, Verlust nichtsprachlicher Information, feste Sprecherwechsel.
- Lin et al.: Full-Duplex-Bench (2025)Beschreibt Vollduplex-Modelle als fähig, gleichzeitig zu hören und zu sprechen, und schlägt vor, wie man Sprecherwechsel bewertet.
Quellen
Alle Quellen gelesen am 10.10.2026.
- OpenAI API docs: GPT-Live 1
- OpenAI API changelog
- Gemini API docs: Gemini 3.8 Live
- Gemini API changelog
- Google: Build real-time voice applications with Gemini
- ElevenLabs: Eleven v4 (28 September 2026)
- ElevenLabs docs: Models
- Microsoft AI: MAI-Transcribe-2 (3 September 2026)
- Microsoft AI: MAI-Transcribe-2-Streaming (1 October 2026)
- Gemini API docs: Music generation