Résumer le contenu avec:
Famulor Research · Octobre 2026 · Mesuré le 13 octobre 2026 · Édité le 14 octobre 2026
Un agent vocal doit effectuer la bonne action et la confirmer clairement. La génération rapide de la parole ne constitue qu'une partie du travail. Cette étude Famulor compare les modèles individuels, les configurations de conversation complètes et l'audio reçu par l'appelant. Vous obtenez les tableaux de résultats complets, les bandes de coûts relatifs et un plan d'acceptation que vous pouvez appliquer à vos propres flux de travail.
Contenu de l'étude
1. Les conclusions qui comptent
Les neuf configurations de pipeline testées ont toutes réussi huit vérifications sur huit concernant des reçus fictifs et des faits énoncés. Avec la reconnaissance Gemma 4 et Soniox maintenue constante, leur P50 observé pour le début de la confirmation variait de 1 167 à 1 580 ms. Gradium, Deepgram, Cartesia et ElevenLabs forment une présélection initiale rapide. Les cinq autres pipelines ont également terminé les tâches vérifiées.
Gemma 4 31B IT a réussi les 16 vérifications de décisions structurées, avec un temps médian pour le premier jeton de texte de 162 ms. De nombreux autres LLM ont également réussi 16/16. Le timing décrit ce profil particulier. Il n'établit pas un classement universel d'intelligence ou de qualité.
Les résultats de la reconnaissance vocale diffèrent selon la langue. Scribe v2 Realtime, lors d'une revérification étiquetée séparément, a effectué une modification sur 161 mots de référence en allemand. Trois configurations AssemblyAI Pro et Cartesia Ink 2 ont chacune effectué trois modifications sur 124 mots en anglais. Quelques mots peuvent changer le classement dans un corpus aussi restreint.
Pour les modèles natifs en temps réel, la continuation des outils est une vérification clé. GPT Realtime 2.1 a réussi les huit tâches de service. D'autres configurations ont montré des confirmations vocales manquantes, des suites inachevées ou un comportement de protocole non résolu. Ces conclusions s'appliquent à la route et au profil testés.
Règle de lecture : Établissez d'abord la réussite correcte de la tâche. Comparez ensuite le timing de réponse. Choisissez la voix et la bande de coût au sein d'une présélection appropriée.
2. Conception et couverture de l'étude
Couche | Couverture | Signification |
|---|---|---|
LLM | 33 / 528 | 16 demandes de décision par modèle |
STT | 23 / 304 | 16 clips humains ; éligibilité linguistique par route |
TTS | 29 / 228 | 4 phrases par langue éligible |
Modèles audio natifs | 9 | Modèles à travers plusieurs modes |
WebRTC | 44 / 22 | Cellules linguistiques / configurations, DE+EN |
Route de test | WebRTC / UE | Pas de comparaison PSTN contrôlée |
SDK LiveKit | 1.8.6 | Une version de SDK dans l'exécution contrôlée |
Le catalogue activé est un inventaire instantané. Il ne prouve pas que chaque langue, plan ou route d'intégration a été qualifié. Les tests de composants et de conversation répondent à des questions différentes. Un LLM peut produire un JSON correct alors que l'agent complet donne une confirmation vocale inadaptée. Un TTS rapide peut toujours se trouver derrière une détection de tour de parole ou une continuation d'outil lente.
Les 44 cellules WebRTC représentent 22 configurations dans deux langues, avec un appel par langue et par configuration. Chaque suite de service contient quatre tâches positives contrôlées. Les suites terminées incluent également une vérification d'interruption et de récupération bornée. Les 47 appels terminaux dans l'ensemble de preuves incluent trois pilotes. Ils ne créent pas d'essais répétés des 44 cellules de comparaison.
Les exécutions étaient séquentielles, sans ordre aléatoire ni séries répétées. Les effets de préchauffage, les conditions réseau et les changements de fournisseur au fil du temps peuvent influencer les observations. Considérez ceci comme une étape de sélection documentée pour votre prochain cycle de qualification.
3. Comprendre les architectures des moteurs
Illustration du concept. Les modules en verre représentent la reconnaissance, le raisonnement et la génération de parole, sans valeurs mesurées.
Mode | Chemin | Focus de qualification |
|---|---|---|
Pipeline | STT → LLM → TTS | Reconnaissance, faits d'outils, voix |
Half-Cascade | Audio natif → TTS externe | Continuation d'outil et voix |
Temps réel | Audio natif → audio natif | Faits énoncés et action |
Full Duplex | Parole chevauchante | Écoute, interruptions, résultat |
Traduction | DE→EN / EN→DE | Contenu et entités critiques |
Un pipeline sépare la reconnaissance, le raisonnement et la génération de parole. Chaque composant peut être évalué et modifié indépendamment. Half-Cascade combine la compréhension audio native avec une voix externe. Le temps réel produit de la parole dans le modèle audio natif. Full Duplex ajoute un comportement de parole chevauchante. La traduction a un objectif différent et reçoit une évaluation séparée.
Des mesures équivalentes doivent décrire des événements équivalents. Le premier jeton de texte d'un pipeline n'est pas le premier jeton audio d'un modèle natif. Les timings de composants manquants restent donc manquants. Pour les appels complets, ce rapport utilise le proxy de confirmation côté appelant parallèlement aux vérifications de tâches explicites.
4. La comparaison complète des pipelines
Fournisseur | Modèle TTS | Vérifications | n | P50 ms | P95 ms |
|---|---|---|---|---|---|
 Gradium | default | 8/8 | 8 | 1167 | 1272 |
 Deepgram | aura-2 | 8/8 | 8 | 1201 | 1425 |
 Cartesia | sonic-3.6-2026-08-27 | 8/8 | 8 | 1241 | 1371 |
 ElevenLabs | eleven_v4_turbo | 8/8 | 8 | 1250 | 1326 |
 Rime | coda | 8/8 | 8 | 1261 | 1499 |
 Inworld | inworld-tts-2 | 8/8 | 8 | 1269 | 1392 |
 Soniox | tts-rt-v2 | 8/8 | 8 | 1429 | 1616 |
 Fish Audio | s2.1-pro | 8/8 | 8 | 1530 | 1610 |
 xAI | tts-1 | 8/8 | 8 | 1580 | 3054 |
Gemma 4 31B IT et Soniox STT v5 restent constants. Le tableau nomme les configurations TTS testées. Le timing commence à la fin de la parole de l'appelant et se termine à la première trame audio non silencieuse reçue après l'arrivée du reçu HTTP correspondant. Il inclut le réseau, l'action, la continuation et la livraison audio. Cette trame seule ne vérifie pas l'horodatage du premier mot de confirmation significatif.
Chaque pipeline a réussi 8/8 vérifications de tâches et 2/2 vérifications d'interruption/récupération bornées. Il s'agit d'un résultat positif pour ces cas fixes. Ce n'est pas un taux de résolution des appels clients. L'outil a renvoyé un reçu d'écho HTTP contrôlé, plutôt que d'écrire un rendez-vous ou de modifier un enregistrement CRM.
Les six premières valeurs P50 sont relativement proches. Avec huit tours et aucun essai répété, de petits écarts n'établissent pas de gagnants séparés. La configuration xAI a un P95 d'échantillon sensiblement plus élevé que son P50 dans cette exécution. Cela nécessite des essais répétés et une inspection des événements individuels.
5. Chaque configuration de conversation native
Configuration | Vérifications | Suites | n | P50 ms | P95 ms |
|---|---|---|---|---|---|
 realtime-gpt-realtime-2.1 | 8/8 | 2/2 | 8 | 2658 | 2895 |
half_cascade-gpt-realtime-2.1 | 7/8 | 2/2 | 8 | 1889 | 2711 |
half_cascade-gpt-realtime-2 | 7/8 | 2/2 | 8 | 2320 | 4118 |
half_cascade-gpt-realtime-2.1-mini | 6/8 | 2/2 | 8 | 2260 | 10300 |
realtime-gpt-realtime-2.1-mini | 6/8 | 2/2 | 8 | 2406 | 12913 |
realtime-gpt-realtime-2 | 6/8 | 2/2 | 8 | 2917 | 4975 |
 realtime-gemini-2.5-flash-native-audio-preview-12-2025 | 1/2 | 0/2 | 2 | 4508 | 11117 |
realtime-gpt-live-1 | WAV 6/8 | 2/2 | 8 | 1550 | 5698 |
half_cascade-gpt-realtime-mini | 0/0 | 0/2 | 0 | N/A | N/A |
realtime-gemini-3.1-flash-live-preview | 0/0 | 0/2 | 0 | N/A | N/A |
realtime-gemini-3.8-live | 0/0 | 0/2 | 0 | N/A | N/A |
realtime-gemini-3.8-live-extended-thinking | 0/0 | 0/2 | 0 | N/A | N/A |
realtime-gpt-realtime-mini | 0/0 | 0/2 | 0 | N/A | N/A |
GPT Realtime 2.1 a terminé les huit faits de service vérifiés. Half-Cascade avec GPT Realtime 2.1 et GPT Realtime 2 ont chacun atteint 7/8. Leurs homologues Mini ont atteint 6/8. Les timings restent visibles lorsqu'une tâche échoue à sa vérification de qualité. Un tour échoué rapide n'est pas compté comme un résultat réussi.
Les suites Gemini et les anciennes Realtime Mini se sont arrêtées après avoir manqué des appels d'outils correspondants ou une continuation audible. Les tâches ultérieures n'ont pas été tentées. Une entrée 0/0 signifie donc aucune vérification de tâche évaluable. Cela ne signifie pas une qualité parfaite ou quatre échecs prouvés par langue. Des travaux supplémentaires doivent isoler la route, la séquence d'événements et le comportement de continuation.
Pour Full Duplex avec GPT Live 1, les deux cellules linguistiques avaient des reçus d'outils corrects. La reconnaissance indépendante des fichiers WAV reçus a confirmé six des huit faits énoncés : la réponse à la politique allemande manquait du fait des 14 jours, et l'anglais manquait de la confirmation de réservation. Les transcriptions directes des modèles étaient incomplètes. La vérification WAV est montrée séparément plutôt que traitée comme identique aux vérifications basées sur la transcription. Cette suite de service nécessite encore une qualification de résultat audible.
Translate a été évalué séparément en DE→EN et EN→DE. Les deux ont fourni de l'audio et préservé la date, l'heure et les entités de Berlin. Un nom allemand est resté ambigu lors de la reconnaissance indépendante. Deux directions n'établissent pas un taux de qualité de traduction large. Un début de streaming négatif représente un chevauchement, pas un temps de réponse réactif négatif.
6. LLM : les 33 modèles du profil de décision
Modèle | Vérifications | Non vide | n | P50 ms | P95 ms |
|---|---|---|---|---|---|
google/gemma-4-31b-it | 16/16 | 16 | 16 | 162 | 535 |
openai/gpt-4.1 | 16/16 | 16 | 16 | 339 | 440 |
openai/gpt-4o | 16/16 | 16 | 16 | 389 | 890 |
openai/gpt-5.4-mini | 16/16 | 16 | 16 | 411 | 513 |
 deepseek-ai/deepseek-v4.1-flash | 16/16 | 16 | 16 | 494 | 821 |
openai/gpt-5.1 | 16/16 | 16 | 16 | 527 | 633 |
openai/gpt-5.6-luna | 16/16 | 16 | 16 | 561 | 1664 |
openai/gpt-5.2 | 16/16 | 16 | 16 | 575 | 663 |
openai/gpt-5.4 | 16/16 | 16 | 16 | 591 | 689 |
openai/gpt-5.6-sol | 16/16 | 16 | 16 | 654 | 2635 |
google/gemini-3.5-flash-lite | 16/16 | 16 | 16 | 698 | 1213 |
google/gemini-3.1-flash-lite | 16/16 | 16 | 16 | 707 | 4930 |
google/gemini-3.6-flash | 16/16 | 16 | 16 | 743 | 1362 |
google/gemini-3-flash-preview | 16/16 | 16 | 16 | 928 | 1180 |
google/gemini-3.5-flash | 16/16 | 16 | 16 | 1017 | 3469 |
openai/gpt-6-luna | 16/16 | 16 | 16 | 1145 | 2434 |
openai/gpt-5.5 | 16/16 | 16 | 16 | 1235 | 2645 |
xai/grok-4.7 | 16/16 | 16 | 16 | 5860 | 14607 |
openai/gpt-4.1-mini | 15/16 | 16 | 16 | 316 | 393 |
openai/gpt-5.6-terra | 15/16 | 15 | 15 | 576 | 827 |
xai/grok-4.20-0309-reasoning | 15/16 | 15 | 15 | 7864 | 17818 |
openai/gpt-5.4-nano | 14/16 | 15 | 15 | 400 | 520 |
google/gemini-3.7-flash | 13/16 | 16 | 16 | 2440 | 7146 |
xai/grok-4.20-multi-agent-0309 | 12/16 | 14 | 14 | 9672 | 19539 |
google/gemini-3.8-flash | 11/16 | 16 | 16 | 2625 | 10380 |
openai/gpt-4.1-nano | 10/16 | 16 | 16 | 284 | 364 |
openai/gpt-4o-mini | 10/16 | 16 | 16 | 345 | 740 |
xai/grok-4.20-0309-non-reasoning | 7/16 | 16 | 16 | 1070 | 6367 |
openai/gpt-5 | 5/16 | 6 | 6 | 2885 | 5624 |
google/gemini-3.1-pro-preview | 3/16 | 16 | 16 | 3697 | 6223 |
openai/gpt-5-mini | 0/16 | 1 | 1 | 2941 | 2941 |
openai/chat-latest | 0/16 | 0 | 0 | N/A | N/A |
openai/gpt-5-nano | 0/16 | 0 | 0 | N/A | N/A |
Chaque modèle a reçu 16 décisions structurées courtes, avec une limite de sortie initiale de 256 jetons. Les vérifications portaient sur des faits de référence, des actions attendues et le refus d'actions non prises en charge ou interdites. Le tableau sépare les vérifications de décision, les sorties non vides et les échantillons de temps. P50 et P95 utilisent uniquement les observations avec des temps disponibles.
16/16 est une porte d'entrée grossière avec cette taille d'échantillon. Même en supposant une hypothèse binomiale indépendante simplifiée, la borne inférieure de Wilson à 95 % est d'environ 80,6 %. Ces cas fixes ne constituent pas non plus un échantillon aléatoire des demandes des clients. L'intervalle ne fournit donc pas de garantie de production.
Des revérifications séparées de GPT-5 utilisant une allocation de 1 536 jetons ont amélioré les réponses non vides. Elles utilisent un budget différent et ne remplacent pas silencieusement la référence de 256 jetons. Lorsqu'un modèle de raisonnement consomme son allocation avant de produire une sortie, examinez la configuration. Une sortie vide ou une erreur de routage HTTP 400 n'établit pas une incapacité intrinsèque à répondre à la question du client.
Gemma 4 et d'autres candidats 16/16 tels que GPT-4.1, GPT-4o, GPT-5.4 Mini et DeepSeek V4.1 Flash sont des points de départ sensés. Poursuivez avec des contextes plus longs, des arguments d'outils réels, des corrections et des conversations en plusieurs étapes. Un petit écran de décision ne remplace pas cette seconde étape.
7. STT : parole humaine et références fournies
L'écran de précision utilise 16 enregistrements humains issus de Google FLEURS. L'allemand et l'anglais sont notés séparément. Chaque candidat au sein d'une langue reçoit les mêmes fichiers et textes de référence. La sélection contient 82,56 secondes d'allemand et 54,14 secondes d'anglais, avec respectivement 161 et 124 mots de référence.
Allemand : résultats complets et qualifiés séparément
Modèle | Profil | Clips | Mots | Modifications | WER | Qualification |
|---|---|---|---|---|---|---|
elevenlabs/scribe_v2_realtime | credential_or_eof_recheck | 8/8 | 161 | 1 | 0.62% | corpus court complet |
google/gemini-3.5-transcribe-live | référence | 8/8 | 161 | 2 | 1.24% | corpus court complet |
 assemblyai/u3-rt-pro | référence | 8/8 | 161 | 3 | 1.86% | corpus court complet |
assemblyai/universal-3-5-pro | référence | 8/8 | 161 | 3 | 1.86% | corpus court complet |
assemblyai/universal-3-6-pro | référence | 8/8 | 161 | 3 | 1.86% | corpus court complet |
 speechmatics/linden-1 | référence | 8/8 | 161 | 4 | 2.48% | corpus court complet |
stt-rt-v5 | credential_or_eof_recheck | 8/8 | 161 | 6 | 3.73% | corpus court complet |
xai/stt-1 | référence | 8/8 | 161 | 6 | 3.73% | corpus court complet |
xai/stt-2 | référence | 8/8 | 161 | 6 | 3.73% | corpus court complet |
deepgram/nova-3 | référence | 8/8 | 161 | 7 | 4.35% | corpus court complet |
deepgram/flux-general-multi | référence | 8/8 | 161 | 10 | 6.21% | corpus court complet |
deepgram/nova-2 | référence | 8/8 | 161 | 12 | 7.45% | corpus court complet |
cartesia/ink-whisper | référence | 8/8 | 161 | 13 | 8.07% | corpus court complet |
 solaria-1 | gladia_protocol_recheck | 5/8 | 112 | 7 | 6.25% | partiel ; non classé |
assemblyai/universal-streaming-multilingual | référence | 8/8 | 161 | 176 | 109.32% | artefact final en double ; non classé |
Anglais : résultats complets et qualifiés séparément
Modèle | Profil | Clips | Mots | Modifications | WER | Qualification |
|---|---|---|---|---|---|---|
assemblyai/u3-rt-pro | référence | 8/8 | 124 | 3 | 2.42% | corpus court complet |
assemblyai/universal-3-5-pro | référence | 8/8 | 124 | 3 | 2.42% | corpus court complet |
assemblyai/universal-3-6-pro | référence | 8/8 | 124 | 3 | 2.42% | corpus court complet |
cartesia/ink-2 | référence | 8/8 | 124 | 3 | 2.42% | corpus court complet |
elevenlabs/scribe_v2_realtime | credential_or_eof_recheck | 8/8 | 124 | 4 | 3.23% | corpus court complet |
deepgram/flux-general-en | référence | 8/8 | 124 | 8 | 6.45% | corpus court complet |
google/gemini-3.5-transcribe-live | référence | 8/8 | 124 | 9 | 7.26% | corpus court complet |
stt-rt-v5 | credential_or_eof_recheck | 8/8 | 124 | 10 | 8.06% | corpus court complet |
speechmatics/linden-1 | référence | 8/8 | 124 | 10 | 8.06% | corpus court complet |
deepgram/flux-general-multi | référence | 8/8 | 124 | 12 | 9.68% | corpus court complet |
deepgram/nova-3 | référence | 8/8 | 124 | 14 | 11.29% | corpus court complet |
deepgram/nova-3-pharma | référence | 8/8 | 124 | 16 | 12.90% | corpus court complet |
deepgram/nova-2-conversationalai | référence | 8/8 | 124 | 17 | 13.71% | corpus court complet |
deepgram/nova-2-medical | référence | 8/8 | 124 | 18 | 14.52% | corpus court complet |
deepgram/nova-2-phonecall | référence | 8/8 | 124 | 18 | 14.52% | corpus court complet |
deepgram/nova-3-medical | référence | 8/8 | 124 | 18 | 14.52% | corpus court complet |
deepgram/nova-2 | référence | 8/8 | 124 | 20 | 16.13% | corpus court complet |
solaria-1 | gladia_protocol_recheck | 4/8 | 51 | 3 | 5.88% | partiel; non classé |
cartesia/ink-whisper | référence | 6/8 | 99 | 29 | 29.29% | partiel; non classé |
xai/stt-1 | référence | 6/8 | 99 | 33 | 33.33% | partiel; non classé |
xai/stt-2 | référence | 6/8 | 99 | 33 | 33.33% | partiel; non classé |
assemblyai/universal-streaming | référence | 8/8 | 124 | 84 | 67.74% | artefact final en double; non classé |
assemblyai/universal-streaming-multilingual | référence | 7/8 | 114 | 120 | 105.26% | artefact final en double; non classé |
Le Micro WER correspond au total des substitutions, suppressions et insertions divisé par le nombre total de mots de référence. Il ne s'agit pas de la moyenne de huit pourcentages au niveau du clip. Une modification supplémentaire change le WER allemand d'environ 0,62 point de pourcentage et l'anglais d'environ 0,81 point. Regrouper l'allemand et l'anglais donnerait plus de poids à l'allemand en raison de son nombre de mots plus élevé.
Les corpus partiels sont identifiés séparément. Leur WER ne décrit que les clips évalués avec succès et ne peut être comparé équitablement aux corpus complets. Les transcriptions manquantes ne signifient pas une reconnaissance sans erreur. Les résultats d'AssemblyAI Universal Streaming avec des hypothèses finales dupliquées sont également exclus du classement comparatif. Le WER peut dépasser 100 % lorsque de nombreux mots supplémentaires sont insérés. La gestion des segments et du formatage nécessite une qualification avant d'interpréter ces artefacts comme une mesure de la qualité de reconnaissance.
La sélection provient de l'ensemble de validation et contient de la parole lue. Les enregistrements allemands ont des métadonnées masculines; l'anglais comporte quatre entrées masculines et quatre féminines. Cela ne constitue pas une couverture représentative des accents, de la parole spontanée, du bruit ou de la téléphonie. Cela n'établit pas non plus d'identités de locuteurs distinctes. Ajoutez vos propres noms, identifiants clients, horaires, termes produits et enregistrements téléphoniques avant toute validation.
8. TTS : les 29 modèles et le premier segment audio
Modèle | Profil | Audio | P50 ms | P95 ms |
|---|---|---|---|---|
eleven_v3_conversational | référence | 8/8 | 125 | 702 |
elevenlabs/eleven_v4_turbo | référence | 8/8 | 129 | 141 |
elevenlabs/eleven_flash_v2_5 | référence | 8/8 | 138 | 1265 |
elevenlabs/eleven_turbo_v2_5 | référence | 8/8 | 179 | 225 |
cartesia/sonic-latest | référence | 8/8 | 182 | 231 |
cartesia/sonic-3.6-2026-08-27 | référence | 8/8 | 186 | 222 |
cartesia/sonic-preview | référence | 8/8 | 187 | 231 |
gradium/default | référence | 8/8 | 192 | 264 |
cartesia/sonic-3.6 | référence | 8/8 | 197 | 205 |
cartesia/sonic-3-latest | référence | 8/8 | 217 | 1274 |
cartesia/sonic-3.5 | référence | 8/8 | 219 | 250 |
cartesia/sonic-3.5-2026-05-04 | référence | 8/8 | 236 | 243 |
cartesia/sonic-3 | référence | 8/8 | 238 | 325 |
cartesia/sonic-3-2026-01-12 | référence | 8/8 | 260 | 293 |
inworld/inworld-tts-2-flash | référence | 8/8 | 338 | 676 |
inworld/inworld-tts-1.5-mini | référence | 8/8 | 357 | 578 |
inworld/inworld-tts-2 | référence | 8/8 | 359 | 654 |
inworld/inworld-tts-1.5-max | référence | 8/8 | 415 | 454 |
deepgram/aura-2 | référence | 8/8 | 476 | 762 |
elevenlabs/eleven_v3 | référence | 8/8 | 487 | 766 |
deepgram/flux-tts | flux_model_voice_recheck | 4/4 | 538 | 740 |
rime/coda | référence | 8/8 | 601 | 637 |
elevenlabs/eleven_v4 | référence | 8/8 | 638 | 775 |
soniox/tts-rt-v2 | credential_or_eof_recheck | 8/8 | 718 | 771 |
elevenlabs/eleven_multilingual_v2 | référence | 8/8 | 868 | 1920 |
xai/tts-1 | référence | 8/8 | 876 | 949 |
fishaudio/s2.1-pro | référence | 8/8 | 1191 | 1758 |
fishaudio/s2-pro | référence | 8/8 | 1237 | 1317 |
gpt-4o-mini-tts | référence | 3/8 | 1154 | 1550 |
Chaque langue utilise quatre phrases courtes fixes et une voix fixe. Le TTFB local court du début de la requête vers l'usine/le fournisseur jusqu'au premier segment PCM. Il se termine avant la réponse audible de l'appelant. Il s'agit d'une mesure de composant plutôt que d'un timing de conversation complet.
Eleven v3 Conversational, Eleven v4 Turbo, Flash, les configurations Cartesia récentes et Gradium étaient des candidats rapides dans ce profil. Leur ordre peut changer dans une chaîne de traitement complète. Deepgram Aura-2, par exemple, a montré un temps de composant local plus élevé que plusieurs modèles, alors que la chaîne Deepgram complète affichait l'un des temps de confirmation d'appelant les plus bas. Les limites, le texte généré et les chemins de streaming diffèrent.
Flux TTS a été revérifié avec sa voix Alexis compatible sur quatre phrases anglaises. Cette revérification en anglais uniquement est explicitement séparée des lignes de référence bilingues. GPT-4o Mini TTS a renvoyé trois échantillons de référence sur huit; ses timings couvrent ces trois sorties disponibles plutôt que huit réponses réussies.
Aucun jury en aveugle n'a évalué le naturel, la prononciation ou la préférence vocale. Écoutez votre sélection en utilisant votre vocabulaire : noms personnels et d'entreprise, adresses e-mail, décimales, heures, abréviations et changements de langue. Jugez l'intelligibilité avant l'adéquation de la marque. Un premier segment rapide ne mesure ni l'une ni l'autre.
9. Bandes de coûts : Faible, Moyen et Élevé
Chaîne de traitement | Bande de coût | Preuve |
|---|---|---|
Gradium | Élevé | Part LLM/TTS connue; coût complet non résolu |
Deepgram | Moyen | Part LLM/TTS connue; coût complet non résolu |
Cartesia | Élevé | Part LLM/TTS connue; coût complet non résolu |
ElevenLabs | Non résolu | Tarif TTS ou quantités de facturation manquants |
Rime | Moyen | Part LLM/TTS connue; coût complet non résolu |
Inworld | Faible | Part LLM/TTS connue; coût complet non résolu |
Soniox | Non résolu | Tarif TTS ou quantités de facturation manquants |
Fish Audio | Faible | Part LLM/TTS connue; coût complet non résolu |
xAI | Faible | Part LLM/TTS connue; coût complet non résolu |
Ces bandes décrivent uniquement la part d'inférence LLM/TTS connue relative pour sept paires de chaînes comparables. Chaque paire utilise les deux appels DE/EN terminés, exclut les pilotes et dispose de quantités LLM et TTS attribuables avec des tarifs publics référencés. Classez les sept sous-totaux connus : les trois premiers reçoivent Faible, les deux suivants Moyen et les deux derniers Élevé. Les bandes sont relatives à cette expérience, et non aux niveaux de plan Famulor.
Les quantités de jetons STT, l'utilisation de certains détecteurs, le transport, l'infrastructure, l'enregistrement, les remises et les coûts de facturation sont manquants ou incomplètement attribués. Le tarif exact d'Eleven v4 Turbo est indisponible; Soniox manque de quantités de facturation correspondantes. Les deux restent Non résolus. Les modes natifs ne sont pas insérés dans ces bandes de chaîne. Les longueurs de réponse, les salutations et les réponses aux interruptions affectent également les parts connues.
« Faible » ne signifie pas la pile technologique la moins coûteuse. « Élevé » ne signifie pas un tarif Famulor élevé. Les plages aident à interpréter une portion comparable de l'utilisation enregistrée lors des tests. Le coût réel par appel client résolu nécessite une attribution complète des coûts et des résultats commerciaux vérifiés. Ce rapport ne publie aucun montant monétaire interne.
10. Quatre flux de travail et leurs questions d'acceptation
Flux de travail | Vérification clé | Qualification suivante |
|---|---|---|
Service | Politique et identifiant | Incertitude et transfert confirmé |
Réservation | Créneau, fuseau horaire, une action | Vérifier l'état persistant du calendrier |
Ventes | Faits et qualification | Offres inconnues et détails manquants |
Support | Étapes et protection par mot de passe | Correction, erreur d'outil, interruption |
Les tableaux des flux de travail présentent les observations pour les deux langues sous forme de plage. Chaque combinaison comporte une tâche positive par langue. L'observation la plus basse ne constitue pas une médiane industrielle fiable. Seules les paires de tâches validées apparaissent. Ces différences ne permettent pas d'établir un leader en matière de qualité spécialisée pour le service client ou les ventes.
Service client
Configuration | Tours vérifiés | ms inférieur | ms supérieur |
|---|---|---|---|
pipeline-gradium | 2 | 779 | 1095 |
pipeline-rime | 2 | 874 | 1261 |
pipeline-inworld | 2 | 881 | 1185 |
pipeline-soniox | 2 | 1001 | 1350 |
pipeline-cartesia | 2 | 1049 | 1204 |
pipeline-deepgram | 2 | 1178 | 1308 |
pipeline-elevenlabs | 2 | 1250 | 1261 |
pipeline-fishaudio | 2 | 1284 | 1530 |
pipeline-xai | 2 | 1445 | 3054 |
half_cascade-gpt-realtime-2.1-mini | 2 | 1471 | 1551 |
half_cascade-gpt-realtime-2.1 | 2 | 1780 | 1994 |
half_cascade-gpt-realtime-2 | 2 | 1990 | 2320 |
realtime-gpt-realtime-2.1-mini | 2 | 2157 | 2260 |
realtime-gpt-realtime-2 | 2 | 2400 | 2496 |
realtime-gpt-realtime-2.1 | 2 | 2677 | 2710 |
Vérifiez les politiques approuvées, les identifiants, les corrections et les demandes concernant une personne. La tâche contrôlée a vérifié un fait politique connu et son accusé de réception. Une suite d'acceptation réelle nécessite également des informations incomplètes, des demandes contradictoires et des transferts confirmés.
Réservation de rendez-vous
Configuration | Tours vérifiés | ms inférieur | ms supérieur |
|---|---|---|---|
pipeline-gradium | 2 | 1128 | 1272 |
pipeline-elevenlabs | 2 | 1168 | 1326 |
pipeline-deepgram | 2 | 1186 | 1360 |
pipeline-cartesia | 2 | 1241 | 1352 |
pipeline-rime | 2 | 1244 | 1480 |
pipeline-inworld | 2 | 1269 | 1392 |
pipeline-soniox | 2 | 1400 | 1616 |
pipeline-fishaudio | 2 | 1481 | 1610 |
pipeline-xai | 2 | 1555 | 1582 |
realtime-gpt-realtime-2.1 | 2 | 2658 | 2688 |
L'objectif est le créneau proposé correct, incluant la date, l'heure et le fuseau horaire. Inspectez l'état réel du calendrier de test après la réservation. Exigez exactement une action persistante et une confirmation vocale correspondante. Ajoutez des créneaux indisponibles, des clarifications, des reprogrammations et des envois d'outils répétés pour détecter les réservations en double.
Ventes
Configuration | Tours vérifiés | ms inférieur | ms supérieur |
|---|---|---|---|
pipeline-gradium | 2 | 1167 | 1250 |
pipeline-deepgram | 2 | 1174 | 1425 |
pipeline-rime | 2 | 1232 | 1469 |
pipeline-cartesia | 2 | 1239 | 1292 |
pipeline-elevenlabs | 2 | 1247 | 1257 |
pipeline-inworld | 2 | 1249 | 1359 |
pipeline-soniox | 2 | 1429 | 1509 |
pipeline-fishaudio | 2 | 1521 | 1540 |
pipeline-xai | 2 | 1664 | 1731 |
half_cascade-gpt-realtime-2.1 | 2 | 1827 | 1990 |
half_cascade-gpt-realtime-2 | 2 | 1878 | 2485 |
realtime-gpt-realtime-2.1-mini | 2 | 2128 | 3026 |
realtime-gpt-realtime-2.1 | 2 | 2537 | 2616 |
realtime-gpt-realtime-2 | 2 | 4728 | 4975 |
Les vérifications ont couvert des faits produits fixes et l'action attendue. L'étape suivante nécessite des demandes incertaines, des détails manquants et des offres non approuvées. Les faits concernant les prix et les sièges dans les configurations étaient des données de test fictives. Il ne s'agit pas de prix Famulor et ils ne sont pas reproduits en tant qu'offres commerciales.
Support technique
Configuration | Tours vérifiés | ms inférieur | ms supérieur |
|---|---|---|---|
pipeline-deepgram | 2 | 1201 | 1268 |
pipeline-gradium | 2 | 1205 | 1209 |
pipeline-elevenlabs | 2 | 1237 | 1318 |
pipeline-inworld | 2 | 1269 | 1318 |
pipeline-cartesia | 2 | 1319 | 1371 |
pipeline-rime | 2 | 1430 | 1499 |
pipeline-soniox | 2 | 1478 | 1487 |
pipeline-fishaudio | 2 | 1539 | 1590 |
pipeline-xai | 2 | 1562 | 1580 |
half_cascade-gpt-realtime-2.1 | 2 | 1889 | 2206 |
half_cascade-gpt-realtime-2.1-mini | 2 | 1899 | 2541 |
half_cascade-gpt-realtime-2 | 2 | 2346 | 2444 |
realtime-gpt-realtime-2.1 | 2 | 2354 | 2895 |
realtime-gpt-realtime-2.1-mini | 2 | 2406 | 12913 |
realtime-gpt-realtime-2 | 2 | 2476 | 2954 |
Le cas contrôlé a utilisé un code d'erreur connu, une séquence d'étapes fixe et une protection par mot de passe. Ajoutez des étapes échouées, de nouvelles informations et une interruption au milieu des instructions. Une récupération correcte traite la demande modifiée plutôt que de poursuivre le paragraphe précédent.
11. Mesure du temps à la limite appropriée
Métrique | Début → fin | Signification |
|---|---|---|
Proxy de confirmation | Fin de l'appelant → audio après réception | Début de l'audio, pas un horodatage de mot |
LLM TTFT | Demande → premier jeton de texte | Heure de début du composant |
TTS TTFB | Usine → premier bloc PCM | Composant, pas l'audio de l'appelant |
EOT | Fin détectée → décision de tour | Valeur SDK; vérification de limite indépendante nécessaire |
Micro WER | (S + D + I) / N | Modifications de mots par mot de référence |
P50 / P95 | Rang le plus proche | Toujours afficher n et le profil |
Les tableaux utilisent des centiles de rang le plus proche : triez les observations et sélectionnez la position ceil(p × n). Avec n=8, P95 est la plus grande des huit observations. Il décrit le tour mesuré le plus lent de cet échantillon. Un P95 de production stable nécessite un ensemble de données nettement plus large et correctement stratifié.
Les tours au sein d'un appel partagent la configuration et les conditions réseau. Huit tours ne correspondent pas à huit appels clients indépendants. Les intervalles de confiance et les répétitions doivent respecter l'appel en tant qu'unité partagée. La mise en commun des tours peut sinon suggérer plus de certitude que ce que l'expérience permet de soutenir.
Métriques des travailleurs de pipeline exportées
Pipeline | LLM n/P50/P95 | TTS n/P50/P95 | EOT n/P50/P95 |
|---|---|---|---|
pipeline-cartesia | 12 / 149 / 175 | 13 / 67 / 120 | 12 / 578 / 582 |
pipeline-deepgram | 12 / 148 / 159 | 13 / 137 / 884 | 12 / 578 / 579 |
pipeline-elevenlabs | 12 / 148 / 179 | 14 / 84 / 93 | 12 / 578 / 580 |
pipeline-fishaudio | 12 / 144 / 155 | 12 / 466 / 1344 | 12 / 578 / 579 |
pipeline-gradium | 12 / 145 / 159 | 14 / 90 / 149 | 12 / 578 / 580 |
pipeline-inworld | 13 / 146 / 204 | 13 / 186 / 309 | 12 / 578 / 580 |
pipeline-rime | 12 / 146 / 182 | 14 / 235 / 549 | 12 / 578 / 579 |
pipeline-soniox | 13 / 148 / 163 | 15 / 309 / 404 | 12 / 578 / 580 |
pipeline-xai | 12 / 145 / 157 | 12 / 418 / 745 | 12 / 578 / 2501 |
Selon l'exportation, ces métriques SDK incluent les salutations, les continuations d'outils et les réponses aux interruptions. Leurs nombres d'échantillons diffèrent des huit tâches contrôlées. Les valeurs P50 des composants ne peuvent pas être additionnées pour dériver le P50 de la conversation : les chronologies se chevauchent et les ensembles d'observations diffèrent.
12. Ce dont un rapport complet a besoin
Métrique | Preuve ici | Preuve supplémentaire nécessaire |
|---|---|---|
Vérification outil/fait | Reçus fictifs + faits énoncés | État de l'action réelle |
Taux de résolution | Non mesuré | Résultats réels étiquetés et dénominateur |
Taux d'hallucination | Vérifications de faits fixes/refus | Annotation indépendante des revendications matérielles |
Transfert | Pas de nouveau test d'acceptation téléphonique | Destination approuvée et prise en charge vérifiée |
Taux d'abandon | Observation de déconnexion bornée | Observations complètes des deux pairs |
Naturel | Pas de jury d'écouteurs en aveugle | Tests d'écoute avec des scripts identiques |
Coût par résolution | Non mesuré | Coûts complets et résolution réelle |
Un appel techniquement terminé n'est pas un cas client résolu et vérifié. Une commande de transfert acceptée ne prouve pas une prise en charge humaine. Une déclaration vocale correspondante ne prouve pas une action persistante. Le rapport doit enregistrer ces états séparément et les connecter à la tâche attendue.
Pour chaque cas, conservez la langue, la configuration, la version du prompt/outil, la route du modèle, l'heure, l'action attendue, le reçu reçu et le résultat énoncé. Gardez les statuts Passé, Échoué, Non tenté et Non résolu distincts. Donnez à chaque métrique son dénominateur approprié. Une bonne observation du timing reste alors utile sans masquer un résultat infructueux.
Les agrégats de production historiques de la semaine précédente constituaient une preuve opérationnelle supplémentaire. Ils sont exclus du classement contrôlé car les clients, les tâches, les paramètres et les versions différaient. Cela empêche les données d'opérations observationnelles de devenir une comparaison de modèles causaux.
13. Utilisez l'API Famulor pour des vérifications reproductibles
Objectif | Contrat API | Utilisation |
|---|---|---|
Catalogue | GET /user/assistants/models | Enregistrer les identifiants de modèles disponibles |
Voix | GET /user/assistants/voices | Épingler la voix et la langue |
Fournisseurs | GET /user/assistants/transcriber-providers | Enregistrer la route STT |
Tester l'assistant | POST /user/assistant | Configuration de test isolée |
Appel | GET /user/calls/{id} | Associer les données et le résultat de l'appel |
Post-appel | Webhook | Transcription, variables et enregistrement |
Le fichier OpenAPI fourni décrit le contrat d'API du produit. Il ne fournit ni résultats de benchmark ni score de qualité prêt à l'emploi. Utilisez les points de terminaison du catalogue pour enregistrer les modèles et les voix disponibles au moment du test. Configurez un assistant de test distinct et un outil avec des réponses contrôlées. Ne passez un véritable appel de test qu'avec une destination approuvée.
La récupération des appels et les webhooks post-appel permettent de connecter les informations d'appel documentées, les transcriptions, les variables extraites et les références d'enregistrement. Les mesures de fin de parole, de début audio, de réception d'outil et d'interruption en millisecondes nécessitent une instrumentation supplémentaire du chemin vocal. La durée et le statut de l'appel sont insuffisants. Ne revendiquez pas de champs TTFT, TTFB ou WER à moins que votre contrat de réponse réel ne les prévoie.
L'authentification utilise un jeton Bearer côté serveur. Gardez les identifiants, les numéros de clients, les enregistrements privés et les montants internes hors des rapports publics. Les tableaux agrégés, les cas clairs et les preuves expurgées sont adaptés au partage.
14. Transformez la liste restreinte en plan d'acceptation
Spécifiez l'action prévue, la confirmation audible et la réponse autorisée en cas d'incertitude pour chaque flux de travail.
Choisissez plusieurs candidats entièrement vérifiés. Maintenez constants le prompt, les connaissances, les réponses des outils, la région et l'audio de l'appelant.
Répétez les cas dans un ordre aléatoire. Séparez les démarrages à froid et à chaud. Conservez toutes les tentatives ayant échoué.
Ajoutez de la parole spontanée, des voix variées, des codecs téléphoniques, du bruit, des pauses, des corrections et des pertes de paquets.
Vérifiez l'état réel du système de test, comme une réservation de calendrier. Évaluez indépendamment l'audio reçu ainsi que les transcriptions du modèle.
Définissez des seuils de qualité et de timing avant l'essai. Décidez en utilisant ces seuils et l'incertitude plutôt qu'un score de gagnant pondéré rétrospectivement.
Relancez l'acceptation après des modifications apportées au prompt, aux outils, à la route ou au moteur. Conservez les résultats de régression avec les versions correspondantes.
Les simulations Famulor fournissent un point de départ pour des vérifications de flux de travail reproductibles. Ajoutez des essais de bout en bout parlés lorsque les clients entendent l'audio et peuvent interrompre les réponses. Les scénarios de simulation créés sont des modèles; leur présence ne prouve pas une évaluation exécutée supplémentaire.
15. Choisissez votre première configuration
Pour les tâches de service courtes basées sur des faits d'outils fixes, un pipeline est le point de départ le plus solide dans ce filtrage. Commencez avec Gemma 4 et un STT adapté à la langue. Comparez plusieurs voix performantes, notamment Gradium, Deepgram, Cartesia et ElevenLabs, en utilisant vos noms et chiffres critiques. Traitez les bandes de coûts comme des observations partielles supplémentaires.
Pour une compréhension audio native associée à une voix externe spécifique, qualifiez Half-Cascade. Pour des réponses parlées natives, GPT Realtime 2.1 est un candidat issu de cette petite suite complète. Pour le Full Duplex, concentrez-vous sur la parole qui se chevauche et les résultats audibles complets. Votre flux de travail et vos critères d'acceptation déterminent le choix.
16. Sources et reproductibilité
La source de mesure principale est l'instantané de recherche Famulor versionné du 13 octobre 2026. Les tableaux utilisent ses résultats finaux corrigés; les notes de révision antérieures ne remplacent pas les résultats ultérieurs. Les montants monétaires, les identifiants d'appel privés et les identifiants sont exclus de cette édition publique.
Google FLEURS: Fiche de jeu de données. Enregistrements humains et transcriptions fournies, CC BY 4.0.
Conneau et al.: FLEURS, 2022. Description du corpus.
Creative Commons BY 4.0. Licence et attribution.
NIST: Métriques ASR. Interprétation du taux d'erreur sur les mots.
LiveKit: Métriques d'agent. Métriques SDK et limites de mesure.
Documentation de l'API Famulor. API produit et événements.
La sélection FLEURS utilise de_de et en_us, validation, révision 70bb2e84b976b7e960aa89f1c648e09c59f894dd. Lignes allemandes: 0, 1, 2, 3, 5, 6, 8, 201. Lignes anglaises: 0, 2, 3, 4, 5, 6, 7, 8. L'audio a été converti en PCM16 mono à 16 kHz, avec cette modification enregistrée. Les auteurs du corpus et les locuteurs ne soutiennent pas ce rapport. Les références normalisées et les événements individuels appartiennent à un dossier de reproduction.
Comparez les modes de moteur Famulor, écoutez dans la bibliothèque vocale, et planifiez votre configuration de test. Réserver une démo.
Rédacteur chez Famulor
