Teste Agenten, bevor sie live gehen.
Schreib realistische Anrufer, lass ein LLM sie per Chat oder echtem Anruf spielen und einen Judge die Erfolgskriterien bewerten.
Chat oder echter Anruf
Teste schnell per Textchat oder per echtem Anruf: Ein simulierter Anrufer spricht mit deinem Live-Agenten.
Ein Judge pro Kriterium
Jedes Erfolgskriterium bekommt ein Ergebnis mit Begründung. So siehst du, warum ein Lauf scheitert.
Antwortzeiten pro Runde
Voice-Läufe messen jede Stufe: Spracherkennung, erstes Token und erstes Audio, als Median und p95.
Erwartete Tools geprüft
Leg fest, welche Tools der Agent aufrufen soll. Jeder Lauf listet seine Tool-Aufrufe und prüft sie.
Tests aus echten Anrufen
Mach aus einem beendeten Anruf mit einem Klick einen Test. Famulor schreibt Persona, Ziel und Kriterien.
Die ganze Suite starten
Starte einen Test oder alle nach jeder Prompt- oder Flow-Änderung. Milian schlägt fertige Personas vor.
Schreib den Anrufer einmal, teste nach jeder Änderung
Jeder Test speichert Persona, Ziel, Erfolgskriterien, erwartete Tools und maximale Runden. Milian schlägt eine Suite vor, oder du baust sie aus einem echten Anruf.
- Happy Path, Edge Cases, Weiterleitungen
- Für Prompt- und Flow-Assistenten
- API, MCP und CLI zum Anlegen und Starten
Test-Suite
Persona · Ziel · Kriterien
Passwort zurücksetzen
ChatAusgesperrter Kontoinhaber
3 Erfolgskriterien
Bestanden oder nicht, mit Begründung
Nach jedem Lauf bewertet ein Judge-LLM jedes Kriterium und erklärt warum. Ergebnisse, Transkript, Antwortzeiten und Tools liegen in eigenen Tabs.
- Chat für schnelle Prompt-Iterationen
- Voice für die komplette Sprachstrecke
- Erwartete Tools bei jedem Lauf geprüft
Judge-Ergebnis
Bestanden · 3 von 3 Kriterien
- Bietet klaren Weg zum Zurücksetzen
- Prüft zuerst die Identität
- Warnt vor Passwort-Weitergabe
Transkript, Begründung und Tool-Aufrufe bleiben am Lauf. So weißt du vor dem Livegang, warum ein Kriterium scheitert.
Prompts wie Software ausliefern. Mit Test-Suite.
Öffne Simulationen im Test-Menü deines Assistenten. Schreib den Anrufer, starte die Suite, lies den Judge, dann veröffentliche.
Chat-Läufe sind schnell für jede Prompt-Änderung. Voice-Läufe testen per echtem Anruf die komplette Sprachstrecke.
Häufige Fragen zu Simulationen
Auf Wunsch ja. Im Modus Voice ruft ein simulierter Anrufer mit eigener Stimme aus der Voice-Library deinen echten, unveränderten Assistenten über denselben Weg wie ein Live-Anruf an. Der Modus Chat führt stattdessen ein schnelles Textgespräch.
Prompts testen, bevor Kampagnen wählen.
Bau eine Szenario-Suite einmal, starte sie nach jeder Prompt- oder Flow-Änderung neu und veröffentliche erst, wenn der Judge grün bleibt.