Prueba agentes antes de publicarlos.
Define clientes realistas, un LLM los interpreta por chat o llamada de voz real y un juez puntúa los criterios de éxito.
Chat o llamada de voz real
Prueba con un chat de texto rápido o con una llamada real: un cliente simulado habla con tu agente en vivo.
Un juez por cada criterio
Cada criterio de éxito recibe aprobado o suspenso con su razonamiento. Así ves por qué falla una prueba.
Tiempos de respuesta por turno
Las pruebas de voz miden cada etapa: reconocimiento de voz, primer token y primer audio, con mediana y p95.
Herramientas esperadas
Marca las herramientas que el agente debe usar. Cada prueba lista sus llamadas y las comprueba.
Pruebas desde llamadas reales
Convierte una llamada terminada en una prueba con un clic. Famulor redacta persona, objetivo y criterios.
Lanza toda la suite
Lanza una prueba o todas tras cada cambio de prompt o flujo. Milian te sugiere personas listas.
Escribe el cliente una vez y repite tras cada cambio
Cada prueba guarda persona, objetivo, criterios de éxito, herramientas esperadas y turnos máximos. Milian te propone una suite, o la creas desde una llamada real.
- Happy path, casos límite, transferencias
- Funciona con asistentes de prompt y de flujo
- API, MCP y CLI para crear y lanzar pruebas
Suite de pruebas
Persona · objetivo · criterios
Restablecer contraseña
ChatTitular bloqueado en su cuenta
3 criterios de éxito
Aprobado o suspenso, con razones
Tras cada prueba, un LLM juez puntúa cada criterio y explica por qué. Resultados, transcripción, tiempos de respuesta y herramientas van en pestañas propias.
- Chat para iterar prompts rápido
- Voz para toda la cadena de voz
- Herramientas esperadas revisadas en cada prueba
Resultado del juez
Aprobado · 3 de 3 criterios
- Ofrece un camino claro
- Confirma primero la identidad
- Avisa de no compartir contraseñas
Transcripción, razonamiento y llamadas a herramientas se quedan en la prueba: sabes por qué falla un criterio antes de publicar.
Publica prompts como software. Con test suite.
Abre Simulaciones desde el menú Test del asistente. Escribe el cliente, lanza la suite, lee al juez y publica.
Las pruebas de chat son rápidas para cada cambio de prompt. Las de voz hacen una llamada real y prueban toda la ruta de voz.
Preguntas frecuentes sobre simulaciones
Pueden serlo. En modo Voice, un cliente simulado con su propia voz de la biblioteca llama a tu asistente en vivo y sin modificar, por la misma ruta que una llamada real. El modo Chat hace una conversación de texto rápida.
Prueba prompts antes de que las campañas marquen.
Monta una suite de escenarios una vez, relánzala tras cada cambio de prompt o flujo, y publica solo cuando el juez se quede en verde.