Resumir contenido con:
Realtime frente a Pipeline: ¿Qué arquitectura de agente de voz elegir?
Si estás creando un agente de voz con IA hoy en día, te enfrentarás a una decisión arquitectónica temprana que marcará tu proyecto durante meses: modelo realtime (speech-to-speech, S2S) o pipeline STT–LLM–TTS (en cascada). La respuesta corta: ambos funcionan en producción, pero están optimizados para problemas distintos. El modelo realtime gana en naturalidad conversacional y latencia; los pipelines ganan en control, telefonía, cumplimiento normativo y costes.
Famulor se basa en un enfoque de pipeline híbrido que te ofrece todas las ventajas de la cascada (STT/LLM/TTS intercambiables, llamadas a herramientas granulares, telefonía lista para SIP, cumplimiento normativo con alojamiento en la UE) y, opcionalmente, te permite conectar un modelo realtime para casos de uso que requieran sensibilidad emocional. En este artículo te explicamos cuándo tiene sentido cada arquitectura, sus pros y contras, y cómo desplegar ambas de forma productiva con Famulor.
Las dos arquitecturas de un vistazo
Ambas arquitecturas comparten una misma estructura: entrada de audio, salida de audio y un "cerebro" en medio. Se diferencian en cuántos modelos necesitas para ese paso intermedio y, por tanto, en cuánto control tienes tú, como operador, sobre el proceso.
Realtime / Speech-to-Speech (S2S)
Un único modelo multimodal gestiona todo el turno conversacional: recibe audio en bruto, lo procesa y transmite audio de vuelta, todo en una sola llamada al modelo. Como el audio nunca se convierte a texto, el modelo puede captar el tono, el ritmo, las dudas y la carga emocional que desaparecerían en una transcripción.
Actores comunes: OpenAI Realtime API (gpt-4o realtime), Google Gemini Live, ElevenLabs Conversational, S2S nativo de Cartesia.
Pipeline STT–LLM–TTS (Cascada)
Tres modelos especializados en secuencia:
- STT (speech-to-text / ASR): transcribe el audio de quien llama. Ejemplos: Deepgram Nova, Cartesia Ink, Gladia, AssemblyAI.
- LLM: procesa la transcripción, razona, llama a herramientas y genera una respuesta en texto. Ejemplos: GPT-4o, Claude, Gemini Pro, Llama 3.
- TTS: convierte la respuesta en audio de sonido natural. Ejemplos: Cartesia Sonic, ElevenLabs v3, MiniMax, Gemini Flash TTS.
Famulor es, en esencia, un pipeline moderno y altamente optimizado con solapamiento de streaming, expuesto a través de nuestro agente de voz con IA sin código para cualquier idioma y profundidad de caso de uso.
Latencia: donde el Realtime gana estructuralmente y los pipelines se ponen al día
La latencia es el factor más debatido, y con razón. El realtime tiene una ventaja estructural: no hay serialización de audio a texto y vuelta, ni traspaso entre modelos distintos. El audio fluye de una sola vez.
Los pipelines lo tienen más difícil. Aunque cada componente sea rápido, la latencia se acumula: STT + tiempo hasta el primer token del LLM + tiempo hasta el primer audio del TTS + red. Un pipeline sin optimizar es casi siempre más lento que un buen modelo realtime.
Pero los pipelines modernos no esperan a que cada etapa termine. Envían transcripciones parciales del STT al LLM mientras el usuario sigue hablando y canalizan los tokens del LLM al TTS a medida que llegan. Ese solapamiento de streaming es la razón por la que es perfectamente posible conseguir latencias de pipeline competitivas por debajo de los 700 ms. Famulor utiliza este modelo de streaming por defecto; consulta los conceptos básicos en la documentación.
Llamadas a herramientas: donde los pipelines obtienen su mayor ventaja práctica
La mayoría de los agentes de voz en producción necesitan hacer algo más que hablar. Deben consultar cuentas, verificar pedidos, reservar citas o activar flujos de trabajo. La forma en que cada arquitectura gestiona las llamadas a funciones tiene un impacto directo en la experiencia de usuario.
En un pipeline, la llamada a herramientas reside en la capa del LLM utilizando el mecanismo estándar de llamadas a funciones basado en texto, el método maduro que ya conoces de las aplicaciones de chat. Obtienes:
- Gestión de errores estructurada (reintentos, alternativas, mensajes de error claros)
- Llamadas a herramientas en paralelo (consultar varias API simultáneamente)
- Control total sobre lo que ocurre durante la ejecución de una herramienta (audio de relleno, "déjame comprobarlo por ti...")
Los modelos realtime también admiten llamadas a herramientas, pero la experiencia varía enormemente según el proveedor. Algunos modelos se bloquean silenciosamente mientras esperan el resultado de una herramienta. Las versiones más recientes admiten llamadas no bloqueantes, pero la fiabilidad es notablemente inferior a la de los LLM de pipeline porque el modelo está escuchando, razonando y hablando simultáneamente.
En Famulor implementas las llamadas a herramientas mediante Herramientas y Funciones o Herramientas personalizadas durante la llamada, conectadas a través de la plataforma de automatización interna (más de 300 integraciones, similar a Zapier o Make).
Detección de turno: ¿Cuándo ha dejado de hablar quien llama?
Uno de los problemas más complejos en la IA de voz: ¿cuándo ha terminado la persona, frente a cuándo está simplemente pensando? Si te equivocas, interrumpes o dejas un silencio incómodo.
Los modelos realtime dependen de una detección de fin de turno integrada. A menudo funciona bien, pero estás limitado a lo que el proveedor exponga. El ajuste es limitado.
Los pipelines te dan más libertad:
- Elige tu propio modelo de detección de turno
- Combina VAD (detección de actividad de voz) con detección de turno semántica
- Ajusta la gestión adaptativa de interrupciones
- Establece la sensibilidad según el caso de uso (atención al cliente frente a salud frente a llamadas salientes)
En Famulor, la detección de turno viene preconfigurada pero es ajustable por agente de voz en los Ajustes generales, algo útil cuando los pacientes mayores al teléfono necesitan una mayor tolerancia a las pausas que en las llamadas de ventas B2B.
Calidad de voz y sensación conversacional: el punto fuerte del Realtime
Aquí es donde el realtime tiene su ventaja más interesante, y una que es difícil de cuantificar. Cuando el audio se transcribe, mucha información desaparece: no hay tono, ni carga emocional, ni dudas. El LLM solo ve palabras.
Un modelo realtime escucha todo eso. Puede reaccionar al tono; si alguien suena frustrado, puede responder con más empatía sin que el texto se lo indique explícitamente.
Dicho esto, los motores de TTS modernos se están poniendo al día rápidamente. Cartesia Sonic, ElevenLabs v3 y Gemini 3.1 Flash TTS producen voz con respiración, risas e inflexiones emocionales. Los pipelines pueden sonar genial, simplemente trabajan con menos información sobre cómo habló el usuario. La guía de selección de voz está en Selección de voz.
Control, modularidad y depuración: donde brillan los pipelines
Esta es la ventaja más clara de los pipelines y la mayor limitación práctica de los modelos realtime en producción.
Un pipeline es transparente por diseño. Hay texto entre cada etapa. Puedes registrar exactamente qué se transcribió, qué produjo el LLM y qué se sintetizó. Cuando algo falla (una palabra mal entendida, una respuesta fuera de lugar), puedes identificar el problema. Famulor registra cada llamada, incluyendo la transcripción y la salida del LLM, precisamente por este motivo.
Los pipelines también son fáciles de reconfigurar:
- Cambia de proveedor de STT sin tocar el prompt de tu LLM
- Cambia la voz del TTS sin alterar nada más
- Pásate de GPT-4o a Claude porque un caso de uso se ajusta mejor a Anthropic
Los modelos realtime son opacos: entrada de audio, salida de audio. No puedes intercambiar componentes, estás bloqueado en el ecosistema de un solo proveedor.
Coste: el Realtime es más difícil de controlar
Las API de realtime suelen facturar por segundo de audio de entrada y salida. Eso hace que el coste escale directamente con la duración de la conversación y, a medida que los prompts del sistema y el historial crecen, los costes se vuelven difíciles de predecir.
Los pipelines te permiten optimizar por capa:
- LLM ligero para consultas simples, LLM premium para las complejas (¡enrutamiento!)
- STT rentable para transcripción de alto volumen
- TTS premium solo donde la calidad de voz importa (casos de uso de voz de marca)
Famulor utiliza una tarificación transparente por minuto. La página de precios contiene el modelo actual, y la calculadora de Twilio te permite modelar el coste de telefonía con precisión por adelantado.
| Dimensión de coste | Realtime / S2S | Pipeline (Famulor) |
|---|---|---|
| Facturación | Por segundo de audio entrada + salida | Por minuto, sumado entre componentes |
| Optimización | Difícil: todo en un solo modelo | Por capa, ajustable individualmente |
| Enrutamiento modelos baratos vs. premium | No es posible | Patrón estándar en Famulor |
| Previsibilidad | Baja (uso de tokens opaco) | Alta (tarificación limpia por minuto) |
| Recargos de telefonía | Variable | Modelado exactamente mediante calculadora de Twilio o Telnyx |
Calcula tu ROI automatizando llamadas
Descubre cuánto podrías ahorrar al usar voice agents con IA.
Resultado ROI
ROI 0%
Sin tarjeta de crédito
Telefonía: el factor subestimado
Esto suele pillar a los equipos desprevenidos. Las redes telefónicas tradicionales transmiten audio a 8 kHz utilizando códecs como G.711 (PCMU/PCMA). Los modelos realtime, sin embargo, están entrenados con audio web de 16–48 kHz (WebRTC, Opus). La disparidad significa: peor reconocimiento, calidad de TTS amortiguada y más malentendidos.
Para despliegues basados en teléfono (centros de llamadas con IA, sustitución de IVR, marcación saliente), los pipelines con STT optimizado para telefonía son la opción más fiable. Famulor admite troncales SIP de forma nativa, por lo que tu proveedor de VoIP/PBX actual se conecta directamente (Telnyx, Twilio, Sipgate, tu propio Asterisk).
Si tu agente de voz solo funciona dentro de un widget web (sin teléfono), el argumento de la telefonía pierde relevancia; la latencia y la calidad de voz se convierten en los factores decisivos.
Cumplimiento normativo: donde los pipelines se vuelven innegociables
Para industrias reguladas (salud, servicios financieros, legal, gobierno), el cumplimiento no es un añadido, es un requisito estricto. Los pipelines ofrecen:
- Selección de componentes por región (ej. STT/LLM alojado en la UE para el RGPD)
- Redacción de PII en la capa de texto antes de que los datos lleguen al LLM o a los registros
- Componentes con certificaciones HIPAA, RGPD, SOC 2, ISO 27001 disponibles
- Registros de auditoría en cada paso: dicho, transcrito, generado
Los modelos realtime, por el contrario, están alojados principalmente por un puñado de hiperescaladores estadounidenses en centros de datos centralizados. Entrada de audio, salida de audio: el filtrado de contenido, la redacción de PII y los registros de auditoría detallados son mucho más difíciles de aplicar.
Famulor ofrece alojamiento en la UE, configuraciones conformes al RGPD y un flujo de datos transparente; consulta Entender la facturación para el aspecto operativo y Industrias para ejemplos en sectores regulados.
Híbrido: lo mejor de ambos mundos
No tienes que comprometerte con una sola arquitectura. Dos patrones híbridos que vemos habitualmente con los clientes de Famulor:
Realtime + STT independiente
¿Necesitas una transcripción fiable y con marca de tiempo (para cumplimiento, control de calidad o análisis posterior)? Deja que el modelo realtime gestione el razonamiento del audio y ejecuta un STT dedicado en paralelo para la transcripción. Ambos flujos permanecen independientes.
Realtime + TTS independiente ("Media cascada")
Utiliza el modelo realtime para la entrada de audio (preservando su capacidad para escuchar el tono, las dudas y la emoción), pero genera texto en lugar de audio. El texto se dirige a un motor de TTS dedicado de tu elección, lo que te da control total sobre la voz, incluyendo clonación de voz, voces de marca y guiones.
En Famulor puedes configurar ambos modos híbridos por agente de voz; el Flow Builder gestiona esto sin necesidad de código.
Matriz de comparación
| Criterio | Pipeline STT–LLM–TTS | Realtime / S2S |
|---|---|---|
| Primeros pasos | Más componentes que orquestar | Integración inicial más sencilla |
| Latencia | Nivel conversacional con ajustes | Estructuralmente más rápido |
| Detección de turno | Soporte completo consciente del contexto | Integrado, personalización limitada |
| Naturalidad de la voz | Excelente con TTS moderno | Conciencia prosódica |
| Modularidad / Depuración | Totalmente modular e inspeccionable | Opaco; elección de LLM/voz limitada |
| Llamadas a herramientas | Llamadas a funciones basadas en texto maduras | Soportado, varía según el proveedor |
| Personalización | Altamente configurable | Limitado a lo que expone el modelo |
| Coste | Optimiza cada capa | Difícil de optimizar |
| Cumplimiento / Alojamiento UE | Control total del flujo de datos | Centralizado; la residencia de datos varía |
| Telefonía 8 kHz | Optimizado mediante elección de STT | Desajuste con entrenamiento 16–48 kHz |
¿Qué arquitectura para qué caso de uso?
| Caso de uso | Recomendación | Por qué |
|---|---|---|
| Línea de atención sanitaria entrante | Pipeline (Famulor) | RGPD/HIPAA, alojamiento UE, redacción PII, registros auditoría |
| Llamadas de ventas salientes | Pipeline (Famulor) | Troncales SIP, STT optimizado para telefonía, llamadas CRM |
| Bot de consumo con alta empatía | Híbrido (Realtime + TTS) | Audio-in para detección de tono, voz de marca controlada |
| Widget web de comercio electrónico | Pipeline o Realtime | WebRTC = sin problema de 8 kHz; el cumplimiento decide |
| Recepción de bufete de abogados | Pipeline (Famulor) | Registros auditoría, alojamiento regional, llamadas de conflicto |
| MVP / Prototipo rápido | Realtime | Inicio más rápido con menos componentes; migrar después |
Implementación con Famulor: paso a paso
- Define el caso de uso: entrante vs. saliente, industria, idioma principal, nivel de cumplimiento. Ejemplos específicos en la página de Industrias.
- Crea el agente de voz: en el editor sin código, empieza desde una plantilla. Mensaje inicial, prompt del sistema, herramientas: todo sin código.
- Elige la pila STT/LLM/TTS: para telefonía en inglés recomendamos Deepgram Nova + GPT-4o + Cartesia Sonic. Para voces de marca premium: Deepgram + Claude + ElevenLabs v3. Famulor cambia las pilas con un clic.
- Conecta herramientas/integraciones: CRM, calendario, helpdesk mediante integraciones de Famulor o webhook.
- Número de teléfono vía SIP: trae tu propio número VoIP o provisiónalo a través de Famulor. Modela el coste de Twilio/Telnyx con la calculadora de Twilio.
- Prueba: primero en el probador del navegador, luego en telefonía real. Famulor registra cada llamada, incluida la transcripción, para iterar.
- Lanzamiento: activa webhooks entrantes, configura campañas salientes, envía informes a tu CRM.
Mejores prácticas y errores comunes
- No: decidas la arquitectura basándote en una demo de navegador. Las demos funcionan con WebRTC con audio perfecto; el teléfono es otro planeta.
- Sí: define presupuestos de latencia por caso de uso. Salud tolera ≈800 ms; ventas salientes debe estar por debajo de 600 ms.
- No: permitas que tu prompt del sistema crezca sin límites. Cada turno lo reenvía: el coste y la latencia aumentan.
- Sí: utiliza bases de conocimiento en lugar de saturar el prompt. Patrón estándar en Famulor.
- No: pruebes realtime si tu caso de uso es principalmente telefónico. Valida primero una configuración de pipeline con STT optimizado para telefonía.
- Sí: añade audio de relleno cuando las llamadas a herramientas tarden más de 1 segundo. Consulta Audio de relleno en la documentación.
Ejemplos de la industria de despliegues reales de Famulor
- Clínica dental Dr. Becker (60 empleados): línea de citas entrantes. Pipeline con GPT-4o + Cartesia Sonic, integración Cal.com, alojamiento en la UE. Resultado: tasa de abandono reducida del 22% al 6%.
- Inmobiliaria de Berlín: cualificación saliente de consultas de listados. Pipeline con Claude + Cartesia Ink + ElevenLabs, sincronización con GoHighLevel. Resultado: 3 veces más primeras conversaciones cualificadas al día.
- Tienda Shopify (DACH, 8.000 pedidos/mes): widget web más teléfono. Pipeline con GPT-4o-mini para consultas estándar, GPT-4o para escalaciones. Resultado: 45% de tickets resueltos sin agente humano.
- Recepción de bufete de abogados: entrante con alojamiento en la UE, redacción de PII antes de la llamada al LLM, registro de auditoría por turno. Pipeline con STT alemán, Claude, MiniMax TTS.
Conclusión: para la mayoría de los agentes de voz en producción, un pipeline moderno gana
Los modelos realtime son técnicamente impresionantes y tienen ventajas reales en casos de uso de consumo WebRTC. Pero para la abrumadora mayoría de los despliegues de agentes de voz en producción (telefonía, industrias reguladas, coste controlado, configuraciones multilingües, llamadas a herramientas granulares), un pipeline de streaming moderno es el claro ganador. Mantienes el control, la modularidad, el cumplimiento y la previsibilidad de costes.
Con Famulor obtienes exactamente esa arquitectura de pipeline como una plataforma sin código: más de 40 idiomas, troncales SIP, más de 300 integraciones, componentes STT/LLM/TTS intercambiables, alojamiento en la UE, tarificación transparente por minuto y modos realtime híbridos opcionales para casos de uso sensibles a la emoción. Consulta los precios o salta directamente a crear un agente de voz para tu configuración.
Prueba nuestro Asistente de IA
Experimenta lo natural que suena nuestro asistente telefónico de IA.
Introduce tus datos y recibe una llamada de nuestro agente de IA en segundos.
El agente está entrenado para hablar sobre los servicios de Famulor y programar citas.
Agente IA de demo
Representante de Famulor
FAQ: Preguntas comunes sobre agentes de voz Realtime vs. Pipeline
¿Cuál es la diferencia principal entre agentes de voz realtime y pipeline?
Los modelos realtime (speech-to-speech) procesan el audio en un único modelo multimodal. Las arquitecturas de pipeline (cascada) utilizan tres modelos especializados: STT para transcripción, LLM para razonamiento y TTS para salida. Los pipelines son más controlables; el realtime tiene una latencia estructuralmente menor.
¿Qué arquitectura utiliza Famulor?
Famulor utiliza un pipeline de streaming moderno con solapamiento entre STT, LLM y TTS, y admite opcionalmente configuraciones realtime híbridas para casos de uso de consumo sensibles a la emoción.
¿Cuándo debería elegir realtime en lugar de pipeline?
Si tu agente de voz solo funciona en un widget web (sin teléfono), no tienes requisitos estrictos de RGPD o HIPAA y la detección del tono emocional importa más que la fiabilidad de las llamadas a herramientas. Para telefonía e industrias reguladas, el pipeline gana.
¿Funciona bien el realtime con la telefonía tradicional?
Limitadamente. La telefonía transmite audio a 8 kHz; los modelos realtime están entrenados con audio web de 16–48 kHz. El desajuste degrada notablemente el reconocimiento y la calidad del TTS. Para teléfono, los pipelines con STT optimizado para telefonía (ej. vía Famulor) son más fiables.
¿Qué tan rápido puede ser un agente de voz de pipeline?
Con el solapamiento de streaming, los pipelines modernos alcanzan latencias conversacionales por debajo de los 700 ms. Famulor optimiza el streaming de STT, el streaming de tokens del LLM y el streaming de TTS para que la primera reacción llegue en unos 500–800 ms, dependiendo del caso de uso y la pila.
¿Puedo cambiar de proveedor de STT, LLM y TTS en Famulor?
Sí. Famulor admite múltiples proveedores de STT (Cartesia, Deepgram, Gladia), múltiples LLM (GPT-4o, Claude, Gemini) y múltiples motores de TTS (Cartesia Sonic, ElevenLabs, MiniMax, Gemini TTS). Cambia con un clic en el ajuste de selección de voz.
¿Qué cuesta un agente de voz de pipeline comparado con uno realtime?
Los pipelines permiten la optimización por capa: LLM más baratos para consultas estándar, LLM premium solo para escalaciones. Las API de realtime se facturan por segundo de audio y son difíciles de optimizar. Famulor utiliza una tarificación transparente por minuto; consulta precios.
¿Es posible el cumplimiento del RGPD o HIPAA con realtime?
Difícil. Los modelos realtime están alojados principalmente por hiperescaladores estadounidenses sin residencia de datos en la UE. Los pipelines permiten componentes en la UE, redacción de PII antes de la llamada al LLM y registros de auditoría en cada etapa. Famulor ofrece alojamiento en la UE por defecto.
¿Cómo funcionan las llamadas a herramientas en Famulor?
Famulor utiliza llamadas a funciones basadas en texto en la capa del LLM, el mecanismo maduro que ya conoces de las aplicaciones de chat. Define herramientas en el editor de Herramientas y Funciones, opcionalmente como herramientas personalizadas durante la llamada vía webhook o directamente dentro de la plataforma de automatización de Famulor.
¿Puedo migrar de pipeline a realtime más tarde?
Sí. En Famulor, la arquitectura es una configuración por agente de voz. La mayoría de los equipos empiezan con pipeline por estabilidad y cumplimiento, y añaden modos realtime híbridos para casos de uso seleccionados más tarde, sin reconstruir herramientas o integraciones.
Autor en Famulor
