Realtime vs. Pipeline Voice Agent: Architectuurgids 2026

Realtime vs. Pipeline: Welke architectuur kies je voor je voice agent?

Als je vandaag een AI-voice agent bouwt, sta je vroeg in het proces voor een architecturale keuze die je project maandenlang zal bepalen: een realtime model (speech-to-speech, S2S) of een STT–LLM–TTS pipeline (cascade)? Het korte antwoord: beide werken in productie, maar ze zijn geoptimaliseerd voor verschillende problemen. Realtime wint op het gebied van natuurlijke conversatie en latency; pipelines winnen op controle, telefonie, compliance en kosten.

Famulor is gebouwd op een hybride pipeline-aanpak die je alle voordelen van een cascade biedt — vervangbare STT/LLM/TTS, gedetailleerde tool calls, SIP-ready telefonie, EU-gehoste compliance — en je optioneel laat schakelen naar een realtime model voor emotiegevoelige use-cases. In dit artikel leggen we uit wanneer welke architectuur zinvol is, wat de afwegingen zijn en hoe je beide productief inzet met Famulor.

De twee architecturen in vogelvlucht

Beide architecturen hebben dezelfde vorm: audio erin, audio eruit, met een "brein" in het midden. Ze verschillen in hoeveel modellen je nodig hebt voor die tussenstap — en dus hoeveel controle jij als operator hebt.

Realtime / Speech-to-Speech (S2S)

Eén multimodaal model handelt de volledige conversatie af: het verwerkt ruwe audio, redeneert erover en streamt audio terug — allemaal in één modelaanroep. Omdat audio nooit naar tekst wordt omgezet, kan het model toon, tempo, aarzelingen en emotionele kleuring oppikken die in een transcriptie verloren zouden gaan.

Veelgebruikte spelers: OpenAI Realtime API (gpt-4o realtime), Google Gemini Live, ElevenLabs Conversational, native S2S van Cartesia.

STT–LLM–TTS Pipeline (Cascade)

Drie gespecialiseerde modellen in volgorde:

• STT (speech-to-text / ASR): transcribeert de audio van de beller. Voorbeelden: Deepgram Nova, Cartesia Ink, Gladia, AssemblyAI.
• LLM: verwerkt het transcript, redeneert, roept tools aan en genereert een tekstrespons. Voorbeelden: GPT-4o, Claude, Gemini Pro, Llama 3.
• TTS: zet de respons om in natuurlijk klinkende audio. Voorbeelden: Cartesia Sonic, ElevenLabs v3, MiniMax, Gemini Flash TTS.

Famulor is in de kern een moderne, zwaar geoptimaliseerde pipeline met streaming overlap — beschikbaar via onze No-Code AI Voice Agent voor elke taal en use-case.

Latency: Waar Realtime structureel wint — en pipelines inlopen

Latency is de meest besproken afweging, en terecht. Realtime heeft een structureel voordeel: geen serialisatie van audio naar tekst en terug, geen overdracht tussen afzonderlijke modellen. Audio stroomt er in één keer doorheen.

Pipelines hebben het lastiger. Zelfs als elk onderdeel snel is, stapelt de latency zich op: STT + LLM time-to-first-token + TTS time-to-first-audio + netwerk. Een niet-geoptimaliseerde pipeline is bijna altijd trager dan een goed realtime model.

Maar: moderne pipelines wachten niet tot elke fase is afgerond. Ze streamen gedeeltelijke STT-transcripten naar de LLM terwijl de gebruiker nog spreekt, en sturen LLM-tokens naar de TTS zodra ze binnenkomen. Die streaming overlap is de reden waarom competitieve pipeline-latencies onder de 700 ms absoluut haalbaar zijn. Famulor gebruikt dit streaming-model standaard — zie de Core Concepts in de docs.

Tool Calling: Waar pipelines hun grootste praktische winst behalen

De meeste voice agents in productie moeten meer doen dan alleen praten. Ze zoeken accounts op, controleren bestellingen, boeken afspraken en triggeren workflows. Hoe elke architectuur met function calling omgaat, heeft directe impact op de UX.

In een pipeline vindt tool calling plaats in de LLM-laag met standaard tekstgebaseerde function calling — het volwassen mechanisme dat je kent van chat-apps. Je krijgt:

• Gestructureerde foutafhandeling (retry, fallback, duidelijke foutmeldingen)
• Parallelle tool calls (meerdere API's tegelijk aanroepen)
• Volledige controle over wat er gebeurt tijdens een tool-uitvoering (filler audio, "ik kijk het even voor je na…")

Realtime modellen ondersteunen ook tool calling, maar de ervaring verschilt sterk per provider. Sommige modellen blokkeren stilzwijgend terwijl ze wachten op een resultaat. Nieuwere versies ondersteunen non-blocking calls, maar de betrouwbaarheid is meetbaar lager dan bij pipeline-LLM's omdat het model tegelijkertijd luistert, redeneert en spreekt.

In Famulor implementeer je tool calls via Tools & Functions of Custom Mid-Call Tools — gekoppeld via het interne automatiseringsplatform (300+ integraties, vergelijkbaar met Zapier of Make).

Turn Detection: Wanneer is de beller uitgesproken?

Een van de lastigste problemen in voice AI: wanneer is de beller klaar — en wanneer denkt hij alleen maar na? Doe je dit fout, dan onderbreek je de beller of krijg je ongemakkelijke stiltes.

Realtime modellen vertrouwen op ingebouwde end-of-turn detectie. Dit werkt vaak goed, maar je zit vast aan wat de provider aanbiedt. Afstemming is beperkt.

Pipelines geven je meer vrijheid:

• Kies je eigen turn-detection model
• Combineer VAD (Voice Activity Detection) met semantische turn-detectie
• Stel adaptieve onderbrekingsafhandeling in
• Stel gevoeligheid in per use-case (helpdesk vs. zorg vs. outbound)

In Famulor is turn-detectie vooraf geconfigureerd, maar per voice agent aanpasbaar in de General Settings — handig wanneer oudere patiënten aan de telefoon meer pauzetolerantie nodig hebben dan bij B2B-sales.

Stemkwaliteit en conversatiegevoel: Het sterke punt van Realtime

Dit is waar realtime zijn meest interessante voordeel heeft — en een voordeel dat lastig te kwantificeren is. Wanneer audio wordt getranscribeerd, verdwijnt veel informatie: geen toon, geen emotionele kleuring, geen aarzeling. De LLM ziet alleen woorden.

Een realtime model hoort dat allemaal wel. Het kan reageren op toon — als iemand gefrustreerd klinkt, kan het met meer empathie reageren zonder dat de tekst het expliciet instrueert.

Dat gezegd hebbende, moderne TTS-engines halen snel in. Cartesia Sonic, ElevenLabs v3 en Gemini 3.1 Flash TTS produceren spraak met ademhaling, gelach en emotionele intonatie. Pipelines kunnen fantastisch klinken — ze werken alleen met minder informatie over hoe de gebruiker sprak. Begeleiding bij stemkeuze vind je in Voice Selection.

Controle, modulariteit en debugging: Waar pipelines uitblinken

Dit is het duidelijkste voordeel van een pipeline — en de grootste praktische beperking van realtime modellen in productie.

Een pipeline is transparant van ontwerp. Er zit tekst tussen elke fase. Je kunt precies loggen wat er is getranscribeerd, wat de LLM heeft geproduceerd en wat er is gesynthetiseerd. Wanneer er iets misgaat — een verkeerd verstaan woord, een onjuist antwoord — kun je het probleem precies aanwijzen. Famulor logt elke oproep inclusief transcript en LLM-output om precies deze reden.

Pipelines zijn ook eenvoudig te herconfigureren:

• Wissel van STT-provider zonder je LLM-prompt aan te passen
• Wissel van TTS-stem zonder iets anders te veranderen
• Stap over van GPT-4o naar Claude omdat een use-case beter bij Anthropic past

Realtime modellen zijn ondoorzichtig: audio erin, audio eruit. Je kunt geen componenten wisselen; je zit vast in het ecosysteem van één provider.

Kosten: Realtime is lastiger te beheersen

Realtime API's factureren doorgaans per seconde audio in en uit. Daardoor schalen de kosten direct mee met de gespreksduur — en naarmate systeem-prompts en geschiedenis groeien, worden kosten lastig te voorspellen.

Pipelines laten je per laag optimaliseren:

• Lichtgewicht LLM voor eenvoudige vragen, premium LLM voor complexe (routing!)
• Kostenefficiënte STT voor transcriptie met hoog volume
• Premium TTS alleen waar stemkwaliteit ertoe doet (brand voice use-cases)

Famulor gebruikt transparante prijsstelling per minuut. De pricing page bevat het huidige model — en de Twilio calculator laat je telefoniekosten vooraf nauwkeurig modelleren.

Telefonie: De onderschatte factor

Dit verrast veel teams. Traditionele telefoonnetwerken transporteren audio op 8 kHz met codecs zoals G.711 (PCMU/PCMA). Realtime modellen zijn echter getraind op 16–48 kHz webaudio (WebRTC, Opus). De mismatch betekent: slechtere herkenning, doffere TTS-kwaliteit, meer misverstanden.

Voor telefonie-gebaseerde implementaties — AI-callcenters, IVR-vervanging, outbound bellen — zijn pipelines met telefonie-geoptimaliseerde STT de betrouwbaardere keuze. Famulor ondersteunt SIP-trunking native, dus je bestaande VoIP/PBX-provider kan direct worden gekoppeld (Telnyx, Twilio, Sipgate, je eigen Asterisk).

Als je voice agent alleen in een webwidget draait (geen telefoon), is het telefonie-argument niet relevant — dan zijn latency en stemkwaliteit de doorslaggevende factoren.

Compliance: Waar pipelines onontbeerlijk worden

Voor gereguleerde sectoren — zorg, financiële dienstverlening, juridisch, overheid — is compliance geen extraatje, maar een harde eis. Pipelines bieden:

• Componentselectie per regio (bijv. EU-gehoste STT/LLM voor AVG)
• PII-redactie op tekstniveau voordat data de LLM of logs bereikt
• Beschikbaarheid van componenten met HIPAA, AVG, SOC 2, ISO 27001 certificeringen
• Audit-logs bij elke stap: uitgesproken, getranscribeerd, gegenereerd

Realtime modellen worden daarentegen meestal gehost door een handvol Amerikaanse hyperscalers in gecentraliseerde datacenters. Audio in, audio uit — contentfiltering, PII-redactie en gedetailleerde audit-logging zijn veel lastiger af te dwingen.

Famulor biedt EU-hosting, AVG-conforme opstellingen en transparante datastromen — zie Understanding Billing voor de operationele kant en Industries voor voorbeelden in gereguleerde sectoren.

Hybride: Het beste van twee werelden

Je hoeft niet voor één architectuur te kiezen. Twee hybride patronen die we regelmatig zien bij Famulor-klanten:

Realtime + afzonderlijke STT

Heb je een betrouwbaar, van tijdstempels voorzien transcript nodig (voor compliance, QA of downstream analytics)? Laat het realtime model de audio-redenering afhandelen — en draai een dedicated STT parallel voor transcriptie. De twee stromen blijven onafhankelijk.

Realtime + afzonderlijke TTS ("Half-Cascade")

Gebruik het realtime model voor audio-input (waarbij het vermogen om toon, aarzeling en emotie te horen behouden blijft), maar output tekst in plaats van audio. De tekst wordt gerouteerd door een dedicated TTS-engine naar keuze — volledige controle over de stem, inclusief voice cloning, brand voices en gescripte spraak.

In Famulor kun je beide hybride modi per voice agent configureren — de Flow Builder regelt dit zonder code.

Vergelijkingsmatrix

Welke architectuur voor welke use-case?

Implementeren met Famulor — Stap voor stap

1. Definieer de use-case: inbound vs. outbound, sector, primaire taal, compliance-niveau. Sectorspecifieke voorbeelden op de Industries page.
2. Maak de voice agent: in de No-Code editor, begin met een template. Startbericht, systeem-prompt, tools — alles zonder code.
3. Kies STT/LLM/TTS stack: voor Engelse telefonie raden we meestal Deepgram Nova + GPT-4o + Cartesia Sonic aan. Voor premium brand voices: Deepgram + Claude + ElevenLabs v3. Famulor wisselt stacks met één klik.
4. Koppel tools/integraties: CRM, agenda, helpdesk via Famulor integraties of webhook.
5. Telefoonnummer via SIP: neem je eigen VoIP-nummer mee of provisioneer er een via Famulor. Modelleer Twilio/Telnyx kosten vooraf met de Twilio calculator.
6. Test: eerst in de browser-tester, daarna op echte telefonie. Famulor logt elke oproep inclusief transcript voor iteratie.
7. Ga live: activeer inbound webhooks, zet outbound campagnes op, stuur rapportages naar je CRM.

Best practices & veelgemaakte fouten

• Niet doen: architectuur beslissen op basis van een browser-demo. Demo's draaien op WebRTC met perfecte audio — telefonie is een andere planeet.
• Wel doen: definieer latency-budgetten per use-case. Zorg tolereert ≈800 ms; outbound sales moet onder de 600 ms blijven.
• Niet doen: laat je systeem-prompt onbeperkt groeien. Elke beurt wordt deze opnieuw verzonden — kosten en latency stijgen beide.
• Wel doen: gebruik kennisbanken in plaats van de prompt vol te stoppen. Standaard patroon in Famulor.
• Niet doen: test realtime als je use-case primair telefonie is. Valideer eerst een pipeline-opstelling met telefonie-geoptimaliseerde STT.
• Wel doen: voeg filler-audio toe wanneer tool calls langer dan 1 seconde duren. Zie Filler Audio in de docs.

Sectorvoorbeelden van echte Famulor-implementaties

• Dr. Becker tandartspraktijk (60 medewerkers): inbound afspraken-hotline. Pipeline met GPT-4o + Cartesia Sonic, Cal.com integratie, EU-hosting. Resultaat: afhaakpercentage daalde van 22% naar 6%.
• Berlijnse makelaardij: outbound kwalificatie van aanvragen. Pipeline met Claude + Cartesia Ink + ElevenLabs, GoHighLevel sync. Resultaat: 3× meer gekwalificeerde eerste gesprekken per dag.
• Shopify-shop (DACH, 8.000 bestellingen/maand): webwidget plus telefoon. Pipeline met GPT-4o-mini voor standaardvragen, GPT-4o voor escalaties. Resultaat: 45% van de tickets opgelost zonder menselijke tussenkomst.
• Intake advocatenkantoor: inbound met EU-hosting, PII-redactie voor LLM-aanroep, audit-log per beurt. Pipeline met Duitse STT, Claude, MiniMax TTS.

Conclusie: Voor de meeste voice agents in productie wint een moderne pipeline

Realtime modellen zijn technisch indrukwekkend en hebben echte voordelen in WebRTC-consumententoepassingen. Maar voor de overgrote meerderheid van voice agent-implementaties in productie — telefonie, gereguleerde sectoren, gecontroleerde kosten, meertalige opstellingen, gedetailleerde tool calls — is een moderne streaming pipeline de duidelijke winnaar. Je behoudt controle, modulariteit, compliance en kostenvoorspelbaarheid.

Met Famulor krijg je precies die pipeline-architectuur als een no-code platform: 40+ talen, SIP-trunking, 300+ integraties, vervangbare STT/LLM/TTS-componenten, EU-hosting, transparante prijsstelling per minuut — en optionele hybride realtime-modi voor emotiegevoelige use-cases. Bekijk de pricing of start direct met een voice agent voor jouw opstelling.

FAQ — Veelgestelde vragen over Realtime vs. Pipeline Voice Agents

Wat is het belangrijkste verschil tussen realtime en pipeline voice agents?

Realtime (speech-to-speech) modellen verwerken audio in één multimodaal model. Pipeline (cascade) architecturen gebruiken drie gespecialiseerde modellen: STT voor transcriptie, LLM voor redenering, TTS voor output. Pipelines zijn beter beheersbaar; realtime is structureel latency-arm.

Welke architectuur gebruikt Famulor?

Famulor gebruikt een moderne streaming pipeline met overlap tussen STT, LLM en TTS — en ondersteunt optioneel hybride realtime-opstellingen voor emotiegevoelige consumententoepassingen.

Wanneer moet ik realtime kiezen boven een pipeline?

Als je voice agent alleen in een webwidget draait (geen telefoon), je geen strikte AVG- of HIPAA-eisen hebt en emotionele toondetectie belangrijker is dan de betrouwbaarheid van tool-calling. Voor telefonie en gereguleerde sectoren wint de pipeline.

Werkt realtime goed met traditionele telefonie?

Beperkt. Telefonie transporteert 8 kHz audio; realtime modellen zijn getraind op 16–48 kHz webaudio. De mismatch verslechtert de herkenning en TTS-kwaliteit meetbaar. Voor telefonie zijn pipelines met telefonie-geoptimaliseerde STT (bijv. via Famulor) betrouwbaarder.

Hoe snel kan een pipeline voice agent zijn?

Met streaming overlap halen moderne pipelines conversatie-latencies onder de 700 ms. Famulor optimaliseert STT-streaming, LLM-token-streaming en TTS-streaming zodat de eerste reactie rond de 500–800 ms ligt — afhankelijk van de use-case en stack.

Kan ik STT-, LLM- en TTS-providers wisselen in Famulor?

Ja. Famulor ondersteunt meerdere STT-providers (Cartesia, Deepgram, Gladia), meerdere LLM's (GPT-4o, Claude, Gemini) en meerdere TTS-engines (Cartesia Sonic, ElevenLabs, MiniMax, Gemini TTS). Wissel met één klik in de voice selection setting.

Wat kost een pipeline voice agent vergeleken met realtime?

Pipelines maken optimalisatie per laag mogelijk: goedkopere LLM's voor standaardvragen, premium LLM's alleen voor escalaties. Realtime API's worden per audioseconde gefactureerd en zijn lastig te optimaliseren. Famulor gebruikt transparante prijsstelling per minuut — zie pricing.

Is AVG- of HIPAA-compliance mogelijk met realtime?

Lastig. Realtime modellen worden meestal gehost door Amerikaanse hyperscalers zonder EU data-residency. Pipelines staan EU-componenten, PII-redactie voor de LLM-aanroep en audit-logs bij elke stap toe. Famulor biedt standaard EU-hosting.

Hoe werkt tool calling in Famulor?

Famulor gebruikt tekstgebaseerde function calling in de LLM-laag — het volwassen mechanisme dat je kent van chat-apps. Definieer tools in de Tools & Functions editor, optioneel als Custom Mid-Call Tools via webhook of direct binnen het Famulor automatiseringsplatform.

Kan ik later migreren van pipeline naar realtime?

Ja. In Famulor is de architectuur een configuratie per voice agent. De meeste teams beginnen met een pipeline voor stabiliteit en compliance — en voegen later hybride realtime-modi toe voor specifieke use-cases, zonder tools of integraties opnieuw te hoeven bouwen.