Multi-Model Routing – Waarom Één LLM Niet Genoeg Is

Naarmate het landschap van large language models (LLMs) zich blijft ontwikkelen, staan bedrijven voor een nieuwe uitdaging: het juiste model kiezen voor de juiste taak. Fonaangevende modellen zoals GPT-4, Claude, Mistral en Gemini brengen elk unieke kwaliteiten met zich mee. Waar GPT-4 uitblinkt in redeneren en codegeneratie, heeft Claude vaak de voorkeur voor samenvatten en het verwerken van lange contexten. Mistral en diens varianten bieden lichtgewicht, kosteneffectieve alternatieven voor eenvoudigere taken.

Vertrouwen op één enkel model leidt vaak tot compromissen—ofwel in kwaliteit, snelheid of kosten. Dit is waar een multi-model strategie essentieel wordt. Door verzoeken dynamisch naar het meest geschikte model te routen op basis van het type taak, prestatiebehoeften of kostenbeperkingen, kunnen organisaties betere resultaten behalen met lagere overhead.

De model gateway van TrueFoundry is speciaal gebouwd om dit soort intelligente routing mogelijk te maken, en biedt de controle en flexibiliteit die nodig zijn om multi-model LLM-workflows op schaal te operationaliseren.

Wat is Multi-Model Routing?

Multi-model routing is een geavanceerde AI-architectuurbenadering die is ontworpen om gebruikersvragen te sturen naar het model dat het beste bij de taak past. In plaats van elk verzoek naar één enkel, vaak zwaar model te sturen, evalueert het systeem de complexiteit en het type van elke vraag en selecteert het dienovereenkomstig een passend model.

Complex redeneerwerk of creatieve taken kunnen bijvoorbeeld naar GPT-4 worden gerout voor de superieure begrips- en probleemoplossende capaciteiten. Ondertussen kunnen eenvoudigere taken, zoals het opzoeken van feiten, basissamenvattingen of korte tekstaanvullingen, worden afgehandeld door kleinere, snellere en kostenefficiëntere modellen.

Deze aanpak werkt als een intelligente tussenpersoon die drie belangrijke factoren optimaliseert:

• Latency: Vragen worden sneller verwerkt omdat eenvoudigere taken niet onnodig zware modellen bezet houden.
• Kostenefficiëntie: Het gebruik van kleinere modellen voor eenvoudige taken vermindert de rekenkosten.
• Nauwkeurigheid: Elke vraag wordt afgehandeld door het model dat het beste resultaat kan leveren voor dat specifieke type verzoek.

Waarom Kiezen voor een Multi-Model Architectuur?

Taalmodellen zijn niet langer monolithisch. Elk model is geëvolueerd om een specifiek deel van het probleemgebied te bedienen—redeneren, samenvatten, Q&A of extractie. Vertrouwen op één enkele LLM, hoe krachtig ook, legt u vast aan prestatiecompromissen en opgeblazen infrastructuurkosten. Een multi-model architectuur geeft u de flexibiliteit om werk te delegeren op basis van de sterke punten van elk model, wat zowel de efficiëntie als de nauwkeurigheid verbetert.

Modelspecialisatie Zorgt voor Betere ROI

Verschillende LLMs zijn speciaal gebouwd voor verschillende taken. GPT-4 staat bekend om zijn prestaties bij redeneren, probleemoplossing en codegeneratie. Het levert consistent nauwkeurige resultaten in logica-zware domeinen zoals data-analyse, debugging en planning-agents.

Claude is daarentegen afgestemd op lange-tekstbegrip en samenvattingen. Met uitgebreide contextvensters verwerkt het lange documenten of gesprekken met meerdere conversational turns vloeiender—ideaal voor het samenvatten van tickets, gespreksverslagen en kenniscondensatie.

Daarnaast zijn er Mistral en Mixtral, open-source modellen die geoptimaliseerd zijn voor snelheid en betaalbaarheid. Deze modellen zijn uitermate geschikt voor workloads met hoge volumes, zoals entiteitsherkenning, tagging en sjabloongebaseerde Q&A, waar pure snelheid en token-efficiëntie belangrijker zijn dan diep semantisch begrip.

Geünificeerd Modelbeheer in TrueFoundry

De LLM Gateway van TrueFoundry vereenvoudigt de adoptie van deze architectuur. U kunt modellen toevoegen van providers zoals OpenAI (GPT-3.5, GPT-4), Anthropic (Claude) of open-source deployments zoals Mistral—allemaal binnen hetzelfde control plane. Zodra ze geregistreerd zijn in de modelcatalogus van de Gateway, verschijnt elk model in uw dashboard met live metrieken, waaronder:

• Gemiddelde latency
  
• Tokenkosten per verzoek
  
• Foutpercentages en health checks
  
• Regiobeschikbaarheid en belasting
  

Dit neemt de last weg van het beheren van meerdere SDK's of API-authenticatiegegevens en stelt teams in staat verzoeken te routen zonder de backend-logica te herschrijven.

Zakelijke Impact van Slimme Routing

Neem een support-workflow met 10.000 maandelijkse tickets. Door samenvattingen naar Claude te routen, kunt u de gemiddelde responstijd met 20 procent verkorten met behoud van verhalende coherentie. Tegelijkertijd kan het sturen van minder kritieke vragen naar Mixtral in plaats van GPT-4 de tokenkosten met 60 tot 70 procent verlagen. Dit zijn geen marginale besparingen—ze stapelen zich op schaal snel op.

Ingebouwde Observability en Failover

TrueFoundry biedt volledige zichtbaarheid in tokengebruik, latency en verzoekpatronen per model. U kunt prestaties naast elkaar vergelijken, slecht presterende modellen opsporen en onderbouwde routingwijzigingen doorvoeren. Als een provider begint te throttlen of uitval ervaart, ondersteunt de gateway automatische fallback naar alternatieve modellen zonder uw dienstverlening te onderbreken.

Multi-Model Routing Operationaliseren

Om het maximale uit deze opzet te halen, structureert u uw pipeline per taakcategorie. Wijs GPT-4 toe aan code-zware of sterk redeneergerichte prompts, Claude aan samenvattingen en Mixtral aan repetitieve taken of verwerking in bulk. Blijf gebruikstrends monitoren via het dashboard van de Gateway om deze beslissingen te verfijnen naarmate uw applicatie groeit.

De orchestratie van multi-model routing vereiste vroeger maatwerklogica en gefragmenteerde infrastructuur. TrueFoundry verandert dat in een gecentraliseerde, schaalbare oplossing—API-first, volledig observeerbaar en klaar voor productiegebruik.

Task-Based Routing: Modellen Koppelen aan Use Cases

Naarmate het gebruik van large language models (LLM) volwassen wordt, laat een universele deployment al snel zijn beperkingen zien. Verschillende prompts vragen om verschillende vaardigheden, zoals samenvatten, codegeneratie en data-extractie, en het sturen van al deze prompts naar één enkel model leidt tot opgeblazen kosten of teleurstellende resultaten. Task-based routing lost dit op door elke prompt naar het meest geschikte model te sturen op basis van de intentie. TrueFoundry biedt de infrastructuur om deze routing snel, dynamisch en observeerbaar te maken.

Prompts Classificeren op Intentie

In een typische LLM-applicatie vallen prompts in categorieën zoals:

• Samenvatten: Gesprekken met meerdere turns of lange documenten inkorten
  
• Classificatie: Intentie of sentiment toewijzen aan invoer
  
• Redeneren of Codegeneratie: Gestructureerd problemen oplossen, plannen of code schrijven
  
• Entiteitsextractie: Velden of tags ophalen uit ongestructureerde content
  
• Creatief Schrijven: Marketingteksten, productbeschrijvingen of blogcontent
  

Het routen van elk van deze intenties naar hetzelfde model resulteert in een laag rendement op uw investering. GPT-4 kan uitstekend zijn in redeneren, maar is overkill voor het extraheren van tags. Claude biedt een langere contextverwerking, ideaal voor samenvattingen. Mistral of Mixtral is uitermate geschikt voor snelle, goedkope taken.

Hoe Routing Werkt in TrueFoundry

TrueFoundry ondersteunt task-based routing via flexibele mechanismen die zijn ingebouwd in de Gateway. U kunt metadata zoals task_type, user_id of feature_name doorgeven via de X-TFY-METADATA header. Hiermee kan uw backend- of microservicelaag de intentie van de taak inspecteren en programmatisch het juiste model-endpoint kiezen.

Voor geavanceerdere opstellingen kunt u sticky routing gebruiken om specifieke gebruikers consistent naar specifieke model-pods te routen, wat nuttig is wanneer caching of sessiecontinuïteit vereist is. Sticky routing wordt geïmplementeerd met een op hashing gebaseerd mechanisme en wordt ingeschakeld door uw service te labelen met tfy_sticky_session_header_name.

U kunt ook op headers gebaseerde verkeersomleiding configureren, wat handig is voor staging of het A/B-testen van nieuwe modellen. Testprompts met een x-llm-test-version: beta header kunnen bijvoorbeeld worden gerout naar een nieuwere Claude-variant zonder het productieverkeer te beïnvloeden.

TrueFoundry ondersteunt ook domein-routing op basis van host en pad, waardoor het eenvoudig is om de toegang tot modellen te segmenteren over verschillende omgevingen of tenants.

Observability en Traceerbaarheid

Alle routingbeslissingen en metadata worden gelogd. U kunt het gebruik, de latency, kosten en foutpercentages per model rechtstreeks in het dashboard bekijken. Dit maakt het eenvoudig om de routinglogica te verfijnen naarmate het gebruik toeneemt.

Met TrueFoundry wordt task-based routing een volwaardige productiestrategie om prestaties, kosten en modelgedrag op één plek te beheren.

Dynamische Routing op Basis van Prestatiewaarden

In productieomgevingen verschuiven prioriteiten tussen kwaliteit, snelheid en kosten. De LLM Gateway van TrueFoundry ondersteunt dynamische routingregels die zich aanpassen aan realtime prestatiewaarden. Dit zorgt ervoor dat elk verzoek voldoet aan uw budget- en latency-eisen zonder dat handmatige tussenkomst nodig is.

Wanneer een verzoek binnenkomt, evalueert de gateway dit tegen actieve prestatiegrenzen (guards) voordat het naar het primaire model wordt gestuurd. U configureert deze guards onder Routing > Task Rules door het instellen van:

Tokenbudget
Geef de maximale kosten per 1.000 tokens op voor een regel. Routeer bijvoorbeeld algemene Q&A naar Mixtral zodra de geschatte kosten hoger zijn dan $ 0,01 per 1.000 tokens. Als de kostenraming voor GPT-4 die drempel overschrijdt, valt de gateway automatisch terug op Mixtral.

Latency-drempels
Stel een bovengrens in voor de responstijd in milliseconden. Voor latency-gevoelige stromen zoals realtime chat stelt u een plafond van 200 ms in op GPT-4-routes. Als die limiet wordt overschreden tijdens piekbelasting, verschuift het verkeer naar een model met een lagere latency, zoals Mistral-Instruct.

Beschikbaarheidscontroles
Wijs een fallback-model toe om een ononderbroken dienstverlening te garanderen. Als de primaire provider te maken krijgt met timeouts, throttling of fouten, herrouteert TrueFoundry verzoeken direct naar uw back-upmodel. Deze failover-logica wordt geconfigureerd in dezelfde Task Rules-interface.

TrueFoundry monitort continu de prestaties van elke provider aan de hand van deze criteria. De gateway beoordeelt tokenkosten-schattingen en waargenomen latency voordat routingbeslissingen worden genomen. Het volgt ook realtime gezondheidssignalen zoals foutpercentages en HTTP-statuscodes om beschikbaarheids-fallbacks te activeren. U kunt deze metrieken bekijken in het Observability > Metrics dashboard, waar grafieken de kosten per intentie, de gemiddelde latency per model en het foutpercentage in de loop van de tijd tonen.

Om dynamische routing te implementeren, volgt u deze stappen:

• Maak of bewerk in Routing > Task Rules een regel en stel uw tokenbudget en latency-drempels in naast de koppeling tussen intentie en model
  
• Voeg een fallback-model toe onder Fallback Model voor situaties waarin het primaire model faalt of uw ingestelde grenzen overschrijdt
  
• Schakel realtime bewakingsmeldingen in zodat u een melding via e-mail of Slack ontvangt als een metriek uw drempelwaarden overschrijdt
  

Door kosten-, latency- en beschikbaarheidscontroles rechtstreeks in de routinglogica te integreren, stelt TrueFoundry u in staat om consistente SLA's en voorspelbare kosten te behouden. Uw applicaties passen zich automatisch aan veranderende omstandigheden aan: ze prioriteren snelheid wanneer milliseconden tellen, verlagen kosten wanneer budgetten krapper worden en garanderen veerkracht wanneer providers niet beschikbaar zijn.

Multi-Model vs. Multimodaal Model

Multi-modelsystemen bestaan uit meerdere afzonderlijke AI-modellen, die elk gespecialiseerd zijn in bepaalde taken, waarbij een routingmechanisme bepaalt welk model een specifieke vraag afhandelt. Een multimodaal model daarentegen is één enkel AI-model dat in staat is om meerdere soorten invoer, zoals tekst, afbeeldingen en audio, binnen hetzelfde systeem te begrijpen en te verwerken.

Om het verschil te verduidelijken, belicht de onderstaande tabel de belangrijkste verschillen tussen multi-model en multimodale AI-benaderingen:

TrueFoundry’s LLM Gateway: Het Brein achter de Routing

TrueFoundry’s LLM Gateway fungeert als de centrale intelligentie die multi-model deployments orchestreert. In de kern ligt een schaalbare microservices-architectuur die ontworpen is om duizenden gelijktijdige verzoeken af te handelen met minimale overhead. Binnenkomende prompts komen binnen via een lichtgewicht ingress-laag, waar verrijking van metadata en intentieclassificatie plaatsvinden. Van daaruit stromen verzoeken naar de routing engine, die deze evalueert tegen uw ingestelde regels voordat ze naar de gekozen modelprovider worden doorgestuurd. Deze scheiding van taken zorgt ervoor dat classificatie, beslissingslogica en externe API-calls gescheiden en eenvoudig te beheren blijven.

Onder de motorkap communiceert elk onderdeel via interne REST-endpoints en message queues. Een gedeelde configuratie-store bevat uw routingregels, geïndexeerd op taaktype, kostengrenzen, latency-limieten en zelfs geografische regio. Als u moet voldoen aan data-residency-vereisten of wilt optimaliseren voor regionale edge-prestaties, kunt u regels taggen met regiobeperkingen zodat het verkeer nooit verboden grenzen overschrijdt.

TrueFoundry is API-first gebouwd, zodat u nooit rechtstreeks met meerdere model-SDK's hoeft te integreren of handmatig authenticatiegegevens hoeft te roteren. Alle modelregistraties, regeldefinities en bewakingsopdrachten verlopen via een geünificeerde REST API. Of u nu de voorkeur geeft aan het scripten van wijzigingen via CI/CD-pipelines of de visuele editor van de console gebruikt, dezelfde endpoints drijven beide interfaces aan. Deze abstractie vereenvoudigt het onderhoud en stelt u in staat om binnen enkele minuten nieuwe providers toe te voegen.

Om de cirkel van continue verbetering rond te maken, ondersteunt TrueFoundry een optionele integratie voor menselijke feedback. Wanneer deze is ingeschakeld, kunnen bepaalde prompts worden gemarkeerd voor handmatige beoordeling vóór de definitieve levering. Beoordelaars zien de oorspronkelijke prompt, de reactie van het gerouteerde model en de metadata van de routingbeslissing. Ze kunnen de selectie goedkeuren of overschrijven, en die overschrijvingen worden teruggekoppeld naar uw intentieclassificator om toekomstige routingnauwkeurigheid te verfijnen. Na verloop van tijd maakt deze feedbackloop het systeem slimmer, wat foute routing vermindert en de kwaliteit verhoogt.

Belangrijkste Kenmerken in één Oogopslag:

• Microservices-ontwerp voor hoge doorvoer en lage overhead
• Configuratie-store voor regels op basis van taaktype, kosten, latency en regio
• Geünificeerde REST API die providerspecifieke details abstraheert
• Optionele human-in-the-loop feedback om routingbeslissingen te verfijnen
  

Door een modulaire architectuur te combineren met flexibel regelbeheer en een API-first benadering, wordt TrueFoundry’s LLM Gateway het intelligente brein achter uw multi-model routingstrategie. Het stelt teams in staat om zich te concentreren op use cases in plaats van op integraties op laag niveau, terwijl het continu leert van praktijkfeedback.

Kosten- & Prestatie-optimalisatie

Het balanceren van kwaliteit, snelheid en budget is een voortdurende uitdaging bij AI-deployments. TrueFoundry’s LLM Gateway biedt de tools die u nodig hebt om die balans fijn af te stemmen en maximale efficiëntie uit uw modellen te halen.

De realtime gebruiksanalyses van TrueFoundry splitsen het tokenverbruik en de kosten uit per intentie en model. U kunt kostbare workloads identificeren en de routingregels of grenzen dienovereenkomstig aanpassen. Routeer bijvoorbeeld routinevragen van GPT-4 naar een budgetmodel wanneer de kosten pieken.

Belangrijke optimalisaties omvatten:

• Kostengrenzen (Cost Guards)
  Stel een maximaal geldbedrag per 1.000 tokens in voor elke intentie. Wanneer een verzoek die drempel overschrijdt, schakelt de gateway automatisch over naar uw aangewezen budgetmodel. Dit voorkomt onverwachte kosten en zorgt voor voorspelbare uitgaven.
  
• Dynamic Batching
  Voeg meerdere kleine verzoeken samen in één enkele model-call. Beheer de batchgrootte en maximale wachttijd via Settings > Batching om de doorvoer te verbeteren zonder latency-SLA's te schenden.
  
• Response Caching
  Configureer de cacheduur per intentie op de pagina Task Rules. Serveer herhaalde vragen direct vanuit de cache, waardoor idempotente taken met een hoog volume worden ontlast en het aantal model-aanroepen daalt.
  
• Gequantiseerde Inference
  Schakel voor zelfgehoste modellen int8- of float16-deployments in via de Triton- en vLLM-integraties van TrueFoundry. Deze modi met lagere precisie kunnen GPU-kosten tot 60 procent verlagen met behoud van een acceptabele nauwkeurigheid.
  

Door gedetailleerde kostenbewaking, geautomatiseerde uitgavengrenzen, batching, caching en gequantiseerde deployments te combineren, stelt TrueFoundry uw team in staat om zowel de uitgaven als de prestaties continu te optimaliseren. U krijgt volledige inzicht in elke uitgegeven euro en elke bespaarde milliseconde, zodat uw AI-infrastructuur efficiënt schaalt zonder uw budget te overschrijden.

Praktijkvoorbeelden (Use Cases)

Fonaangevende ondernemingen in diverse sectoren vertrouwen op TrueFoundry’s LLM Gateway om elke workload te koppelen aan het optimale model. Hier zijn vier voorbeelden die laten zien hoe TrueFoundry meetbare waarde heeft geleverd:

Whatfix
Whatfix ondersteunt in-app begeleiding door dynamische stappenplannen en contextuele hulp te genereren. Met behulp van TrueFoundry voegden ze GPT-4 toe voor het genereren van creatieve content en Mistral voor entiteitsextractie. De dry-run-modus van TrueFoundry stelt Whatfix in staat om routingregels te simuleren op live verkeer, de outputkwaliteit te valideren en wijzigingen zonder risico uit te rollen. Als resultaat verlaagden ze de tokenkosten met 35 procent met behoud van de nauwkeurigheid en consistentie van de begeleiding.

Games24x7
Voor Games24x7 zijn responstijden van minder dan 200 ms essentieel in hun realtime chat-assistent. In de Routing → Task Rules-console van TrueFoundry stelden ze een latency-guard van 150 ms in op GPT-4-routes en configureerden ze Mistral-Instruct als fallback. Tijdens piekuren werd elk verzoek dat die drempel naderde automatisch omgeleid naar Mistral-Instruct. Deze dynamische failover elimineerde vertraging in de chatbot, behield reactietijden van minder dan 150 ms op schaal en verhoogde de betrokkenheid van spelers.

Neurobit
Neurobit verwerkt dagelijks duizenden klinische verslagen om patiëntinformatie te extraheren en samenvattingen voor clinici te genereren. Met TrueFoundry classificeerden ze elk verslag als een extractie- of een samenvattingstaak. Extractieworkloads die naar Mistral werden gerout, leverden gestructureerde data op tegen lage kosten. Prompts voor samenvattingen gingen naar Claude, waarbij gebruik werd gemaakt van het uitgebreide contextvenster om coherente overzichten te produceren. Geünificeerde bewaking in het Observability-dashboard liet een vermindering van 40 procent in API-kosten zien en een verbetering van 20 procent in datanauwkeurigheid, wat de workflows van clinici versnelde.

Aviso AI
Aviso AI draait een verkoopvoorspellings-engine die diepgaande scenariomodellering combineert met gegevensverwerking op hoog volume. In de TrueFoundry-console koppelden ze redeneerprompts aan GPT-4 en data-ophalingsintenties aan Mixtral. Vervolgens pasten ze kostengrenzen toe, zodat elk verzoek dat hoger was dan $ 0,02 per 1.000 tokens zou terugvallen op Mixtral. TrueFoundry legde elke routingbeslissing en kostenmetriek vast, waardoor Aviso AI de latency bij voorspellingen met 45 procent kon verkorten en hun API-uitgaven met 30 procent kon verlagen, waarmee inzichten over meer dan 5.000 verkoopteams konden worden geschaald.

Elk van deze klanten gebruikte het geünificeerde dashboard van TrueFoundry om kosten, latency en foutpercentages in realtime te bewaken. Die zichtbaarheid stelde hen in staat om routingregels continu te verfijnen en voorspelbare uitgaven te realiseren naast hoogwaardige AI-prestaties.

Conclusie

In een tijdperk waarin AI-mogelijkheden wekelijks evolueren, is flexibiliteit cruciaal. Vertrouwen op één enkel model betekent genoegen nemen met compromissen, of het nu gaat om kosten, contextlengte of taaknauwkeurigheid. TrueFoundry’s LLM Gateway neemt die compromissen weg door elke prompt te behandelen op basis van zijn doel. U krijgt de beste redeneer-engine voor code, het grootste contextvenster voor samenvattingen en kosteneffectieve modellen voor bulkextractie, allemaal beheerd vanuit één centrale plek.

Naast het eenvoudig verbinden met meerdere providers, biedt TrueFoundry de kaders, zichtbaarheid en veilige testomgevingen die productiesystemen vereisen. Intentieclassificatie en op prestaties gebaseerde routingregels zorgen voor voorspelbare budgetten en responstijden. Met de dry-run-modus en optionele menselijke beoordeling kunt u wijzigingen zonder risico valideren. En realtime observability betekent dat u altijd klaar bent om u aan te passen als gebruikspatronen veranderen.

Met TrueFoundry’s API-first ontwerp en enterprise-grade architectuur verandert multi-model orchestratie van complexe maatwerkcode in een paar kliks in de console of één enkele API-call. Het resultaat is snellere ontwikkeling, lagere kosten en AI-applicaties die consistent hun beloftes nakomen. Omarm een toekomst waarin u niet langer hoeft te kiezen tussen snelheid, nauwkeurigheid en budget, en begin met het ontsluiten van de volle kracht van elke LLM die u gebruikt.

Klaar om uw AI-workflows te versnellen? Boek vandaag nog een demo bij TrueFoundry!

Veelgestelde Vragen (FAQ)

Wat is model routing in AI?

Model routing in AI is een techniek waarbij vragen van gebruikers worden gestuurd naar het meest geschikte model op basis van het type taak of de complexiteit. Het zorgt voor een efficiënt gebruik van bronnen, snellere reacties en betere nauwkeurigheid door de vraag te koppelen aan het model dat het beste is uitgerust om deze af te handelen.

Hoe werkt multi-model routing?

Multi-model routing werkt door elke vraag te analyseren en door te sturen naar het model dat deze het meest effectief kan afhandelen. Complexe taken gaan naar krachtige modellen zoals GPT-4, terwijl eenvoudigere verzoeken worden afgehandeld door kleinere, snellere modellen. Dit optimaliseert de snelheid, nauwkeurigheid en kosten van AI-antwoorden.

Wat is een voorbeeld van een multimodaal model?

Een voorbeeld van een multimodaal model is OpenAI’s GPT-4 met visuele vaardigheden, dat tekst en afbeeldingen gelijktijdig kan verwerken. Het kan afbeeldingen beschrijven, er vragen over beantwoorden of visuele en tekstuele data combineren om intelligente, contextbewuste antwoorden te genereren.

Wat zijn de twee typen multimodaal?

De twee typen multimodale modellen zijn geïntegreerde modellen en enkelvoudige modellen. Geïntegreerde modellen verwerken meerdere datatypen, zoals tekst en afbeeldingen, binnen één enkele architectuur, terwijl enkelvoudige modellen elke modaliteit afzonderlijk verwerken en de uitvoer later combineren voor een definitief antwoord.