Hva er multimodal AI?
Multimodal AI er kunstig intelligens som kan ta inn og produsere flere typer innhold, kalt modaliteter. Det kan være tekst, bilder, lyd, video og dokumenter. Du kan for eksempel laste opp et bilde av en reklameplakat og be modellen vurdere budskapet, eller snakke til en assistent og få svar med både tekst og bilde.
Tidligere AI-systemer var gjerne spesialisert på én ting. Nyere generativ AI samler flere modaliteter i samme modell, slik at den kan se sammenhengen mellom det som vises og det som sies.
Slik fungerer multimodal AI
En multimodal modell oversetter ulike typer data til en felles intern representasjon. Et bilde av en rød kjole og teksten "rød sommerkjole" kan da kobles til samme betydning. I praksis bygger mange løsninger på en LLM som er utvidet med evne til å lese bilder og lyd.
Inn: tekst, bilder, skjermbilder, PDF-er, lydopptak og video.
Ut: tekst, bilder, tale og i økende grad video.
Kombinert: modellen kan svare på spørsmål om et bilde, beskrive en video eller lage et bilde fra en tekstbeskrivelse.
Hvorfor er multimodal AI viktig for markedsførere?
Multimodal AI endrer både hvordan folk søker og hvordan innhold produseres:
Visuelt søk: brukere kan ta bilde av et produkt og spørre hvor det kan kjøpes. Gode produktbilder og beskrivende alt-tekster blir viktigere.
Talesøk og samtale: muntlige spørsmål blir lengre og mer naturlige.
AI-søk: tjenester som Google sin AI Mode kan kombinere tekst og bilde i samme søk.
Produksjon: utkast til annonsebilder, video og tekst kan lages raskere, men krever fortsatt kvalitetssikring og tydelig merkevarestyring.
Analyse: modellen kan vurdere kreative elementer, skjermbilder av dashboards eller konkurrentannonser.
Konsekvensen for synlighet er at alt innhold, ikke bare tekst, bør være forståelig for maskiner: bilder med god kontekst, video med transkripsjon og produktdata som er strukturert.
Slik kommer du i gang
Start med å kartlegge hvilke av innholdstypene deres som i dag er usynlige for maskiner, for eksempel video uten tekst eller bilder uten beskrivelse. Test deretter multimodale verktøy på avgrensede oppgaver, som å lage varianter av annonsemateriell. Trenger dere en plan for hvordan AI skal brukes i markedsarbeidet, kan dere lese mer om AI-tjenestene våre.
Relaterte begreper
Generativ AI: AI som lager nytt innhold, ofte på tvers av modaliteter.
LLM: språkmodellen mange multimodale løsninger bygger på.
Kunstig intelligens: det overordnede fagfeltet.
AI Mode: Googles AI-søk, som tar imot både tekst og bilder.
Se alle begrepene i ordboken.