Hva er en token?
En token er den minste enheten en språkmodell jobber med. Teksten deles opp i biter som kan være hele ord, deler av ord, tegnsetting eller mellomrom. Modellen leser tokens inn og produserer nye tokens ut, én etter én. Antall tokens styrer både pris og hvor mye tekst modellen kan håndtere.
Oppdelingen kalles tokenisering. Vanlige engelske ord blir ofte én token, mens lange norske sammensatte ord gjerne deles i flere biter. Det betyr at samme innhold kan bli flere tokens på norsk enn på engelsk. En LLM ser altså ikke bokstaver eller ord slik vi gjør, men tallkoder for hver token.
Hvorfor er tokens viktig for markedsførere?
Tokens er relevante langt utenfor utviklingsavdelingen. Når dere bruker generativ AI i markedsarbeidet, påvirker tokens tre ting:
Kostnad: API-tilgang til språkmodeller prises vanligvis per token, ofte med ulik pris for input og output.
Kontekstvindu: Hver modell har en grense for hvor mange tokens den kan ta inn samtidig. Lange dokumenter, chatlogger og vedlegg spiser av denne kvoten.
Kvalitet: Når konteksten blir for lang, kan modellen overse detaljer. Korte, presise instruksjoner gir ofte bedre svar.
For AI-søk betyr dette at modellene ofte bare henter og leser utdrag av en nettside. Innhold som svarer tydelig og tidlig, har større sjanse til å bli brukt. Det er en av grunnene til at vi anbefaler korte, selvstendige svaravsnitt når dere jobber med AI og synlighet.
Slik jobber du smart med tokens
Skriv konsise instruksjoner i hver prompt, og fjern unødvendig bakgrunnstekst.
Del store oppgaver i mindre steg i stedet for å lime inn alt på én gang.
Gi modellen bare de relevante utdragene av et dokument, ikke hele dokumentet.
Følg med på tokenforbruk hvis dere bygger egne løsninger på API, så budsjettet ikke løper løpsk.
Strukturer nettsideinnhold med tydelige overskrifter og korte avsnitt, slik at riktige biter hentes ut.
En tommelfingerregel som ofte brukes, er at én token tilsvarer omtrent tre fjerdedeler av et engelsk ord. På norsk blir forholdet gjerne litt dårligere, så regn med noe flere tokens for samme tekstmengde.
Relaterte begreper
LLM: språkmodellen som leser og produserer tokens.
Prompt: instruksjonen du gir modellen, målt i tokens.
Generativ AI: AI som lager nytt innhold token for token.
RAG: henter relevante tekstbiter inn i konteksten, slik at modellen får riktige tokens å jobbe med.
Se alle begrepene i ordboken.