Du har en lang samtale med ChatGPT. Du har diskutert prosjektplaner, fått tilbakemelding på en tekst og stilt oppfølgingsspørsmål. Plutselig virker det som modellen har glemt det du sa i starten. Det har den. Du har nådd grensen for kontekstvinduet, den usynlige rammen som bestemmer hvor mye en KI-modell kan huske i én samtale.
Kontekstvinduet er modellens korttidshukommelse
Kontekstvinduet i KI er alt modellen kan se og jobbe med samtidig. Tenk på det som et vindu inn til samtalen. Alt som ligger innenfor vinduet, alle meldingene dine og alle svarene fra modellen, er det modellen husker. Alt utenfor vinduet er borte.
Når du starter en ny chat, er vinduet tomt. For hver melding du sender og hvert svar du får, fylles det opp med tokens. Modellen leser hele vinduet, fra start til slutt, hver gang den skal generere neste token i svaret. Derfor kan den svare på oppfølgingsspørsmål og referere tilbake til ting du sa tidligere, så lenge det er innenfor vinduet.
Hvor stort er kontekstvinduet
Størrelsen måles i tokens. ChatGPT (GPT-4o) har et kontekstvindu på 128 000 tokens, som tilsvarer rundt 300-500 sider med tekst. Googles Gemini-modeller kan håndtere opptil en million tokens. Claude fra Anthropic støtter 200 000 tokens.
Høres mye ut? I praksis fylles det raskere enn du tror. Husk at både dine meldinger og modellens svar teller. Et langt og detaljert svar fra modellen kan bruke tusenvis av tokens. Etter ti-femten grundige utvekslinger kan du allerede ha brukt en betydelig del av vinduet.
Input-tokens og output-tokens er ikke det samme
Kontekstvinduet har en totalgrense, men det er en viktig forskjell mellom input og output. Input-tokens er alt som sendes inn: hele samtalehistorikken, systeminnstillinger og din siste melding. Output-tokens er svaret modellen genererer.
De fleste modeller har en egen grense for output. GPT-4o kan generere opptil 16 000 tokens i ett svar, selv om kontekstvinduet er 128 000 tokens totalt. Det betyr at du kan sende inn mye tekst, men svaret du får tilbake har en egen makslengde. Trenger du et lengre svar, kan du be modellen fortsette der den slapp.
Hva skjer når vinduet er fullt
Når samtalen overskrider kontekstvinduet, begynner modellen å miste de eldste meldingene. De tidligste delene av samtalen skyves ut av vinduet, og modellen kan ikke lenger se dem. Det skjer automatisk, uten at du får en advarsel.
Konsekvensen er at modellen kan "glemme" viktige detaljer du ga den tidlig i samtalen. Hvis du ga den et sett med regler i starten, kan disse forsvinne etter mange meldinger. Modellen oppfører seg ikke feil, den har bare ikke lenger tilgang til informasjonen.
Du kan spørre modellen hvor mye av kontekstvinduet som er brukt opp. Svaret er ikke alltid helt presist, men gir en nyttig pekepinn. Merker du at du nærmer deg grensen, er det et godt tidspunkt å starte en ny chat med en oppsummering av det viktigste.
Slik holder du samtalen innenfor vinduet
Noen praktiske grep gjør stor forskjell:
- Start ny chat for nye emner. Ikke bruk samme samtale til urelaterte oppgaver. Hver ny chat starter med et tomt kontekstvindu, og modellen slipper å lese gjennom irrelevant informasjon.
- Vær konsis i meldingene dine. Jo kortere og tydeligere du skriver, jo færre tokens bruker du. Det gir mer plass til svar og oppfølgingsspørsmål.
- Oppsummer lange samtaler. Har du hatt en lang diskusjon og vil fortsette med et nytt fokus? Be modellen oppsummere de viktigste punktene, start en ny chat, og lim inn oppsummeringen.
- Unngå å lime inn unødvendig mye tekst. Hvis du trenger hjelp med ett avsnitt i et dokument, send bare det avsnittet, ikke hele dokumentet.
Ingen hukommelse mellom chatter
Et kontekstvindu gjelder bare for én samtale. Når du starter en ny chat, vet modellen ingenting om tidligere samtaler. Den har ingen langtidshukommelse mellom chatter (med mindre du bruker en egen hukommelsesfunksjon som noen tjenester tilbyr).
Hvis du klikker deg tilbake til en gammel samtale, lastes hele samtalehistorikken inn i kontekstvinduet igjen. Modellen kan da svare som om dere aldri tok pause. Men den kan ikke trekke inn informasjon fra andre samtaler du har hatt.
Noen nyere KI-tjenester tilbyr en hukommelsesfunksjon der modellen kan lagre opplysninger mellom samtaler, for eksempel at du foretrekker svar på norsk eller at du jobber som prosjektleder. Men dette er en separat funksjon som lagrer notater utenfor selve kontekstvinduet.
Neste steg
Nå forstår du hva kontekstvinduet i KI gjør og hvorfor det har en grense. For å forstå hva tokens er og hvorfor de avgjør hvor mye som får plass i vinduet, les om tokens i kunstig intelligens. Vil du vite hvordan modellen i utgangspunktet ble trent til å generere svar, forklarer artikkelen om trening av språkmodeller hele prosessen. Og for å få mer ut av vinduet du har tilgjengelig, viser prompt engineering deg hvordan du skriver effektive spørringer.
Denne videoen er hentet fra kurset Generativ KI – komplett guide på Utdannet.no. I det fulle kurset lærer du å håndtere kontekstvinduet i praksis, jobbe med lange dokumenter, og forstå hvordan modellen prioriterer informasjon i samtalen.
