De fleste af OpenAIs populære AI-modeller, som du kender fra ChatGPT, har hidtil ikke været open source, trods navnet. Nu har OpenAI i samarbejde med NVIDIA frigivet to nye open-weight sprogmodeller, gpt-oss-20b og gpt-oss-120b. Udviklere kan dermed få direkte adgang til avanceret reasoning-AI, der kan køre både på store cloud-tjenester og på almindelige RTX grafikkort hjemme i din egen PC.
Ny teknologi bag gpt-oss modellerne
Gpt-oss-modellerne bygger på et “mixture-of-experts”-arkitektur og er trænet med NVIDIAs H100 GPUer. Disse modeller er udviklet til at håndtere komplekse opgaver, hvor AI skal tænke og ræsonnere over flere trin, for eksempel kodegenerering, dokumentanalyse og brug af internetværktøjer. Hvis du slår funktionerne til, kan modellerne blandt andet bruges til websøgning.
Chain-of-thought og forbedret kontekstforståelse
Modellerne er såkaldte “chain of thought”-modeller. Det betyder, at de kan bruge flere tokens på én forespørgsel, hvilket muliggør dybere og mere detaljerede svar. Med en kontekstlængde på op til 217.000 tokens kan du lave grundigere analyser og håndtere større dokumenter direkte på din computer.
NVIDIA og OpenAI: Tilgængelig AI til alle
OpenAI og NVIDIA satser nu stærkt på at gøre AI mere tilgængelig for udviklere, forskere og teknologientusiaster. NVIDIA har optimeret gpt-oss-modellerne til at fungere både i store datacentre og på kraftfulde hjemmecomputere.
Høj hastighed og effektivitet
Ved brug i store cloud-installationer kan NVIDIAs Blackwell GB200 NVL72-system nå op på 1,5 millioner tokens pr. sekund med gpt-oss-120b-modellen. Ifølge NVIDIA selv kan deres GeForce RTX 5090 grafikkort håndtere op til 256 tokens pr. sekund lokalt. I praksis betyder det, at du kan få hurtige og brugbare svar i egne chat-applikationer uden at skulle bruge eksterne API-tjenester.
Let opsætning: Kør avanceret AI på din egen PC
Opsætningen er også blevet nemmere. Du kan nu bruge Ollama-appen med officiel understøttelse af gpt-oss-modellerne. Her kan du chatte med modellerne, vedhæfte filer og tilpasse kontekst direkte fra din egen computer, hvis du har et RTX grafikkort med mindst 16 GB VRAM. For udviklere er der også CLI og SDK adgang samt understøttelse fra frameworks som llama.cpp og Microsoft AI Foundry Local.
Open source AI er nu for alle
Denne udvikling markerer et skridt mod, at kraftfuld reasoning-AI ikke længere kun er forbeholdt store virksomheder og API-adgang. Med OpenAI og NVIDIAs samarbejde kan du nu køre avancerede sprogmodeller lokalt hurtigt og effektivt. I 2024 ser vi, at over 35 procent af AI-udviklere arbejder med open source LLM-modeller, og tendensen fortsætter i 2025.
FAQ
Hvad er gpt-oss-modellerne?
Gpt-oss er avancerede open source sprogmodeller fra OpenAI og NVIDIA, designet til reasoning og komplekse opgaver.
Kan jeg køre modellerne på min egen PC?
Ja, hvis du har et RTX grafikkort med minimum 16 GB VRAM, kan du køre modellerne lokalt med apps som Ollama.
Hvor hurtigt arbejder gpt-oss på hjemmemaskiner?
Med en GeForce RTX 5090 kan du nå op på cirka 256 tokens pr. sekund i lokal brug.
Hvilke opgaver er modellerne særligt gode til?
De egner sig til kodegenerering, dokumentanalyse og andre reasoning-opgaver, der kræver dybdegående svar.
Hvordan kommer jeg i gang med gpt-oss?
Du kan følge installtionsguiden på NVIDIAs officielle blog og bruge Ollama eller lignende software til at køre modellerne lokalt.
Er der multimodal understøttelse i gpt-oss?
Modellerne tilbyder endnu ikke multimodal funktionalitet, selvom det findes i Ollama-appen.
Ofte Stillede Spørgsmål
Hvad er gpt-oss-modellerne?
Gpt-oss er avancerede open source sprogmodeller fra OpenAI og NVIDIA, designet til reasoning og komplekse opgaver.
Kan jeg køre modellerne på min egen PC?
Ja, hvis du har et RTX grafikkort med minimum 16 GB VRAM, kan du køre modellerne lokalt med apps som Ollama.
Hvor hurtigt arbejder gpt-oss på hjemmemaskiner?
Med en GeForce RTX 5090 kan du nå op på cirka 256 tokens pr. sekund i lokal brug.
Hvilke opgaver er modellerne særligt gode til?
De egner sig til kodegenerering, dokumentanalyse og andre reasoning-opgaver, der kræver dybdegående svar.
Hvordan kommer jeg i gang med gpt-oss?
Du kan følge installtionsguiden på NVIDIAs officielle blog og bruge Ollama eller lignende software til at køre modellerne lokalt.
Er der multimodal understøttelse i gpt-oss?
Modellerne tilbyder endnu ikke multimodal funktionalitet, selvom det findes i Ollama-appen.
