top of page

Personlig KI: bærbare datamaskiner, arbeidsstasjoner og mulighetene deres (del 1)

9. okt.
16 min lesing

Oppdatert: 16. okt.

Personlig KI: bærbare datamaskiner, arbeidsstasjoner og mulighetene deres (del 1)

Kraftige sentralprosessorer fra NVIDIA, AMD og Apple Silicon, kombinert med store mengder delt minne, har gjort lokal KI tilgjengelig i ulike formater: fra bærbare datamaskiner til kompakte arbeidsstasjoner hjemme. Denne nye klassen datamaskiner, som først og fremst er laget for å kjøre KI-modeller lokalt, kalles også noen ganger «agentbaserte datamaskiner».

De har en felles arkitektur der prosessoren og den integrerte grafikkakseleratoren bruker samme store mengde høyhastighetsminne. Det gjør det mulig å lagre en stor og funksjonsrik LLM-modell nær beregningsenhetene, uten stadig å flytte deler av den gjennom en treg forbindelse til et separat skjermkort.

Den viktigste praktiske grunnen til å kjøre KI lokalt er muligheten til å arbeide med et bedriftsarkiv med kildekode og databaser uten å sende data til behandling i en skytjeneste. For mange brukere og organisasjoner er behandling av konfidensiell informasjon og personopplysninger i skyen prinsipielt utelukket. Samtidig er mulighetene kunstig intelligens gir, og fordelene ved å bruke den, allerede åpenbare for alle. Å ignorere bruken av den betyr uunngåelig å miste et konkurransefortrinn.

Løsningen i en slik situasjon er å sette opp lokale LLM-modeller. Det krever ikke lenger et eget serverrack: En modell kan til og med kjøres på en bærbar datamaskin, men ikke på hvilken som helst, bare på en som er bygget på en spesialisert arkitektur. Samtidig kan du fortsatt bruke kjente operativsystemer som Windows 11, macOS og Ubuntu.

En annen fordel med å kjøre en LLM lokalt er at man ikke betaler for hver forespørsel til API-et til en leverandør av en skymodell. De direkte driftskostnadene for en slik modell er i hovedsak strømmen som trengs for å drive datamaskinen. Man bør likevel ta med investeringen i en datamaskin som vil være i bruk i flere år.

Lokal kjøring av modellen gjør det også mulig å arbeide uten internett og selv velge en spesialisert modell som passer best til bestemte oppgaver (programmering, agentarbeid, oversettelse, generering av bilder, video, lyd osv.).

Hvor lokal KI er nyttig i det daglige arbeidet

  • Assistent for interne dokumenter. Hvis du har en stor database med dokumentasjon, kan det være fornuftig å bygge et system med RAG, som først finner relevante utdrag i den lokale kunnskapsbasen og deretter sender dem til LLM-modellen for et svar med henvisninger til dokumentene. En LLM kan søke etter nøkkelord i dokumentasjon, men hvis arbeid med dokumentarkiver er hovedoppgaven, kan RAG gjøre søket mer presist og effektivt, fordi det er en vektordatabase.

  • Arbeid med kildekode. Modellen hjelper med å forklare deler av et prosjekt, foreslå endringer, skrive kode og teste. Toppmodeller fra Anthropic eller OpenAI vil gi et bedre resultat, men dette er skyløsninger som ikke er tilgjengelige for alle, ikke alltid kan brukes av hensyn til konfidensialitet og kan være svært dyre i bruk. Hvis skyløsninger er tillatt i arbeidsmiljøet ditt, kan du fordele arbeidsmengden slik at rutineoppgaver delegeres til lokale modeller, mens toppmodeller fra skyen håndterer den endelige gjennomgangen og arkitekturen.

  • Kjøring av tester og rutineoppgaver i bakgrunnen (om natten). Teamet ditt kan ha regelmessige, gjentakende oppgaver som skal starte etter et bestemt scenario, en hendelse eller en tidsplan og innebærer bruk av verktøy: tolking og analyse av logger, testing av utgivelser og søk etter nye dokumenter både lokalt og på internett.

  • Felles assistent for et lite team. En kompakt arbeidsstasjon kan plasseres på kontoret, og flere datamaskiner kan bruke den lokale modellen. NVIDIA PAIR kan fordele uavhengige Ollama- eller LM Studio-forespørsler mellom tilkoblede kompatible systemer.

  • Bildegenerering. For en datamaskin med 128GB minne kan du vurdere FLUX.1-dev til bilder: det valgte Diffusers-vektsettet sammen med tekstkodere og VAE opptar omtrent 33.74GB. NVIDIA publiserer en veiledning for kjøring via ComfyUI på DGX Spark.

  • Videogenerering. Et eksempel på en lokal modell for dette bruksområdet er Wan2.2-T2V-A14B: det opprinnelige settet med to eksperter i FP32, en tekstkoder og VAE opptar omtrent 126.18GB. Det offisielle eksemplet for 720p krever minst 80GB.

  • Talesyntese. Til å generere tale på ulike språk kan du bruke Qwen3-TTS-12Hz-1.7B-CustomVoice sammen med taletokenisatoren; vektfilene opptar omtrent 4.52GB. Et større alternativ er MOSS-TTS-v1.5 med 8B parametere: 31 språk, stemmekloning fra et eksempel, lange opptak, styring av varighet, uttale via IPA og pauser. Hovedvektene opptar omtrent 16.98GB, og den påkrevde MOSS-Audio-Tokenizer ytterligere 7.10GB, totalt omtrent 24.08GB. Apache 2.0-lisensen tillater kommersiell bruk. Dette er et bredere funksjonssett, ikke et bevis på bedre lyd for enhver tekst.

  • Talegjenkjenning. Til lokal transkribering av møter, intervjuer og talenotater kan du bruke Qwen3-ASR-1.7B: modellen støtter 30 språk, inkludert russisk, automatisk språkidentifikasjon og strømmet talegjenkjenning. BF16-vektfilene opptar omtrent 4.70GB. Til tidsstempler for ord brukes i tillegg Qwen3-ForcedAligner-0.6B med vekter på omtrent 1.84GB. Begge modellene er tilgjengelige under Apache 2.0. Minnebruken ved kjøring er høyere enn filstørrelsen og avhenger av buffere og parallelle strømmer.

Hvorfor er mye delt minne så viktig?

En vanlig PC med en separat GPU kan også være en utmerket maskin for lokal KI. Så lenge den valgte modellen får plass i VRAM og det er rom igjen til KV-cache og arbeidsbuffere, kan akseleratoren behandle forespørsler svært raskt. Det ville derfor ikke være helt riktig å regne alle datamaskiner med separat skjermkort som uegnet for KI.

Begrensningen oppstår når en stor modell (nettopp store modeller er mest verdifulle og nødvendige for profesjonell bruk) ikke lenger får plass i skjermminnet. Programmet melder enten om for lite skjermminne (VRAM), flytter deler av arbeidet til CPU og system-RAM, eller laster inn vekter fra RAM eller SSD. Slike overføringer og tregere lagring kan øke forsinkelsen kraftig, helt til den blir uakseptabel for en interaktiv assistent. Det finnes ingen fast faktor for hastighetsfallet: programmet som kjører modellen, andelen avlastede vekter, modellen og maskinvaren spiller inn. I praksis kan ytelsen ved kombinert bruk av VRAM og RAM likevel falle med en faktor på 5-10, også før man tar med situasjoner der SSD brukes.

Løsninger basert på NVIDIA RTX/DGX Spark, AMD Ryzen AI Max og Apple Silicon Max/Ultra har en annen vektlegging: grafikkakseleratoren får tilgang til store mengder delt minne innenfor den støttede arkitekturen. Selve minnet er loddet på hovedkortet (vanligvis av typen LPDDR5X) og er betydelig raskere enn vanlig DDR4/DDR5-systemminne, men tregere enn GDDR5-minne på skjermkort og HBM3 i KI-akseleratorer. Denne arkitekturen gir større muligheter for å laste inn og arbeide med store modeller.

I denne artikkelen er 128GB minne eller mer valgt som en veiledende kapasitet som gjør det praktisk mulig å arbeide med store modeller som kan løse oppgaver brukere vanligvis benytter skymodeller via API eller abonnement til. For mindre, spesialiserte modeller eller forsøk med ekstremt kvantiserte og destillerte modeller og et begrenset kontekstvindu kan mindre minne være tilstrekkelig.

Store minnemengder gir også rom for mindre komprimering av vektene (og dermed bedre bevaring av kvaliteten til originalmodellen) og gjør det mulig å bruke et større kontekstvindu.

Hvordan delt minne brukes på plattformer fra AMD, NVIDIA og Apple Silicon

Begrepet unified memory betyr forskjellige ting på ulike plattformer. For lokale LLM-er må man skille mellom fysisk separat CPU/GPU-minne, en felles fysisk minnepool med GPU-reservasjon og fullt dynamisk delt minne.

Diskrete NVIDIA GeForce RTX- og RTX PRO-skjermkort

I løsninger med diskrete NVIDIA RTX-kort bruker CPU systemets DDR RAM, mens GPU bruker sin egen GDDR VRAM. CUDA gir tilgang til systemminnet når VRAM er fullt, eller kan avlaste arbeidet til CPU (CPU-offload), men overføring via PCIe har lavere båndbredde og større forsinkelse.

Fysisk VRAM forblir derfor GPU-ens viktigste raske minne for LLM-er. Hvis kjøremiljøet støtter det, kan system-RAM lagre deler av vektene, KV-bufferen og andre data, men overskridelse av VRAM-kapasiteten reduserer vanligvis ytelsen merkbart.


AMD Ryzen AI Max

I Ryzen AI Max bruker CPU, GPU og NPU én fysisk LPDDR5X-pool, men i Windows kan Variable Graphics Memory (VGM) reservere en del på forhånd til den integrerte GPU-en. Systemet ser området som dedicated graphics memory; CPU-en kan ikke lenger bruke det som vanlig RAM.

Ryzen AI Max 395 tillater for eksempel opptil 48 GB VGM i et system med 64 GB og opptil 96 GB i et system med 128 GB. På den nye Ryzen AI Max+ PRO 495 med 192 GB delt minne kan opptil 160 GB tildeles GPU.

Resten av minnet forblir RAM for CPU og operativsystemet, men noe kan fortsatt være tilgjengelig for GPU som shared graphics memory (for eksempel til KV-cache). For et system med 128 GB og 96 GB VGM oppgir AMD opptil 112 GB samlet minne som GPU kan adressere. Ifølge AMD oppnås maksimal ytelse når GPU-arbeidsmengden får plass direkte i VGM.

NVIDIA DGX Spark

Grace CPU og den integrerte Blackwell GPU-en i DGX Spark bruker en felles LPDDR5X-pool. I DGX OS deles den ikke på forhånd i store faste områder for CPU-RAM og GPU-VRAM. NVIDIA beskriver denne UMA-en som en arkitektur uten fast carve-out: CPU og GPU bruker det samme fysiske minnet dynamisk.

En DGX Spark med 128GB har ingen fast oppdeling som AMDs 96GB VGM + 32GB system-RAM.

Modellen, KV-bufferen, GPU-buffere, applikasjoner og operativsystemet bruker én pool. En CUDA-applikasjon kan få tilgang til en betydelig del av ledig minne; når AI-belastningen øker, kan Linux frigjøre sidebuffer og andre sider.

Alle 128GB er ikke garantert for modellvekter: operativsystemet, kjøremiljøet, KV-bufferen og andre prosesser trenger også minne. Dagens DGX OS har et eget skjermområde på 2GB eller 4GB, men dette tilsvarer ikke AMDs store VGM-reservasjon.


NVIDIA RTX Spark N1X

Når det gjelder minnefordeling under Windows, ligner RTX Spark N1X på AMD Ryzen AI Max. CPU og Blackwell RTX GPU bruker en felles fysisk LPDDR5X-minnepool på opptil 128GB. Koherens støttes for minne som begge prosessorene har tilgang til. NVIDIA posisjonerer den største konfigurasjonen for lokal kjøring av modeller på opptil 120B.

Som hos AMD Ryzen AI Max under Windows deles den felles fysiske minnepoolen til N1X inn i tre logiske områder:

Unified physical memory =

+Dedicated GPU memory

+Shared system memory (CPU and GPU)

+CPU-only system memory

I CUDA plasseres data som hovedsakelig brukes av GPU først i dedicated-området, og når det er fullt, kan driveren tildele minne i shared-området uten PCIe-overføring til fysisk separat RAM, slik man ser med diskrete RTX-kort. Begge områdene ligger i samme LPDDR5X-minne. NVIDIA advarer om at shared-området bruker mindre minnesider, og at tilgangen derfor kan være tregere. GPU-exclusive allocations anbefales for modellvekter og mellomliggende buffere.

Det viktigste skillet her er - mellom Windows-plattformer med GPU-reserve og DGX Spark under Linux:

  • DGX Spark under Linux bruker en dynamisk felles CPU/GPU-pool uten stor fast carve-out;

  • AMD Ryzen AI Max og RTX Spark N1X under Windows bruker et dedikert GPU-område, shared CPU/GPU memory og resten av systemminnet;

  • shared memory utvider minnet GPU kan adressere utover dedicated-området, men bruken avhenger av programvarestakken og tilgjengelig minnebudsjett;

  • modellen er ikke garantert tilgang til hele den installerte RAM-mengden: noe minne er utilgjengelig for GPU-tildelinger, og operativsystemet og andre prosesser trenger også ressurser.

Etter den overordnede ordningen for minnefordeling tilhører RTX Spark N1X og AMD Ryzen AI Max under Windows samme gruppe: dedicated-området er reservert for GPU, shared-området er tilgjengelig for CPU og GPU, og resten bare for CPU. De konkrete reglene varierer: NVIDIA setter shared-området til 50-80% av minnet som gjenstår etter carveout, mens AMD beskriver en typisk tildeling av 50% av gjenværende RAM til shared graphics memory. Det gir ikke grunnlag for å regne N1X som en mellomarkitektur mellom AMD og DGX Spark.

Apple Silicon

Apple Silicon bruker en felles fysisk CPU/GPU-pool uten å tildele fast VRAM på forhånd. Apple definerer en unified-memory GPU som en GPU som deler alt minnet med CPU-en: begge prosessorer bruker de samme dataene uten kopiering mellom RAM og separat VRAM over PCIe.

LLM-vekter, KV-buffer og andre strukturer bruker unified memory uten forhåndsdeling, for eksempel i 96GB til GPU og 32GB til CPU. Minnet som faktisk er tilgjengelig for modellen, er mindre enn installert kapasitet: macOS, kjøremiljøet, applikasjoner og GPU-buffere bruker samme pool.


Hovedforskjellen er hvordan den felles fysiske minnepoolen fordeles. DGX Spark under Linux og Apple Silicon krever ingen stor forhåndsreserve for GPU. AMD Ryzen AI Max og RTX Spark N1X under Windows bruker et dedikert GPU-område og delt CPU/GPU-minne. Reglene, driverne og programmeringsgrensesnittene er forskjellige, men den grunnleggende fordelingen er lik. I alle tilfeller må man ta hensyn til minne for operativsystem, programmer og buffere; samlet RAM-mengde er ikke lik tilgjengelig kapasitet for LLM-vekter.

Klynger: 512GB hos NVIDIA og 768GB hos AMD

For DGX Spark med GB10 har hver maskin i toppkonfigurasjonen 128GB. Fire maskiner gir 512GB totalt. NVIDIA Sync støtter oppsett av en slik klynge; fire noder krever en passende QSFP-nettverkssvitsj, mens en direkte forbindelse passer for mindre konfigurasjoner.

AMD tilbyr også en vei til distribuert kjøring: selskapet publiserer et eksempel med fire noder og llama.cpp RPC. Dessuten oppgir Framework at fire Desktop-maskiner med Ryzen AI Max+ PRO 495 og 192GB per node kan kobles sammen og gi opptil 768GB totalt.

I begge tilfeller blir den samlede minnemengden ikke automatisk ett adresserom. Orkestreringsprogrammet må fordele modellen mellom nodene; hastigheten avhenger av nettverket og hvordan arbeidet parallelliseres.

En klynge kan settes opp for å romme en stor modell, øke hastigheten til én forespørsel eller øke tjenestens samlede ytelse. Til dette brukes flere fordelingsstrategier:

  • Tensor parallel: nodene beregner samtidig deler av matriser i de samme lagene. De behandler forespørselen sammen, men utveksler ofte resultater.

  • Expert parallel: MoE-eksperter plasseres på ulike noder, og tokener sendes til de riktige ekspertene. Parallellisering kan hjelpe, men datautveksling og ujevn belastning kan spise opp gevinsten.

  • Pipeline parallel: grupper av lag deles inn i sekvensielle stadier. Ett token går gjennom dem etter tur; flere forespørsler eller mikrobatcher kan fylle ulike stadier samtidig. Det kan oppstå ventetid i pipelinen, men dette er et effektivt scenario ved en stor strøm av sekvensielle oppgaver.

  • Data parallel: ulike kopier av modellen betjener uavhengige forespørsler. Dette øker tjenestens samlede kapasitet når det er nok minne til kopiene, men gjør ikke automatisk én forespørsel raskere.

Modi kan kombineres, for eksempel tensor + pipeline eller tensor + expert, hvis det valgte programmet støtter det. Fire noder i seg selv garanterer ingen hastighetsøkning: nettverk, synkronisering, batchstørrelse og belastningsbalanse er avgjørende. NVIDIA forklarer separat, hvordan man velger modellfordeling etter maskinvaren.

For DGX Spark finnes det en offisiell vLLM-oppskrift for to noder: Qwen3.8-27B NVFP4, tensor parallel på to noder og kontinuerlig samling av flere forespørsler i batcher. Dette eksemplet viser at felles beregning av modellen også kan betjene parallelle forespørsler.


Sammenligning av GPU-ytelse og minnehastighet

For store lokale LLM-er på Ryzen AI Max tar den integrerte Radeon 8060S/8065S GPU-en seg av hoveddelen av beregningene. De oppgitte 50/55TOPS for NPU kan ses bort fra i denne sammenligningen: i et vanlig GGUF-oppsett bruker llama.cpp iGPU, ikke NPU. Spesialiserte måter å kjøre LLM-er på NPU finnes, men dette er en egen programvarestakk med egne krav. Derfor viser ikke de samlede 126/131TOPS for CPU + GPU + NPU hastigheten til en stor LLM.

For AMD er et nyttigere holdepunkt - Radeon-ytelsen i FP16: omtrent 45.9TFLOPS for 8050S (beregnet toppytelse), opptil 60TFLOPS for 8060S og opptil 61TFLOPS for 8065S. Beregning for 8050S: 32 CU × 512 FP16-operasjoner per klokkesyklus × 2.8GHz = 45.8752TFLOPS; faktisk LLM-hastighet avhenger av arbeidsbelastningen.

DGX Sparks markedsførte 1PFLOP FP4 er også reell, men beskriver en spesialmodus med 2:4-sparsitet for den spesifikke FP4-presisjonen. Uten sparsitet er det beregnede taket omtrent 500TFLOPS FP4. Ingen av disse tallene er en ferdig prognose for svarhastighet eller et egnet grunnlag for å sammenligne faktisk ytelse.

For vanlige lokale modeller i llama.cpp, LM Studio og Ollama er det mer praktisk å sammenligne beregningsdelen i FP16/BF16 og ta hensyn til implementasjonen. FP4 (der NVIDIA DGX har svært høy ytelse) krever en klargjort modell og et program som faktisk bruker denne modusen.

Plattformer og minnebåndbredde

Chip i toppkonfigurasjonen

CPU og GPU

Minne og hastighet

Kilde

NVIDIA RTX Spark N1X

CPU med 20 kjerner; GPU med 6144 CUDA-kjerner

Opptil 128GB delt minne; 300GB/s, 256 bit buss ifølge NVIDIAs dokumentasjon

NVIDIA GB10 Grace Blackwell

CPU med 20 kjerner; Blackwell GPU

128GB LPDDR5X; 273GB/s

Ryzen AI Max (PRO) 385/390

CPU med 8/12 kjerner; Radeon 8050S, 32 CU

Opptil 128GB LPDDR5X 8000MT/s, 256-bit buss (beregnet: 256GB/s)

Ryzen AI Max PRO 485/490

CPU med 8/12 kjerner; Radeon 8050S, 32 CU

Opptil 192GB LPDDR5X 8533MT/s, 256-bit buss (beregnet: 273.1GB/s)

Ryzen AI Max+ / PRO 395

CPU med 16 kjerner; Radeon 8060S, 40 CU

128GB; hos Framework LPDDR5X 8000MT/s, 256 bit (beregnet: 256GB/s)

Ryzen AI Max+ PRO 495

CPU med 16 kjerner; Radeon 8065S, 40 CU

192GB hos Framework; LPDDR5X 8533MT/s, 256 bit (beregnet: 273.1GB/s)

Apple M4 Max

CPU 16 kjerner, GPU 40 kjerner, NPU 16 kjerner

128GB; 546GB/s

Apple M3 Ultra

CPU 32 kjerner, GPU 80 kjerner, NPU 32 kjerner

Opptil 512GB ved lansering; 819GB/s

Apple M5 Max

CPU 18 kjerner, GPU 40 kjerner, NPU 16 kjerner

128GB; 614GB/s

Apple M5 Ultra

CPU 36 kjerner, GPU 80 kjerner, NPU 32 kjerner

Opptil 512GB; 1.2TB/s

GPU-ens beregningsytelse

GPU

Arkitektur

FP16/BF16 dense

FP8 dense

FP4 dense

Apple M4 Max, 40 GPU-kjerner

Apple GPU M4

Ikke oppgitt*

Ikke oppgitt

Ikke oppgitt

Apple M3 Ultra, 80 GPU-kjerner

Apple GPU M3

Ikke oppgitt*

Ikke oppgitt

Ikke oppgitt

Apple M5 Max, 40 GPU-kjerner

GPU + Neural Accelerators

Ikke oppgitt*

Ikke oppgitt

Ikke oppgitt

Apple M5 Ultra, 80 GPU-kjerner

GPU + Neural Accelerators

Ikke oppgitt*

Ikke oppgitt

Ikke oppgitt

Radeon 8050S / Ryzen AI Max (PRO) 385/390, Max PRO 485/490

RDNA 3.5

~45.9 (FP16, beregnet)

Ingen native-støtte

Ingen native-støtte

Radeon 8060S / Ryzen AI Max+ 395

RDNA 3.5

Opptil 60 (FP16)

Ingen native-støtte

Ingen native-støtte

Radeon 8065S / Ryzen AI Max+ PRO 495

RDNA 3.5

Opptil 61 (FP16)

Ingen native-støtte

Ingen native-støtte

Radeon RX 7900 XTX

RDNA 3

123 (FP16)

Ingen native-støtte

Ingen native-støtte

Radeon RX 9070 XT

RDNA 4

195 (FP16)

389

Ingen native-støtte

GeForce RTX 4070

Ada

58.3

116.6

Ingen native-støtte

GeForce RTX 4080

Ada

97.5

194.9

Ingen native-støtte

GeForce RTX 4090

Ada

165.2

330.3

Ingen native-støtte

DGX Spark / GB10

Blackwell

~121 (test)**

~241 (test)**

~500 (beregnet)**

GeForce RTX 5070

Blackwell

61.7

123.5

493.9

GeForce RTX 5080

Blackwell

112.6

225.1

900.4

GeForce RTX 5090

Blackwell

209.5

419

1676

Alle tallverdiene i tabellen er oppgitt i TFLOPS uten akselerasjon fra 2:4-sparsitet (dense). For GeForce RTX 40/50 oppgis Tensor Core-matriseytelse med akkumulering i FP32. For Radeon oppgis offisielle FP16-verdier/FP8 Matrix. «Ingen native-støtte» betyr at det mangler en native matrisemodus med denne presisjonen, ikke at en kvantisert modell ikke kan kjøres. INT4 og FP4 er ulike formater: 779TOPS INT4 for RX 9070 XT kan ikke oppgis som FP4 TFLOPS.

* For Apple er shader-FP16-estimater og ytelsen til spesialiserte matriseenheter ulike mål, så det er feil å blande dem i én tallbasert rangering. Ingen sammenlignbar offisiell tabell fordelt på presisjon er publisert i de oppgitte kildene. M5 Max  og M5 Ultra har en Neural Accelerator i hver GPU-kjerne, så gamle shader-estimater viser ikke hele KI-potensialet deres.

** For GB10 er ~121TFLOPS FP16/BF16 og ~241TFLOPS FP8 resultater fra en konkret cooperative-matrix-test, ikke offisielle toppverdier fra NVIDIAs spesifikasjoner. Resultatet avhenger av testen og programvarestakken. ~500TFLOPS FP4 er beregnet fra oppgitte 1PFLOP med en dobling av hastigheten fra sparsitet; sparsitet oppstår ikke av seg selv i en vanlig modell.

FP16/BF16 er et holdepunkt for beregningskraft, ikke en rangering av tokens per sekund. Faktisk hastighet avhenger av minnebåndbredde, kontekststørrelse, antall forespørsler som behandles samtidig og implementasjonen av operasjonene. Ved valg av datamaskin er en lik test av modell, kvantisering og kontekst nyttigere, som i sammenligningen nedenfor.


Det er viktig å skille mellom kvantisering av modellvekter og beregningspresisjon. GGUF Q4_K_M, IQ4_XS og Q5_K_M lagrer vektene i omtrent 4-5 bits, men aktiverer ikke FP4-beregninger automatisk. Programmet pakker ut vektene og bruker støttede FP16/BF16-operasjoner, heltallsoperasjoner eller blandede operasjoner. Derfor kjører en Q4-modell også på RTX 4090 eller Radeon 8060S: minnebesparelsen beholdes uten native FP4.

Native FP4 på Blackwell krever en klargjort programbygging og en kompatibel motor, for eksempel NVFP4 W4A4: både vekter (W4) og mellomverdier (A4) konverteres til 4 bits. NVIDIA viser, at W4A16-komprimering av vektene alene ikke er nok til å aktivere FP4 Tensor Core i den aktuelle stakken. W4A4 kan redusere kvaliteten; kalibrering og kvantiseringsbevisst trening bidrar til å gjenopprette den, men resultatet må kontrolleres for den konkrete modellen og oppgaven.


RTX Spark N1X og GB10 har lignende arkitektur: toppversjonene av begge har 20 Arm-kjerner i CPU og en Blackwell GPU med 6144 CUDA-kjerner. De offisielle spesifikasjonene for RTX Spark skiller imidlertid mellom N1X for bærbare datamaskiner med TDP på 45-80W og skrivebordsversjonen med prosessor-TDP på 140W; GB10 har også TDP på 140W. Det finnes dessuten en enklere N1X for bærbare datamaskiner med 18 CPU-kjerner og 5120 CUDA-kjerner. Vær oppmerksom på prosessorversjonen.


N1X er laget for Windows on Arm, mens DGX Spark bruker Linux.

I de kontrollerte kildene ble det ikke funnet en direkte sammenligning av N1X og GB10 med samme modell, kvantisering og kontekst. Derfor kan vi bare anta at resultatene for N1X for skrivebordsbruk vil være sammenlignbare med GB10.


For AMD finnes det direkte målinger: Tom's Hardware sammenlignet Ryzen AI Halo med Max+ 395 og Dell Pro Max med GB10 i llama.cpp via llama-benchy. Tabellen viser resultater med en kontekstdybde på 8192 tokener, inndata på 2048 og et svar på 256 tokener; forfatteren brukte GGUF Unsloth Q4_K_M. AMD-maskinen hadde 128GB LPDDR5X-8000 og nominell TDP på 120W. TTFT er forsinkelsen frem til første token; flere token per sekund under generering betyr et raskere svar.

Testmodell

AMD 395: TTFT

GB10: TTFT

AMD 395: generering

GB10: generering

Qwen3.6-35B-A3B

11.4s

5.0s

43.8 tokener/s

58.9 tokener/s

gpt-oss-120B

26.0s

5.9s

46.4 tokener/s

50.7 tokener/s

I disse to testene vinner GB10 både på TTFT og genereringshastighet. Forfatteren påpeker at caching av inndata kan redusere forskjellen i TTFT.


Hastigheten for hele agentoppgaven kan gi et annet resultat. I AMDs egen HEPA-test kjørte begge maskinene Qwen3.6-35B-A3B i 4-bitformat og lagde en presentasjon fra de samme lokale dokumentene. AMD Halo fullførte arbeidet på 311.6s, DGX Spark på 367.1s, selv om den enkelte GPU-fasen var raskere på Spark: 137.2s mot 159.5s. Sju av åtte faser ble utført på CPU. Dette er et eksempel fra en bestemt produsenttest: for en agent bør du også måle tiden frem til ferdig resultat, inkludert søk, dokumentbehandling og kontroll av svaret.

Hva er viktigst for hastigheten: minne eller beregningsenheter?

Når en dense-modell (for eksempel Qwen3.8-27B) genererer et svar, bruker den alle lagene og vektene sine. Ved én eller noen få forespørsler venter akseleratoren ofte på å lese data. Derfor er minnebåndbredden viktig: den påvirker hvor raskt de neste tokenene kommer.


Under prefill behandler datamaskinen inndatateksten og oppretter KV-cache; lange inndata gir flere muligheter for parallelle matriseberegninger. I denne prefill-fasen kan sterke beregningsenheter redusere ventetiden frem til første token. Virkningen av store forespørselsbatcher og prediksjon omtales i en egen artikkel fra NVIDIA.


For en agent som gjentatte ganger mottar kontekst og returnerer et kort svar eller et verktøykall, kan prefill utgjøre en betydelig del av ventetiden. De nevnte MoE-modellene Qwen3.8-Flash-Next og GLM-5.3-Flash bruker dessuten bare utvalgte eksperter, noe som reduserer kravet til minnehastighet (sammenlignet med dense-modeller), selv om den fortsatt er en viktig faktor for den samlede ytelsen.


Utvikleren EXO målte samme Llama-3.1 8B FP16: inndata på 8192 token, svar på 32 token. På DGX Spark tok prefill 1.47s, generering 2.87s og hele kjøringen 4.34s; på M3 Ultra Mac Studio var det 5.57s, 0.85s og 6.42s. I denne testen vant Spark på behandling av inndata, mens Mac vant på generering.


Hva du ellers bør vurdere ved valg av datamaskinarkitektur


Alle de omtalte arkitekturene kan kjøre LLM-er lokalt. Men tilgjengelig programvare, akselerasjonsmetoder og verktøy for finjustering er forskjellige, så den konkrete oppgaven kan avgjøre det endelige valget.


Trenger du for eksempel en server for flere brukere, tilbyr NVIDIA TensorRT-LLM: en spesialisert motor med optimaliseringer for selskapets GPU-er, samlet behandling av forespørsler og fordeling av modellen mellom akseleratorer. Den er laget for NVIDIA, så en ferdig løsning basert på den kan ikke bare flyttes til AMD eller Apple: Du trenger en annen motor og et nytt oppsett. Tilgang til slik spesialisert programvare og ferdige CUDA-prosjekter er en praktisk fordel med NVIDIA. Funksjonene i TensorRT-LLM.


For å tilpasse en modell til egne dokumenter, en bestemt svarstil eller arbeidsoppgaver er verktøy for finjustering viktigere. På Mac kan du bruke MLX LM, som støtter LoRA og QLoRA for trening av ekstra adaptere med lavere minnekrav enn ved finjustering av hele modellen. På støttet maskinvare fra NVIDIA og AMD finnes Unsloth, inkludert Unsloth Studio med nettlesergrensesnitt: Du kan velge modell, data og treningsparametere og deretter følge resultatene. Finjustering i seg selv gjør altså ikke NVIDIA obligatorisk, men programmet du velger og funksjonene det tilbyr, kan påvirke kjøpet. MLX LM, Unsloth på AMD.


Hvis du bare vil kjøre en ferdig modell gjennom LM Studio eller Ollama, begrenser programvarestakken vanligvis arkitekturvalget mindre. Kjøper du derimot datamaskinen til en bestemt treningsprosess, en server eller et ferdig KI-prosjekt, bør du først velge programmene som trengs: CUDA-, ROCm- og Metal-komponentene deres krever ofte ulike bygg og erstatter ikke hverandre automatisk.


Fortsettelse av artikkelen.

I andre del av denne artikkelen får du vite: hvilke LLM-modeller som kan få plass helt i datamaskinens minne, og hva de kan gjøre. Deretter sammenligner vi ferdige bærbare datamaskiner og arbeidsstasjoner med ulike arkitekturer som produsentene tilbyr for lokale LLM-er.


Støtt Tinker Vault.
Noen lenker er partnerlenker (
Amazon.com, Amazon.de, AliExpress). Jeg kjøper og tester hvert produkt selv. Støtten din hjelper prosjektet videre uten ekstra kostnader for deg. Takk!

bottom of page