Persoonlijke AI: laptops, werkstations en hun mogelijkheden (deel 2)
Bijgewerkt op: 7 dagen geleden
In het eerste deel van dit artikel hebben we taken voor lokale LLM's en geschikte computerarchitecturen besproken, hun prestaties vergeleken en uitgelegd hoe processor en geheugen de snelheid beïnvloeden.
In het tweede deel bekijken we welke LLM-modellen volledig in het geheugen van een computer passen en wat ze kunnen. Daarna vergelijken we kant-en-klare laptops en werkstations met verschillende architecturen die fabrikanten aanbieden voor lokale LLM's.
Welke LLM-modellen passen bij computers met 32-768GB geheugen
Reclamebeloften over het uitvoeren van modellen met honderden miljarden parameters moet u samen met de voorwaarden lezen: AMD adverteert met 300B op Ryzen AI Halo met 192GB geheugen, maar bij 4-bits kwantisatie. Dat betekent ongeveer 150GB voor alleen de gewichten, zonder overhead, terwijl de volledige BF16/FP16-versie 4 keer zoveel geheugen nodig heeft: 600GB! Nog duidelijker is het voorbeeld van Framework: voor een computer met 64GB raadt het bedrijf Qwen3.5-122B-A10B met 3-bits Q3_K_S-kwantisatie aan en noemt het een geheugengebruik van 52.5GB, terwijl alleen de BF16/FP16-gewichten ongeveer 244GB zouden vereisen. Bekijk zulke beloften kritisch, want agressieve kwantisatie naar 2-3 bits kan de antwoorden en het gedrag van het model aanzienlijk verslechteren.
Dit artikel richt zich op computers met minimaal 128GB geheugen voor professioneel werk met grote modellen die cloudoplossingen bij veel werktaken kunnen vervangen. Voor eenvoudiger programmeerwerk is ook een computer met minder geheugen geschikt. Daarom bevat de vergelijking ook het dense-model Qwen3.8-27B.
De belangrijkste referentie voor systemen met 128GB+ zijn moderne open MoE-modellen Qwen3.8-Flash-Next en GLM-5.3-Flash. Qwen3.8 Flash is een cloudversie, terwijl Flash-Next een open versie voor lokaal gebruik is.
Bij het verwerken van elk token gebruikt een MoE-model slechts een deel van de parameters, waardoor minder berekeningen nodig zijn. Toch moeten alle gewichten in het geheugen worden geladen, zodat een grote geheugencapaciteit belangrijk blijft.
Kwantisatie van gewichten en de KV-cache verkleint hun omvang door getallen compacter weer te geven. De invloed op de kwaliteit hangt af van model, taak en compressiegraad: Q4 kan bruikbaar zijn voor werk, terwijl Q8 qua kwaliteit vaak dicht bij het oorspronkelijke model ligt. Hieronder staan specifieke gepubliceerde GGUF-versies en de totale omvang van alle gewichtsbestanden van elke versie.
Modellen voor lokaal gebruik vindt u op Hugging Face, waar oorspronkelijke gewichten, instructies en kant-en-klare gekwantiseerde versies worden gepubliceerd. Controleer vóór het downloaden de maker, licentie, bestandsgrootte en compatibiliteit met het gekozen programma: llama.cpp heeft meestal het formaat GGUF nodig, terwijl MLX op een Mac een compatibele MLX-versie vereist. U kunt ook rechtstreeks in LM Studio modellen zoeken en downloaden of een kant-en-klaar pakket kiezen uit de Ollama-bibliotheek.
Let op: de grootte van de gewichtsbestanden van een model is niet gelijk aan het totale geheugengebruik. Er is reserve nodig voor het besturingssysteem, werkbuffers en de KV-cache, waarvan de grootte afhangt van de contextlengte.
Als een computer of cluster voldoende vrij geheugen heeft, kunnen meerdere kopieën van één model of verschillende modellen voor gelijktijdig gebruik worden geladen.
Op Windows en Linux kunt u eenvoudig beginnen met LM Studio met een grafische interface of Ollama; voor flexibelere instellingen en een lokale API is llama.cpp geschikt. Op Macs met Apple Silicon zijn dezelfde hulpmiddelen beschikbaar, evenals MLX LM, dat voor dit platform is ontwikkeld; GPU-versnelling verloopt via Metal. Op DGX Spark met DGX OS, een op Ubuntu gebaseerde Linux-distributie, kunt u CUDA-builds van llama.cpp uitvoeren en voor meerdere verzoeken vLLM volgens de kant-en-klare instructies van NVIDIA gebruiken; de softwarebuild of container moet ARM64 en de GB10-GPU ondersteunen.
Geheugen | Keuzevoorwaarden | |||
|---|---|---|---|---|
32GB | Q4 + reserve past niet | Q4 + reserve past niet | Qwen27B: 32K context past; 64K is grensgeval; 128K+ past niet. | |
64GB | Q4 + reserve past niet | Q4 + reserve past niet | Qwen27B: tot 256K context past. | |
128GB | Q4 + reserve past niet | Qwen27B: tot 256K. Flash-Next: 32K/64K past; 128K is grensgeval. | ||
192GB | Q4 + reserve past niet | Qwen27B en Flash-Next: tot 256K. | ||
256GB | Context tot 256K past. | |||
512GB | Context tot 256K. Voor een cluster van 4 nodes is nog eens 36GB nodig bij Qwen27B, 60GB bij Flash-Next en 72GB bij GLM Flash: op elke node zijn het besturingssysteem en buffers nodig. | |||
768GB | Context tot 256K. Voor een cluster van 4 nodes is nog eens 36GB nodig bij Qwen27B, 60GB bij Flash-Next en 72GB bij GLM Flash: op elke node zijn het besturingssysteem en buffers nodig. |
Modellen vergelijken met dezelfde testversies
De waarden hieronder zijn percentages uit publicaties van de ontwikkelaars van de oorspronkelijke releases, geen resultaten van de gekozen gekwantiseerde GGUF-versies.
De resultaten hangen ook af van de agentomgeving (harness) en de instellingen: dezelfde testversies betekenen nog geen gelijke omstandigheden. Qwen3.8-27B werd bijvoorbeeld getest op SWE-bench Pro en DeepSWE 1.1 met Claude Code als agentomgeving en een context van 256K.
Naast open modellen bevat de tabel ter vergelijking benchmarkwaarden van bekende cloudmodellen.
Enkele populaire benchmarks:
SWE-bench Pro en DeepSWE tonen prestaties bij codewerk;
Terminal-Bench 2.1 betreft agenttaken die zelfstandig worden uitgevoerd;
GPQA Diamond en HLE with tools betreffen moeilijke vragen en redeneren, in het tweede geval met tools.
Model en bron | SWE-bench Pro | Terminal-Bench 2.1 | DeepSWE v1.1 | GPQA Diamond | HLE with tools |
|---|---|---|---|---|---|
61.7 | 73.0 | 42.2 | 89.2 | Geen waarde | |
62.5 | Geen waarde | 58.7 | 91.7 | Geen waarde | |
Geen waarde | 84.3 | 63.4 | Geen waarde | 55.3 | |
Geen waarde | 90.6 | 74.2 | 90.9 | 63.9 | |
Geen waarde | Geen waarde | Geen waarde | Geen waarde | 64.5 | |
Geen waarde | Geen waarde | Geen waarde | 89.9 | 49.0 | |
Geen waarde | 88.8 | 72.7 | Geen waarde | 64.5 | |
53.4 | Geen waarde | Geen waarde | 91.3 | Geen waarde | |
Geen waarde | 85.0 | 58.0 | Geen waarde | 57.9 |
Kant-en-klare computers voor lokale AI-modellen
De tabellen hieronder tonen computerfamilies, met de nadruk op configuraties met 128GB geheugen of meer.
Voor elke familie worden de voedingseisen apart vermeld: het adaptervermogen en het ondersteunde laadprotocol.
Laptops en werkstations met NVIDIA RTX Spark N1X
Laptop | Model, chip en geheugenbereik | Laden met een USB-C-adapter (PD) | Documentatie en winkel |
|---|---|---|---|
❌ | Acer SFF RTX Spark | N1X | tot 128GB | - | |
✅ | ASUS ProArt P16 H7607 | N1X | 32-128GB | PD3.1, 140W | |
✅ | ASUS ProArt P14 H7407 | N1X | 32-128GB | PD3.1, 140W | |
❌ | ASUS ProArt GR1X | N1X | 64/128GB | USB-C EPR PD 3.1(180W); adapter van 240W inbegrepen | |
❌ | Dell Creator Edition Desktop | N1X | tot 128GB | - | |
✅ | Dell XPS 16 Creator Edition | N1X | 128GB | Power Delivery is opgegeven voor drie USB-C 4.0-poorten | |
✅ | HP OmniBook Ultra 16, 16-bk0000 | N1X | 32-128GB | PD3.2 USB-C 140W | |
✅ | HP OmniBook X 14 | N1X | tot 128GB | USB PD 3.2; USB-C GaN voedingsadapter 140W | |
✅ | Lenovo Yoga Pro 9n / Pro 9n 15 Gen 11 | N1X | 32-128GB | USB-C PD 3.0; USB-C adapter 140W | |
✅ | Lenovo Yoga 9n 2-in-1 Gen 11 16" | N1X | 32-64GB | USB-C PD 3.0; USB-C adapter 140W | |
✅ | Microsoft Surface Laptop Ultra | N1X | 24-128GB | USB PD 3.1, minimaal 115W | |
❌ | Microsoft Surface RTX Spark Dev Box | N1X | 128GB | - | |
❌ | MSI EdgeMesa N AI+ | N1X | tot 128GB | USB-C PD IN; voedingsadapter 240W | |
✅ | MSI Prestige N16 Flip AI+ | N1X | 32-128GB | PD3.1, 65W(20V3.25A)-140W(28V5A) |
NVIDIA GB10 / DGX Spark werkstations
Model, chip en geheugenbereik | Laden met een USB-C-adapter (PD) | Documentatie en winkel |
|---|---|---|
Acer Veriton GN100 | GB10 | 128GB | Meegeleverde USB-C-voeding 240W | |
ASUS Ascent GX10 | GB10 | 64/128GB | PD3.1 EPR. Het technische blad vermeldt een ingang tot 180W; meegeleverde voeding 240W | |
CyberGeek DGX Spark Compact AI Workstation | GB10 |128GB | Meegeleverde USB-C-voeding van 240W; gebruik de meegeleverde adapter | |
Dell Pro Precision with GB10 (voorheen Dell Pro Max with GB10) | 64/128GB | Meegeleverde USB-C-voedingsadapter FCM1253 280W, (uitgangsprofielen: 5V3A, 9V3A, 15V3A, 20V6.5A, 28V5.89A, 36V5.83A, 48V5.83A); De PD-versie is niet vermeld. In het bereik van 20-48V gebruiken deze PD-profielen niet-standaard stroomsterktes! | |
GIGABYTE AI TOP ATOM | GB10 | 128GB | USB-C PD IN; adapter van 240W inbegrepen; het vereiste ingangsvermogen, spanningsprofiel en de PD-versie zijn niet vermeld. | |
HP ZGX Nano G1n AI | GB10 | 128GB | Aparte USB-C-ingang, voeding 240W. | |
Lenovo ThinkStation PGX | GB10 | 128GB | Speciale USB-C-ingang met USB PD 3.1; meegeleverde voeding 240W | |
MSI EdgeXpert AI | GB10 | 64/128GB | Standaard voeding USB PD 3.1 240W, 48V5A | |
NVIDIA DGX Spark | GB10 | 128GB | Standaard USB-C PD3.1 240W | |
PNY NVIDIA DGX Spark | GB10 | 128GB | Voeding inbegrepen, vermogen en PD-modus niet vermeld |
Laptops en werkstations met Ryzen AI Max+ 395/495
Modellen met Ryzen AI Max 385/390 en Ryzen AI Max PRO 485/490 met de Radeon 8050S-GPU worden niet meegenomen vanwege hun "veroudering".
Laptop | Model, chip en geheugenbereik | Laden met een USB-C-adapter (PD) | Documentatie en winkel |
|---|---|---|---|
❌ | Acer Veriton RA110 | Max+ 395 | 64/128GB | - | |
❌ | AMD Ryzen AI Halo | Max+ 395 | 128GB | Aparte USB-C-ingang voor laden met de standaardvoeding | |
❌ | AMD Ryzen AI Halo | Max+ PRO 495 | 192GB gedeeld geheugen | USB-C-voedingsingang | |
❌ | ACEMAGIC F9A | Max+ PRO 495 | 192GB | - | |
✅ | ASUS ProArt PX13 HN7306 | Max+ 395 | 128GB | USB PD 45-100W ondersteund | |
✅ | ASUS ROG Flow Z13 GZ302 | Max+ 395 in de hoogste versie | 32-128GB | USB PD 3.0, 45-100W | |
❌ | Beelink GTR9 Pro | Max+ 395 | 128GB | - | |
❌ | CORSAIR AI Workstation 300 | Max+ 395 | 64/128GB | - | |
❌ | Framework Desktop | Max+ 395: 64/128GB, Max+ PRO 495: 192GB | - | |
❌ | GEEKOM A9 Mega | AMD Ryzen AI Max+ 395 | 128GB gedeeld geheugen | - | |
❌ | GMKtec EVO-X2 | Max+ 395 | 64-128GB | - | |
❌ | GMKtec EVO-X3 | Max+ 395 | 128GB | - | |
❌ | GMKtec EVO-X5 Pro | Ryzen AI Max+ PRO 495 | 192GB gedeeld geheugen | - | |
❌ | HP Z2 Mini G1a | Max+ PRO 395 in de hoogste versie | 16-128GB | - | |
✅ | HP ZBook Ultra 14 G1a | Max+ PRO 395 in de hoogste versie | 16-128GB | USB-C 140W | |
✅ | HP ZBook Ultra G3a 16 | Ryzen AI Max+ PRO 495 | tot 192GB gedeeld geheugen | USB-C-ingang; aanbevolen adapter 180W, alternatief 140W | |
❌ | Lenovo ThinkCentre X Ultra | Ryzen AI Max+ PRO 495 | tot 128GB gedeeld geheugen | - | |
❌ | MINISFORUM MS-S1 MAX | Max+ 395 | 64/128GB | - | |
❌ | MINISFORUM MS-S1 MAX-P495 | Max+ PRO 495 | 192GB gedeeld geheugen | - | |
❌ | MINISFORUM N5 MAX-P495 | Max+ PRO 495 | 192GB | - | |
❌ | MSI PRO MAX EDGE AI+ 11M | Max+ 395 | 128GB | - |
Laptops en werkstations met Apple Silicon: de twee laatste generaties
Voor de MacBook Pro kijken we naar M5 Max en M4 Max met een GPU met 40 kernen en 128GB. Voor Mac Studio gaat het om de generatie M5 Max / M5 Ultra en de vorige M4 Max / M3 Ultra. Apple kondigde bij de introductie een M3 Ultra-versie met 512GB aan, maar de huidige specificatiepagina toont maximaal 256GB.
Laptop | Model, chip en geheugenbereik | Laden met een USB-C-adapter (PD) | Documentatie en winkel |
|---|---|---|---|
✅ | MacBook Pro 14" (2024) | M4 Max | 36-128GB; 128GB vereist een GPU met 40 kernen | PD3.0 (<100W) | |
✅ | MacBook Pro 16" (2024) | M4 Max | 36-128GB; 128GB vereist een GPU met 40 kernen | PD3.1 (140W) | |
✅ | MacBook Pro 14" | M5 Max | 36-128GB; 128GB vereist een GPU met 40 kernen | PD3.0 (<100W) | |
✅ | MacBook Pro 16" | M5 Max | 36-128GB; 128GB vereist een GPU met 40 kernen | PD3.1 (140W) | |
❌ | Mac Studio (2025) | M4 Max | 36-128GB; 128GB vereist een GPU met 40 kernen | - | |
❌ | Mac Studio (2025) | M3 Ultra | 96-256GB in de huidige specificatie; 512GB bij introductie | - | |
❌ | Mac Studio | M5 Ultra | 96/256/512GB; 512GB: levering later in oktober 2026 | - | |
❌ | Mac Studio | M5 Max | 36-128GB; 128GB vereist een GPU met 40 kernen | - | Specificaties | Amazon.com(36GB) |
MagSafe 3 op de MacBook is een eigen connector aan de laptopzijde die via de bijbehorende kabel stroom ontvangt van een USB-C-adapter.
Hoe je een betrouwbare voeding voor je computer regelt
Controleer wat wordt meegeleverd: sommige configuraties worden zonder adapter verkocht, vooral in Europa; bij andere is die inbegrepen.
Voor dagelijks urenlang werken met een lokaal AI-model is een betrouwbare voeding nodig die langdurig het vereiste vermogen kan leveren zonder storingen.
Controleer spanning, stroom, protocol en toegestane kabel aan de hand van de documentatie van de specifieke machine. Als de fabrikant een eigen voeding of een niet-standaardmodus vereist, rechtvaardigt een USB-C-connector niet dat je die door een willekeurige krachtige lader vervangt.
Als je meerdere apparaten op een voeding met meerdere poorten wilt aansluiten, controleer dan het vermogen van één poort en hoe dat wordt herverdeeld wanneer andere apparaten worden aangesloten.