AI personală: laptopuri, stații de lucru și posibilitățile lor (partea 2)
Actualizată în: acum 7 zile
În prima parte a acestui articol am analizat sarcinile pentru LLM locale și arhitecturile de calculatoare potrivite, le-am comparat performanța și am explicat cum influențează procesorul și memoria viteza.
În partea a doua vom analiza ce modele LLM pot fi plasate integral în memoria calculatorului și ce pot face. Apoi vom compara laptopuri și stații de lucru gata de utilizare, cu arhitecturi diferite, pe care producătorii le oferă pentru lucrul cu LLM locale.
Ce modele LLM sunt potrivite pentru calculatoare cu 32-768GB de memorie
Promisiunile publicitare de a rula modele cu sute de miliarde de parametri trebuie citite împreună cu condițiile: AMD promovează 300B pe Ryzen AI Halo cu 192GB de memorie, dar cu o cuantizare pe 4 biți. Aceasta înseamnă aproximativ 150GB doar pentru ponderi, fără consumul suplimentar, în timp ce versiunea completă BF16/FP16 necesită de 4 ori mai multă memorie: 600GB! Și mai clar este exemplul Framework: pentru un calculator cu 64GB, compania recomandă Qwen3.5-122B-A10B cu cuantizare pe 3 biți Q3_K_S și indică un consum de memorie de 52.5GB, în timp ce numai ponderile BF16/FP16 ar necesita aproximativ 244GB. Priviți cu atenție asemenea promisiuni, deoarece cuantizarea agresivă la 2-3 biți poate deteriora semnificativ răspunsurile și comportamentul modelului.
În articol ne concentrăm pe calculatoare cu cel puțin 128GB de memorie pentru lucrul profesional cu modele mari care pot înlocui soluțiile cloud în multe sarcini de serviciu. Pentru sarcini simple de programare este potrivit și un calculator cu mai puțină memorie. De aceea, comparația include și modelul dens Qwen3.8-27B.
Reperul principal pentru sistemele cu 128GB+ îl reprezintă modelele MoE deschise moderne Qwen3.8-Flash-Next și GLM-5.3-Flash. Qwen3.8 Flash este o versiune cloud, iar Flash-Next este o versiune deschisă pentru rulare locală.
La procesarea fiecărui token, un model MoE folosește doar o parte din parametri, ceea ce reduce volumul calculelor. Totuși, întregul set de ponderi trebuie să încapă în memorie, așa că o capacitate mare rămâne importantă.
Cuantizarea ponderilor și a cache-ului KV le reduce dimensiunea printr-o reprezentare mai compactă a numerelor. Influența ei asupra calității depinde de model, sarcină și gradul de comprimare: Q4 poate fi acceptabilă pentru lucru, iar Q8 este adesea apropiată ca nivel de calitate de modelul original. Mai jos sunt indicate versiuni GGUF concrete publicate și dimensiunea totală a tuturor fișierelor de ponderi pentru fiecare versiune.
Modelele pentru rulare locală pot fi găsite pe Hugging Face, unde sunt publicate ponderile originale, instrucțiuni și versiuni cuantizate gata pregătite. Înainte de descărcare, verificați autorul, licența, dimensiunea fișierelor și compatibilitatea cu programul ales: llama.cpp necesită de obicei formatul GGUF, iar MLX pe Mac necesită o versiune compatibilă cu MLX. Puteți căuta și descărca modele și direct din LM Studio sau puteți alege un pachet gata pregătit din biblioteca Ollama.
Rețineți că dimensiunea fișierelor de ponderi ale modelului nu reprezintă consumul total de memorie: este necesară o rezervă pentru sistemul de operare, bufferele de lucru și cache-ul KV, a cărui dimensiune depinde de lungimea contextului.
Dacă un calculator sau un cluster are suficientă memorie liberă, pot fi plasate mai multe copii ale aceluiași model sau modele diferite pentru utilizare simultană.
Pe Windows și Linux, pentru început este comod să folosiți LM Studio cu interfață grafică sau Ollama; pentru configurare mai flexibilă și un API local este potrivit llama.cpp. Pe Mac cu Apple Silicon sunt disponibile aceleași instrumente, precum și MLX LM, dezvoltat pentru această platformă; accelerarea GPU folosește Metal. Pe DGX Spark cu DGX OS, un Linux bazat pe Ubuntu, puteți rula compilări CUDA ale llama.cpp, iar pentru a servi mai multe cereri puteți utiliza vLLM urmând instrucțiunile NVIDIA; compilarea programului sau containerul trebuie să accepte ARM64 și GPU-ul GB10.
Memorie | Condiții de alegere | |||
|---|---|---|---|---|
32GB | Q4 + rezervă nu încap | Q4 + rezervă nu încap | Qwen27B: contextul de 32K încape; 64K este la limită; 128K+ nu încap. | |
64GB | Q4 + rezervă nu încap | Q4 + rezervă nu încap | Qwen27B: încape un context de până la 256K. | |
128GB | Q4 + rezervă nu încap | Qwen27B: până la 256K. Flash-Next: 32K/64K încap; 128K este la limită. | ||
192GB | Q4 + rezervă nu încap | Qwen27B și Flash-Next: până la 256K. | ||
256GB | Încape un context de până la 256K. | |||
512GB | Context până la 256K. Pentru un cluster cu 4 noduri, Qwen27B necesită încă 36GB, Flash-Next 60GB, iar GLM Flash 72GB: sistemul de operare și bufferele sunt necesare pe fiecare nod. | |||
768GB | Context până la 256K. Pentru un cluster cu 4 noduri, Qwen27B necesită încă 36GB, Flash-Next 60GB, iar GLM Flash 72GB: sistemul de operare și bufferele sunt necesare pe fiecare nod. |
Compararea modelelor pe aceleași versiuni ale testelor
Valorile de mai jos sunt procente din publicațiile dezvoltatorilor versiunilor originale, nu rezultate ale versiunilor GGUF cuantizate selectate.
Rezultatele depind și de mediul de execuție al agentului (harness) și de setări: versiuni identice ale testelor nu înseamnă automat condiții identice. De exemplu, Qwen3.8-27B a fost testat în SWE-bench Pro și DeepSWE 1.1 cu mediul de execuție al agentului Claude Code și un context de 256K.
Pe lângă modelele deschise, tabelul include rezultatele unor modele cloud cunoscute, ca reper.
Câteva benchmark-uri populare:
SWE-bench Pro și DeepSWE arată lucrul cu codul;
Terminal-Bench 2.1 - sarcini de agent executate autonom;
GPQA Diamond și HLE with tools - întrebări complexe și raționament, în al doilea caz cu instrumente.
Model și sursă | SWE-bench Pro | Terminal-Bench 2.1 | DeepSWE v1.1 | GPQA Diamond | HLE with tools |
|---|---|---|---|---|---|
61.7 | 73.0 | 42.2 | 89.2 | Fără valoare | |
62.5 | Fără valoare | 58.7 | 91.7 | Fără valoare | |
Fără valoare | 84.3 | 63.4 | Fără valoare | 55.3 | |
Fără valoare | 90.6 | 74.2 | 90.9 | 63.9 | |
Fără valoare | Fără valoare | Fără valoare | Fără valoare | 64.5 | |
Fără valoare | Fără valoare | Fără valoare | 89.9 | 49.0 | |
Fără valoare | 88.8 | 72.7 | Fără valoare | 64.5 | |
53.4 | Fără valoare | Fără valoare | 91.3 | Fără valoare | |
Fără valoare | 85.0 | 58.0 | Fără valoare | 57.9 |
Calculatoare gata de utilizare pentru modele AI locale
Tabelele de mai jos enumeră familiile de calculatoare, cu accent pe configurațiile cu 128GB de memorie sau mai mult.
Pentru fiecare familie sunt indicate separat cerințele de alimentare: puterea adaptorului și protocolul de încărcare acceptat.
Laptopuri și stații de lucru cu NVIDIA RTX Spark N1X
Laptop | Model, cip și interval de memorie | Încărcare cu adaptor USB-C (PD) | Documentație și magazin |
|---|---|---|---|
❌ | Acer SFF RTX Spark | N1X | până la 128GB | - | |
✅ | ASUS ProArt P16 H7607 | N1X | 32-128GB | PD3.1, 140W | |
✅ | ASUS ProArt P14 H7407 | N1X | 32-128GB | PD3.1, 140W | |
❌ | ASUS ProArt GR1X | N1X | 64/128GB | USB-C EPR PD 3.1(180W); adaptor de 240W inclus | |
❌ | Dell Creator Edition Desktop | N1X | până la 128GB | - | |
✅ | Dell XPS 16 Creator Edition | N1X | 128GB | Power Delivery este specificat pentru trei porturi USB-C 4.0 | |
✅ | HP OmniBook Ultra 16, 16-bk0000 | N1X | 32-128GB | PD3.2 USB-C 140W | |
✅ | HP OmniBook X 14 | N1X | până la 128GB | USB PD 3.2; USB-C GaN adaptor 140W | |
✅ | Lenovo Yoga Pro 9n / Pro 9n 15 Gen 11 | N1X | 32-128GB | USB-C PD 3.0; USB-C adaptor 140W | |
✅ | Lenovo Yoga 9n 2-in-1 Gen 11 16" | N1X | 32-64GB | USB-C PD 3.0; USB-C adaptor 140W | |
✅ | Microsoft Surface Laptop Ultra | N1X | 24-128GB | USB PD 3.1, minimum 115W | |
❌ | Microsoft Surface RTX Spark Dev Box | N1X | 128GB | - | |
❌ | MSI EdgeMesa N AI+ | N1X | până la 128GB | USB-C PD IN; adaptor 240W | |
✅ | MSI Prestige N16 Flip AI+ | N1X | 32-128GB | PD3.1, 65W(20V3.25A)-140W(28V5A) |
Stații de lucru NVIDIA GB10 / DGX Spark
Model, cip și interval de memorie | Încărcare cu adaptor USB-C (PD) | Documentație și magazin |
|---|---|---|
Acer Veriton GN100 | GB10 | 128GB | Sursă USB-C inclusă de 240W | |
ASUS Ascent GX10 | GB10 | 64/128GB | PD3.1 EPR. Fișa tehnică indică o intrare de până la 180W; sursa inclusă este de 240W | |
CyberGeek DGX Spark Compact AI Workstation | GB10 |128GB | Adaptor de alimentare USB-C de 240W inclus; utilizați adaptorul furnizat | |
Dell Pro Precision with GB10 (anterior Dell Pro Max with GB10) | 64/128GB | Adaptorul de alimentare USB-C inclus FCM1253 280W, (profiluri de ieșire: 5V3A, 9V3A, 15V3A, 20V6.5A, 28V5.89A, 36V5.83A, 48V5.83A); Versiunea PD nu este specificată. În intervalul 20-48V, aceste profiluri PD folosesc intensități de curent nestandard! | |
GIGABYTE AI TOP ATOM | GB10 | 128GB | USB-C PD IN; adaptor de 240W inclus; puterea de intrare necesară, profilul de tensiune și versiunea PD nu sunt specificate. | |
HP ZGX Nano G1n AI | GB10 | 128GB | Intrare USB-C dedicată, sursă de 240W. | |
Lenovo ThinkStation PGX | GB10 | 128GB | Intrare USB-C dedicată cu USB PD 3.1; sursă de alimentare inclusă de 240W | |
MSI EdgeXpert AI | GB10 | 64/128GB | Sursă standard USB PD 3.1 240W, 48V5A | |
NVIDIA DGX Spark | GB10 | 128GB | USB-C PD3.1 240W standard | |
PNY NVIDIA DGX Spark | GB10 | 128GB | Sursă de alimentare inclusă, puterea și modul PD nu sunt indicate |
Laptopuri și stații de lucru cu Ryzen AI Max+ 395/495
Modelele Ryzen AI Max 385/390 și Ryzen AI Max PRO 485/490 cu GPU Radeon 8050S nu sunt incluse din cauza „învechirii” lor.
Laptop | Model, cip și interval de memorie | Încărcare cu adaptor USB-C (PD) | Documentație și magazin |
|---|---|---|---|
❌ | Acer Veriton RA110 | Max+ 395 | 64/128GB | - | |
❌ | AMD Ryzen AI Halo | Max+ 395 | 128GB | Intrare USB-C dedicată încărcării cu sursa standard | |
❌ | AMD Ryzen AI Halo | Max+ PRO 495 | 192GB de memorie unificată | Intrare de alimentare USB-C | |
❌ | ACEMAGIC F9A | Max+ PRO 495 | 192GB | - | |
✅ | ASUS ProArt PX13 HN7306 | Max+ 395 | 128GB | Suportă USB PD 45-100W | |
✅ | ASUS ROG Flow Z13 GZ302 | Max+ 395 în versiunea de vârf | 32-128GB | USB PD 3.0, 45-100W | |
❌ | Beelink GTR9 Pro | Max+ 395 | 128GB | - | |
❌ | CORSAIR AI Workstation 300 | Max+ 395 | 64/128GB | - | |
❌ | Framework Desktop | Max+ 395: 64/128GB, Max+ PRO 495: 192GB | - | |
❌ | GEEKOM A9 Mega | AMD Ryzen AI Max+ 395 | 128GB de memorie partajată | - | |
❌ | GMKtec EVO-X2 | Max+ 395 | 64-128GB | - | |
❌ | GMKtec EVO-X3 | Max+ 395 | 128GB | - | |
❌ | GMKtec EVO-X5 Pro | Ryzen AI Max+ PRO 495 | 192GB de memorie unificată | - | |
❌ | HP Z2 Mini G1a | Max+ PRO 395 în versiunea de vârf | 16-128GB | - | |
✅ | HP ZBook Ultra 14 G1a | Max+ PRO 395 în versiunea de vârf | 16-128GB | USB-C 140W | |
✅ | HP ZBook Ultra G3a 16 | Ryzen AI Max+ PRO 495 | până la 192GB de memorie unificată | Intrare USB-C; adaptor recomandat 180W, alternativă 140W | |
❌ | Lenovo ThinkCentre X Ultra | Ryzen AI Max+ PRO 495 | până la 128GB de memorie unificată | - | |
❌ | MINISFORUM MS-S1 MAX | Max+ 395 | 64/128GB | - | |
❌ | MINISFORUM MS-S1 MAX-P495 | Max+ PRO 495 | 192GB de memorie unificată | - | |
❌ | MINISFORUM N5 MAX-P495 | Max+ PRO 495 | 192GB | - | |
❌ | MSI PRO MAX EDGE AI+ 11M | Max+ 395 | 128GB | - |
Laptopuri și stații de lucru cu Apple Silicon: ultimele două generații
Pentru MacBook Pro, analizăm M5 Max și M4 Max cu GPU de 40 de nuclee și 128GB. Pentru Mac Studio, generația M5 Max / M5 Ultra și cea anterioară M4 Max / M3 Ultra. Apple a anunțat versiunea M3 Ultra de 512GB la lansare, însă pagina actuală de specificații indică maximum 256GB.
Laptop | Model, cip și interval de memorie | Încărcare cu adaptor USB-C (PD) | Documentație și magazin |
|---|---|---|---|
✅ | MacBook Pro 14" (2024) | M4 Max | 36-128GB; 128GB necesită GPU de 40 de nuclee | PD3.0 (<100W) | |
✅ | MacBook Pro 16" (2024) | M4 Max | 36-128GB; 128GB necesită GPU de 40 de nuclee | PD3.1 (140W) | |
✅ | MacBook Pro 14" | M5 Max | 36-128GB; 128GB necesită GPU de 40 de nuclee | PD3.0 (<100W) | |
✅ | MacBook Pro 16" | M5 Max | 36-128GB; 128GB necesită GPU de 40 de nuclee | PD3.1 (140W) | |
❌ | Mac Studio (2025) | M4 Max | 36-128GB; 128GB necesită GPU de 40 de nuclee | - | |
❌ | Mac Studio (2025) | M3 Ultra | 96-256GB în specificația actuală; 512GB la lansare | - | |
❌ | Mac Studio | M5 Ultra | 96/256/512GB; 512GB: livrări mai târziu în octombrie 2026 | - | |
❌ | Mac Studio | M5 Max | 36-128GB; 128GB necesită GPU de 40 de nuclee | - | Specificații | Amazon.com(36GB) |
MagSafe 3 la MacBook este un conector proprietar pe partea laptopului, care primește alimentarea de la un adaptor USB-C prin cablul corespunzător.
Cum asigurați alimentarea fiabilă a calculatorului
Verificați conținutul pachetului: unele configurații sunt vândute fără adaptor, mai ales în Europa; la altele acesta este inclus.
Pentru lucrul zilnic, timp de multe ore, cu un model AI local este necesară o sursă de alimentare fiabilă, capabilă să furnizeze puterea cerută pe termen lung, fără întreruperi.
Verificați tensiunea, curentul, protocolul și cablul admis în documentația mașinii concrete. Dacă producătorul cere o sursă proprietară sau un mod nestandard, prezența unui conector USB-C nu justifică înlocuirea cu orice încărcător puternic.
Dacă intenționați să conectați mai multe dispozitive la o sursă de alimentare cu mai multe porturi, verificați puterea unui singur port și redistribuirea acesteia la conectarea altor dispozitive.