IA personale: portatili, workstation e le loro capacità (parte 1)
Aggiornamento: 16 ott

L'arrivo di processori centrali ad alte prestazioni di NVIDIA, AMD e Apple Silicon, insieme a una grande quantità di memoria condivisa, ha reso l'IA locale accessibile in diversi formati: dai portatili alle workstation domestiche compatte. Questa nuova categoria di computer, progettata principalmente per eseguire modelli di IA in locale, viene talvolta chiamata anche «computer agentici».
Li accomuna un'architettura in cui il processore e l'acceleratore grafico integrato utilizzano lo stesso grande insieme di memoria ad alta velocità. Questo permette di mantenere un modello LLM grande e capace vicino alle unità di calcolo, senza trasferirne continuamente le parti attraverso un collegamento lento con una scheda grafica separata.
Il principale motivo pratico per eseguire l'IA in locale è poter lavorare con un repository di codice aziendale e con database senza inviare i dati a un servizio cloud per l'elaborazione. Per molti utenti e organizzazioni, il trattamento di informazioni riservate e dati personali nel cloud è escluso per principio. Allo stesso tempo, le possibilità offerte dall'intelligenza artificiale e i vantaggi del suo utilizzo sono ormai evidenti a tutti. Ignorarne l'impiego significa inevitabilmente perdere un vantaggio competitivo.
La soluzione in questa situazione è installare modelli LLM in locale. Per farlo non serve più un rack di server dedicato: un modello può essere eseguito persino su un portatile, purché sia basato su un'architettura specializzata. Rimane inoltre la possibilità di utilizzare sistemi operativi familiari come Windows 11, macOS e Ubuntu.
Un altro vantaggio dell'hosting locale di un LLM è l'assenza di costi per ogni richiesta all'API del fornitore di un modello cloud. In linea generale, il costo diretto di funzionamento è l'elettricità necessaria ad alimentare il computer. Va però considerato anche l'investimento nell'acquisto di un computer che servirà per diversi anni.
L'esecuzione locale del modello permette inoltre di lavorare senza internet e scegliere autonomamente un modello specializzato, il più adatto alle singole attività: programmazione, lavoro con agenti, traduzione, generazione di immagini, video, audio e così via.
Dove l'IA locale è utile nel lavoro quotidiano
Assistente per i documenti interni. Se disponete di una grande base di dati documentale, può essere opportuno costruire un sistema RAG, che prima trova i passaggi pertinenti nella base di conoscenza locale e poi li fornisce al modello LLM per rispondere con riferimenti ai documenti. Un LLM può cercare parole chiave nella documentazione, ma se lavorare con archivi di documenti è l'attività principale, un RAG può rendere la ricerca più precisa ed efficiente, perché si tratta di un database vettoriale.
Lavoro con il codice sorgente. Il modello aiuta a spiegare parti del progetto, proporre modifiche, scrivere codice ed eseguire test. I migliori modelli di Anthropic o OpenAI daranno risultati migliori, ma sono soluzioni cloud non accessibili a tutti, non sempre utilizzabili per ragioni di riservatezza e potenzialmente molto costose. Se il vostro ambiente di lavoro ne consente l'uso, potete distribuire il carico: delegare le operazioni di routine ai modelli locali e affidare la revisione finale e l'architettura ai migliori modelli cloud.
Esecuzione di test e operazioni di routine in background, di notte. Il vostro team può avere attività ricorrenti da avviare secondo uno scenario, un evento o un calendario e che richiedono strumenti: estrazione e analisi dei log, test delle release, ricerca di nuovi documenti sia nelle fonti locali sia su internet.
Assistente condiviso per un piccolo team. Una workstation compatta può essere collocata in ufficio, con accesso al modello locale da più computer. NVIDIA PAIR può distribuire richieste indipendenti di Ollama o LM Studio tra i sistemi compatibili collegati.
Generazione di immagini. Per un computer con 128GB di memoria, vale la pena considerare FLUX.1-dev per le immagini: l'insieme scelto di pesi di Diffusers, con gli encoder di testo e il VAE, occupa circa 33.74GB. NVIDIA pubblica istruzioni per l'esecuzione tramite ComfyUI su DGX Spark.
Generazione di video. Un esempio di modello locale per questo caso d'uso è Wan2.2-T2V-A14B: l'insieme originale con due esperti in FP32, encoder di testo e VAE occupa circa 126.18GB. Il suo esempio ufficiale per 720p richiede almeno 80GB.
Sintesi vocale. Per generare parlato in lingue diverse si può utilizzare Qwen3-TTS-12Hz-1.7B-CustomVoice insieme al tokenizer vocale; i file dei pesi occupano circa 4.52GB. Un'alternativa più grande è MOSS-TTS-v1.5 con 8B parametri: 31 lingue, clonazione della voce da un campione, registrazioni lunghe, controllo della durata, della pronuncia tramite IPA e delle pause. I pesi principali occupano circa 16.98GB, mentre il componente obbligatorio MOSS-Audio-Tokenizer - altri 7.10GB, per un totale di circa 24.08GB. La licenza Apache 2.0 consente l'uso commerciale. Si tratta di un insieme di funzioni più ampio, non della prova di una resa migliore con qualsiasi testo.
Riconoscimento vocale. Per trascrivere in locale riunioni, interviste e note vocali è adatto Qwen3-ASR-1.7B: il modello supporta 30 lingue, incluso il russo, rilevamento automatico della lingua e riconoscimento in streaming. I file dei pesi BF16 occupano circa 4.70GB. Per i timestamp delle parole si utilizza inoltre Qwen3-ForcedAligner-0.6B con circa 1.84GB di pesi. Entrambi i modelli sono disponibili sotto Apache 2.0. Il consumo di memoria durante l'esecuzione supera la dimensione dei file e dipende dai buffer e dai flussi paralleli.
Perché una grande quantità di memoria condivisa è così importante?
Anche un normale PC con GPU dedicata può essere un'ottima macchina per l'IA locale. Finché il modello scelto entra interamente nella VRAM e rimane un margine per la cache KV e i buffer di lavoro, l'acceleratore può elaborare le richieste molto rapidamente. Sarebbe quindi poco corretto considerare inadatti all'IA tutti i computer con una scheda grafica separata.
Il limite emerge quando un modello grande (e sono proprio i modelli grandi i più preziosi e necessari per l'uso professionale) non trova più spazio nella memoria video. Il programma segnala una carenza di memoria video (VRAM), trasferisce parte del lavoro alla CPU e alla RAM di sistema oppure carica i pesi dalla RAM o da un SSD. Questi trasferimenti e l'archiviazione più lenta possono aumentare drasticamente la latenza, fino a renderla inaccettabile per un assistente interattivo. Non esiste un fattore unico di rallentamento: contano il programma di esecuzione, la quota di pesi scaricati, il modello e l'hardware. In pratica, però, l'uso congiunto di VRAM e RAM può ridurre le prestazioni di 5-10 volte, senza considerare i casi che utilizzano SSD.
Le soluzioni basate su NVIDIA RTX/DGX Spark, AMD Ryzen AI Max e Apple Silicon Max/Ultra hanno un'impostazione diversa: una grande quantità di memoria condivisa è accessibile all'acceleratore grafico nell'ambito dell'architettura supportata. La memoria è saldata sulla scheda (generalmente di tipo LPDDR5X) ed è molto più veloce della normale DDR4/DDR5 di sistema, ma più lenta della memoria GDDR5 delle schede grafiche e della HBM3 degli acceleratori AI. Questa architettura amplia le possibilità di caricare e utilizzare modelli grandi.
In questo articolo una capacità di memoria di 128GB o più è scelta come riferimento che permette, nella pratica, di lavorare con modelli grandi capaci di svolgere compiti per i quali gli utenti ricorrono solitamente a modelli cloud tramite API o abbonamento. Per modelli piccoli e molto specializzati o per esperimenti con modelli fortemente quantizzati e distillati e una finestra di contesto limitata può bastare meno memoria.
Grandi capacità di memoria offrono anche margine per comprimere meno i pesi (e quindi preservare meglio la qualità del modello originale) e permettono di lavorare con una finestra di contesto più ampia.
Come viene utilizzata la memoria condivisa nelle piattaforme AMD, NVIDIA e Apple Silicon
Il termine unified memory assume significati diversi sulle varie piattaforme. Per le LLM locali occorre distinguere la memoria CPU/GPU fisicamente separata, un pool fisico comune con una riserva per la GPU e la memoria condivisa completamente dinamica.
Schede grafiche dedicate NVIDIA GeForce RTX e RTX PRO
Nelle soluzioni con NVIDIA RTX dedicate, la CPU utilizza la RAM DDR di sistema e la GPU la propria VRAM GDDR. CUDA consente di accedere alla memoria di sistema dopo il riempimento della VRAM o di trasferire parte del lavoro alla CPU, ma gli scambi tramite PCIe hanno una larghezza di banda inferiore e una latenza maggiore.
La VRAM fisica resta quindi la principale memoria veloce della GPU per le LLM. Se il runtime lo supporta, la RAM di sistema può contenere parte dei pesi, della cache KV e di altri dati, ma superare la capacità della VRAM solitamente riduce sensibilmente le prestazioni.
AMD Ryzen AI Max
In Ryzen AI Max, CPU, GPU e NPU utilizzano un unico pool fisico LPDDR5X, ma in Windows Variable Graphics Memory (VGM) permette di riservarne una parte alla GPU integrata. Il sistema riconosce questa regione come dedicated graphics memory; la CPU non può più usarla come normale RAM.
Ad esempio, Ryzen AI Max 395 permette fino a 48GB di VGM in un sistema da 64GB e fino a 96GB in un sistema da 128GB. Con il nuovo Ryzen AI Max+ PRO 495 e i suoi 192GB di memoria condivisa, alla GPU si possono assegnare fino a 160GB.
La memoria restante rimane RAM per la CPU e il sistema operativo, ma una parte può ancora essere accessibile alla GPU come shared graphics memory (ad esempio per la cache KV). Per un sistema da 128GB con 96GB di VGM, AMD indica fino a 112GB di memoria totale indirizzabile dalla GPU. Secondo AMD, le prestazioni massime si ottengono quando il carico GPU rientra direttamente nella VGM.
NVIDIA DGX Spark
La CPU Grace e la GPU Blackwell integrata di DGX Spark utilizzano un pool comune LPDDR5X. In DGX OS, questo non viene suddiviso in anticipo in grandi regioni fisse di RAM CPU e VRAM GPU. NVIDIA descrive questa UMA come un'architettura senza una riserva fissa, o fixed carve-out: CPU e GPU utilizzano dinamicamente la stessa memoria fisica.
Un DGX Spark da 128GB non ha una divisione fissa come i 96GB di VGM + 32GB di RAM di sistema di AMD.
Modello, cache KV, buffer GPU, applicazioni e sistema operativo utilizzano un solo pool. Un'applicazione CUDA può accedere a buona parte della memoria libera; con l'aumentare del carico AI, Linux può liberare la page cache e altre pagine.
Non tutti i 128GB sono garantiti ai pesi del modello: anche sistema operativo, runtime, cache KV e altri processi richiedono memoria. L'attuale DGX OS ha una regione separata da 2GB o 4GB per il display, ma non equivale alla grande riserva VGM di AMD.
NVIDIA RTX Spark N1X
Per la distribuzione della memoria sotto Windows, RTX Spark N1X è simile ad AMD Ryzen AI Max. La CPU e la GPU Blackwell RTX utilizzano un pool fisico condiviso di LPDDR5X fino a 128GB. La coerenza è mantenuta per la memoria accessibile a entrambi i processori. NVIDIA propone la configurazione superiore per l'esecuzione locale di modelli fino a 120B.
Come per AMD Ryzen AI Max sotto Windows, il pool fisico condiviso di N1X si divide in tre regioni logiche:
Unified physical memory =
+Dedicated GPU memory
+Shared system memory (CPU and GPU)
+CPU-only system memory
In CUDA, i dati utilizzati principalmente dalla GPU vengono inizialmente collocati nella regione dedicated e, una volta riempita, il driver può allocare memoria nella regione shared senza trasferimenti PCIe verso RAM fisicamente separata, caratteristici di una RTX dedicata. Entrambe le regioni si trovano nella stessa LPDDR5X. NVIDIA avverte che la regione shared usa pagine più piccole, quindi l'accesso può essere più lento. Per i pesi del modello e i buffer intermedi sono consigliate le GPU-exclusive allocations.
La differenza fondamentale qui è tra le piattaforme Windows con una riserva GPU e DGX Spark sotto Linux:
DGX Spark su Linux usa un pool CPU/GPU condiviso dinamico senza una grande riserva fissa;
AMD Ryzen AI Max e RTX Spark N1X sotto Windows utilizzano una regione GPU dedicata, shared CPU/GPU memory e la memoria di sistema restante;
la shared memory estende la memoria indirizzabile dalla GPU oltre la regione dedicated, ma il suo utilizzo dipende dallo stack software e dal budget disponibile;
non tutta la RAM installata è garantita al modello: parte della memoria non è disponibile per le allocazioni GPU e anche il sistema operativo e gli altri processi richiedono risorse.
In base allo schema generale di distribuzione della memoria, RTX Spark N1X e AMD Ryzen AI Max sotto Windows appartengono allo stesso gruppo: la regione dedicated è riservata alla GPU, la regione shared è accessibile alla CPU e alla GPU, e il resto solo alla CPU. Le regole specifiche differiscono: NVIDIA definisce la regione shared entro il 50-80% della memoria rimasta dopo il carveout, mentre AMD descrive un'assegnazione tipica del 50% della RAM restante alla shared graphics memory. Questo non giustifica considerare N1X un'architettura intermedia tra AMD e DGX Spark.
Apple Silicon
Apple Silicon usa un pool fisico CPU/GPU condiviso senza assegnare in anticipo una VRAM fissa. Apple definisce una unified-memory GPU come una GPU che condivide tutta la propria memoria con la CPU: entrambi i processori lavorano sugli stessi dati senza copie tra RAM e VRAM separata tramite PCIe.
Pesi delle LLM, cache KV e altre strutture occupano unified memory senza una divisione preventiva, ad esempio in 96GB per GPU e 32GB per CPU. La capacità realmente disponibile al modello è inferiore a quella installata: macOS, runtime, applicazioni e buffer GPU utilizzano lo stesso pool.
La differenza principale è il modo in cui viene distribuito il pool fisico condiviso. DGX Spark sotto Linux e Apple Silicon non richiedono una grande riserva GPU preliminare. AMD Ryzen AI Max e RTX Spark N1X sotto Windows utilizzano una regione GPU dedicata e memoria CPU/GPU condivisa. Le loro regole, i driver e le interfacce software differiscono, ma lo schema di distribuzione di base è simile. In ogni caso occorre considerare la memoria per il sistema operativo, le applicazioni e i buffer; la RAM totale non equivale alla capacità disponibile per i pesi degli LLM.
Cluster: 512GB con NVIDIA e 768GB con AMD
Con DGX Spark su GB10, ogni macchina di fascia superiore contiene 128GB. Quattro macchine totalizzano 512GB. NVIDIA Sync supporta la configurazione di questo cluster; per quattro nodi serve uno switch di rete QSFP appropriato, mentre un collegamento diretto è adatto a configurazioni più piccole.
Anche AMD offre un percorso per l'esecuzione distribuita: l'azienda pubblica un esempio con quattro nodi e llama.cpp RPC. Inoltre, Framework dichiara il collegamento di quattro Desktop con Ryzen AI Max+ PRO 495 e 192GB per nodo, fino a 768GB complessivi.
In entrambi i casi, la somma della memoria non diventa automaticamente uno spazio di indirizzamento unico. Il programma orchestratore deve distribuire il modello tra i nodi; la velocità dipende dalla rete e dal metodo di parallelizzazione.
Un cluster può essere configurato per ospitare un modello grande, accelerare una singola richiesta o aumentare le prestazioni complessive del servizio. A questo scopo si usano diverse strategie di distribuzione:
Tensor parallel: i nodi calcolano contemporaneamente parti delle matrici degli stessi strati. Elaborano insieme la richiesta, ma si scambiano spesso i risultati.
Expert parallel: gli esperti MoE sono collocati su nodi diversi e i token vengono inviati agli esperti necessari. La parallelizzazione può aiutare, ma lo scambio di dati e il carico sbilanciato possono annullare il vantaggio.
Pipeline parallel: i gruppi di strati sono suddivisi in fasi consecutive. Un token le attraversa in ordine; più richieste o microbatch possono occupare fasi diverse contemporaneamente. Sono possibili tempi morti della pipeline, ma è uno scenario efficiente con un grande flusso di attività sequenziali.
Data parallel: copie diverse del modello servono richieste indipendenti. Questo aumenta la capacità complessiva del servizio se c'è memoria sufficiente per le copie, ma non accelera automaticamente una singola richiesta.
Le modalità possono essere combinate, per esempio tensor + pipeline o tensor + expert, se il programma scelto lo supporta. La presenza di quattro nodi non garantisce un'accelerazione: contano rete, sincronizzazione, dimensione del batch e bilanciamento del carico. NVIDIA spiega separatamentecome scegliere la suddivisione del modello in base all'hardware.
Per DGX Spark esiste una ricetta ufficiale vLLM a due nodi: Qwen3.8-27B NVFP4, tensor parallel su due nodi e raggruppamento continuo di più richieste in un batch. Questo esempio mostra che il calcolo condiviso del modello può anche servire a richieste parallele.
Confronto tra prestazioni GPU e velocità della memoria
Per i grandi LLM locali su Ryzen AI Max, la GPU integrata Radeon 8060S/8065S sostiene il carico di calcolo principale. I 50/55TOPS dichiarati per la NPU possono essere ignorati in questo confronto: nel normale scenario GGUF di llama.cpp si usa l'iGPU, non la NPU. Metodi specializzati per eseguire LLM sulla NPU esistono, ma si tratta di uno stack software separato con requisiti propri. Per questo i 126/131TOPS complessivi di CPU + GPU + NPU non indicano la velocità di esecuzione di un grande LLM.
Per AMD un riferimento più utile è la prestazione di Radeon in FP16: circa 45.9TFLOPS per la 8050S (picco calcolato), fino a 60TFLOPS per la 8060S e fino a 61TFLOPS per la 8065S. Calcolo per la 8050S: 32 CU × 512 operazioni FP16 per ciclo × 2.8GHz = 45.8752TFLOPS; la velocità effettiva degli LLM dipende dal carico di lavoro.
Il dato commerciale di DGX Spark di 1PFLOP FP4 è anch'esso reale, ma descrive una modalità speciale con sparsità 2:4 per la precisione specifica FP4. Senza di essa il limite calcolato è di circa 500TFLOPS FP4. Nessuno di questi numeri costituisce una previsione diretta della velocità di risposta o una base adeguata per confrontare le prestazioni reali.
Per i modelli locali più comuni in llama.cpp, LM Studio e Ollama è più pratico confrontare la capacità di calcolo in FP16/BF16, considerando le caratteristiche dell'implementazione. FP4 (dove NVIDIA DGX offre prestazioni enormi) richiede un modello preparato e un programma che utilizzi davvero questa modalità.
Piattaforme e larghezza di banda della memoria
Chip nella configurazione superiore | CPU e GPU | Memoria e velocità | Fonte |
NVIDIA RTX Spark N1X | CPU 20 core; GPU 6144 core CUDA | Fino a 128GB di memoria condivisa; 300GB/s, bus a 256 bit secondo la documentazione NVIDIA | |
NVIDIA GB10 Grace Blackwell | CPU 20 core; GPU Blackwell | 128GB LPDDR5X; 273GB/s | |
Ryzen AI Max (PRO) 385/390 | CPU con 8/12 core; Radeon 8050S, 32 CU | Fino a 128GB LPDDR5X 8000MT/s, bus a 256 bit (calcolo: 256GB/s) | |
Ryzen AI Max PRO 485/490 | CPU con 8/12 core; Radeon 8050S, 32 CU | Fino a 192GB LPDDR5X 8533MT/s, bus a 256 bit (calcolo: 273.1GB/s) | |
Ryzen AI Max+ / PRO 395 | CPU 16 core; Radeon 8060S, 40 CU | 128GB; su Framework LPDDR5X 8000MT/s, 256 bit (calcolo: 256GB/s) | |
Ryzen AI Max+ PRO 495 | CPU 16 core; Radeon 8065S, 40 CU | 192GB su Framework; LPDDR5X 8533MT/s, 256 bit (calcolo: 273.1GB/s) | |
Apple M4 Max | CPU con 16 core, GPU con 40 core, NPU con 16 core | 128GB; 546GB/s | |
Apple M3 Ultra | CPU con 32 core, GPU con 80 core, NPU con 32 core | Fino a 512GB al lancio; 819GB/s | |
Apple M5 Max | CPU con 18 core, GPU con 40 core, NPU con 16 core | 128GB; 614GB/s | |
Apple M5 Ultra | CPU con 36 core, GPU con 80 core, NPU con 32 core | Fino a 512GB; 1.2TB/s |
Prestazioni di calcolo della GPU
GPU | Architettura | FP16/BF16 dense | FP8 dense | FP4 dense |
|---|---|---|---|---|
Apple M4 Max, 40 core GPU | Apple GPU M4 | Non divulgato* | Non divulgato | Non divulgato |
Apple M3 Ultra, 80 core GPU | Apple GPU M3 | Non divulgato* | Non divulgato | Non divulgato |
Apple M5 Max, 40 core GPU | GPU + Neural Accelerators | Non divulgato* | Non divulgato | Non divulgato |
Apple M5 Ultra, 80 core GPU | GPU + Neural Accelerators | Non divulgato* | Non divulgato | Non divulgato |
Radeon 8050S / Ryzen AI Max (PRO) 385/390, Max PRO 485/490 | RDNA 3.5 | ~45.9 (FP16, calcolato) | Nessuna modalità nativa | Nessuna modalità nativa |
Radeon 8060S / Ryzen AI Max+ 395 | RDNA 3.5 | Fino a 60 (FP16) | Nessuna modalità nativa | Nessuna modalità nativa |
Radeon 8065S / Ryzen AI Max+ PRO 495 | RDNA 3.5 | Fino a 61 (FP16) | Nessuna modalità nativa | Nessuna modalità nativa |
Radeon RX 7900 XTX | RDNA 3 | 123 (FP16) | Nessuna modalità nativa | Nessuna modalità nativa |
Radeon RX 9070 XT | RDNA 4 | 195 (FP16) | 389 | Nessuna modalità nativa |
GeForce RTX 4070 | Ada | 58.3 | 116.6 | Nessuna modalità nativa |
GeForce RTX 4080 | Ada | 97.5 | 194.9 | Nessuna modalità nativa |
GeForce RTX 4090 | Ada | 165.2 | 330.3 | Nessuna modalità nativa |
DGX Spark / GB10 | Blackwell | ~121 (test)** | ~241 (test)** | ~500 (calcolo)** |
GeForce RTX 5070 | Blackwell | 61.7 | 123.5 | 493.9 |
GeForce RTX 5080 | Blackwell | 112.6 | 225.1 | 900.4 |
GeForce RTX 5090 | Blackwell | 209.5 | 419 | 1676 |
Tutti i valori numerici della tabella sono espressi in TFLOPS senza accelerazione dovuta alla sparsità 2:4 (dense). Per GeForce RTX 40/50 sono indicate le prestazioni matriciali dei Tensor Core con accumulo in FP32. Per Radeon sono riportati i valori ufficiali FP16/FP8 Matrix. «Nessuna modalità nativa» indica l'assenza di una modalità matriciale nativa con quella precisione, non l'impossibilità di eseguire un modello quantizzato. INT4 e FP4 sono formati diversi: i 779TOPS INT4 di RX 9070 XT non possono essere indicati come TFLOPS FP4.
* Per Apple, le stime shader FP16 e le prestazioni delle unità matriciali specializzate sono indicatori diversi, quindi mescolarli in un'unica classifica numerica è scorretto. Le fonti citate non pubblicano una tabella ufficiale comparabile per precisione. M5 Max e M5 Ultra hanno un Neural Accelerator in ogni core GPU, quindi le vecchie stime degli shader non riflettono tutto il loro potenziale AI.
** Per GB10, ~121TFLOPS FP16/BF16 e ~241TFLOPS FP8 sono risultati di uno specifico test cooperative-matrix, non i picchi ufficiali delle specifiche NVIDIA. Il risultato dipende dal test e dallo stack software. ~500TFLOPS FP4 è un calcolo ricavato dal 1PFLOP dichiarato con accelerazione doppia dovuta alla sparsità; la sparsità non compare da sola in un modello normale.
FP16/BF16 è un riferimento della potenza di calcolo, non una classifica di token al secondo. La velocità reale dipende dalla larghezza di banda della memoria, dalla dimensione del contesto, dal numero di richieste elaborate contemporaneamente e dall'implementazione delle operazioni. Per scegliere un computer è più utile eseguire lo stesso test con lo stesso modello, quantizzazione e contesto, come nel confronto seguente.
È importante distinguere la quantizzazione dei pesi del modello dalla precisione dei calcoli. GGUF Q4_K_M, IQ4_XS e Q5_K_M memorizzano i pesi in circa 4-5 bit, ma non attivano automaticamente i calcoli FP4. Il programma decomprime i pesi e utilizza le operazioni FP16/BF16, intere o miste supportate. Un modello Q4 funziona quindi anche su RTX 4090 o Radeon 8060S: il risparmio di memoria rimane anche senza FP4 nativo.
Il FP4 nativo di Blackwell richiede una versione preparata e un motore compatibile, ad esempio NVFP4 W4A4: sia i pesi (W4) sia i valori intermedi (A4) vengono convertiti in 4 bit. NVIDIA lo dimostra: la sola compressione dei pesi W4A16 non basta ad attivare i Tensor Core FP4 nello stack esaminato. W4A4 può ridurre la qualità; la calibrazione e l'addestramento consapevole della quantizzazione aiutano a ripristinarla, ma il risultato va verificato per il modello e il compito specifici.
RTX Spark N1X e GB10 hanno architetture simili: nelle versioni superiori entrambi hanno 20 core Arm di CPU e una GPU Blackwell con 6144 core CUDA. Tuttavia, le specifiche ufficiali di RTX Spark distinguono il N1X per portatili con TDP di 45-80W dal modello desktop con TDP del processore di 140W; anche GB10 ha un TDP di 140W. Esiste inoltre un N1X per portatili di fascia inferiore con 18 core CPU e 5120 core CUDA. Fate attenzione alla versione del processore.
Per la memoria, NVIDIA indica 300GB/s per N1X, mentre per GB10 indica 273GB/s.
N1X è progettato per Windows on Arm; DGX Spark usa Linux.
Nelle fonti verificate non è stato trovato un test comparativo di N1X e GB10 con lo stesso modello, quantizzazione e contesto. Si può quindi soltanto supporre che i risultati del N1X desktop siano comparabili a quelli di GB10.
Per AMD esistono misurazioni dirette: Tom's Hardware ha confrontato Ryzen AI Halo con Max+ 395 e Dell Pro Max con GB10 in llama.cpp trámite llama-benchy. La tabella riporta i risultati con una profondità di contesto di 8192 token, un input di 2048 e una risposta di 256 token; l'autore ha usato GGUF Unsloth Q4_K_M. La macchina AMD aveva 128GB LPDDR5X-8000 e un TDP nominale di 120W. TTFT è la latenza fino al primo token; nella generazione, più token al secondo significano una risposta più rapida.
Modello di test | AMD 395: TTFT | GB10: TTFT | AMD 395: generazione | GB10: generazione |
Qwen3.6-35B-A3B | 11.4s | 5.0s | 43.8 token/s | 58.9 token/s |
gpt-oss-120B | 26.0s | 5.9s | 46.4 token/s | 50.7 token/s |
In questi due test, GB10 vince sia nel TTFT sia nella velocità di generazione. L'autore osserva che la memorizzazione dell'input nella cache può ridurre la differenza di TTFT.
La velocità dell'intera attività dell'agente può dare un risultato diverso. Nel test HEPA condotto da AMD entrambe le macchine eseguivano Qwen3.6-35B-A3B in formato a 4 bit e preparavano una presentazione a partire dagli stessi documenti locali. AMD Halo ha concluso in 311.6s, DGX Spark in 367.1s, anche se la singola fase GPU era più veloce su Spark: 137.2s contro 159.5s. Sette delle otto fasi erano eseguite sulla CPU. È l'esempio di uno specifico test del produttore: per un agente conviene misurare anche il tempo fino al risultato finale, includendo ricerca, elaborazione dei documenti e verifica della risposta.
Che cosa conta di più per la velocità: memoria o unità di calcolo?
Durante la generazione della risposta, un modello denso, per esempio Qwen3.8-27B, usa tutti i suoi strati e pesi. Con una o poche richieste, l'acceleratore spesso attende la lettura dei dati: la larghezza di banda della memoria è quindi importante, perché influisce sulla velocità con cui compaiono i token successivi.
Durante il prefill, il computer elabora il testo in ingresso e crea la cache KV; un input lungo offre più possibilità di calcolo matriciale parallelo. In questa fase di prefill, unità di calcolo potenti possono ridurre l'attesa del primo token. L'effetto dei grandi batch di richieste e la previsione sono analizzati in un articolo separato di NVIDIA.
Per un agente che riceve ripetutamente un contesto e restituisce una risposta breve o una chiamata a uno strumento, il prefill può occupare una parte significativa dell'attesa. Inoltre, i modelli MoE citati, Qwen3.8-Flash-Next e GLM-5.3-Flash, utilizzano soltanto gli esperti selezionati, riducendo il requisito di velocità della memoria rispetto ai modelli densi, anche se rimane un fattore importante delle prestazioni complessive.
Lo sviluppatore EXO ha misurato lo stesso Llama-3.1 8B FP16: input di 8192 token, risposta di 32 token. Su DGX Spark il prefill ha richiesto 1.47s, la generazione 2.87s, per un totale di 4.34s; su M3 Ultra Mac Studio, 5.57s, 0.85s e 6.42s. In questo test Spark ha vinto nell'elaborazione dell'input, Mac nella generazione.
Cos'altro considerare nella scelta dell'architettura del computer
Tutte le architetture esaminate consentono di eseguire LLM in locale. Tuttavia, software disponibile, metodi di accelerazione e strumenti di fine-tuning differiscono, quindi il compito specifico può determinare la scelta finale.
Per esempio, se serve un server per più utenti, NVIDIA offre TensorRT-LLM: un motore specializzato con ottimizzazioni per le sue GPU, elaborazione congiunta delle richieste e distribuzione del modello tra acceleratori. È progettato per NVIDIA, quindi una soluzione pronta basata su questo motore non si può semplicemente trasferire su AMD o Apple: serviranno un altro motore e una nuova configurazione. L'accesso a questi software specializzati e a progetti CUDA pronti è un vantaggio pratico di NVIDIA. Funzionalità di TensorRT-LLM.
Per adattare un modello ai propri documenti, allo stile delle risposte o alle attività lavorative, contano di più gli strumenti di fine-tuning. Su Mac si può usare MLX LM, che supporta LoRA e QLoRA per addestrare adattatori aggiuntivi con meno memoria rispetto al fine-tuning completo del modello. Sull'hardware NVIDIA e AMD supportato è disponibile Unsloth, incluso Unsloth Studio con interfaccia nel browser: permette di scegliere modello, dati e parametri di addestramento, quindi seguire i risultati. Il fine-tuning in sé non impone quindi NVIDIA, ma il programma scelto e le sue funzionalità possono influire sull'acquisto. MLX LM, Unsloth su AMD.
Se serve solo eseguire un modello già pronto tramite LM Studio o Ollama, lo stack software di solito limita meno la scelta dell'architettura. Se invece il computer viene acquistato per un particolare flusso di addestramento, un server o un progetto IA già pronto, conviene scegliere prima i programmi necessari: i loro componenti CUDA, ROCm e Metal richiedono spesso build diverse e non si sostituiscono automaticamente.
Continuazione dell'articolo.
Nella seconda parte di questo articolo scoprirete: quali modelli LLM possono essere ospitati interamente nella memoria del computer e cosa possono fare. Confronteremo poi portatili e workstation disponibili con architetture diverse, proposti dai produttori per lavorare con LLM locali.
