Persönliche KI: Laptops, Workstations und ihre Möglichkeiten (Teil 2)
Aktualisiert: vor 7 Tagen
Im ersten Teil dieses Artikels haben wir die Aufgaben für lokale LLM und geeignete Computerarchitekturen untersucht, ihre Leistung verglichen und erklärt, wie Prozessor und Speicher die Geschwindigkeit beeinflussen.
Im zweiten Teil betrachten wir, welche LLM-Modelle vollständig in den Speicher eines Computers passen und was sie leisten können. Anschließend vergleichen wir fertige Laptops und Workstations verschiedener Architekturen, die Hersteller für die Arbeit mit lokalen LLM anbieten.
Welche LLM-Modelle für Computer mit 32-768GB Speicher geeignet sind
Werbeversprechen zum Betrieb von Modellen mit Hunderten Milliarden Parametern sollten zusammen mit den Bedingungen gelesen werden: AMD bewirbt 300B auf Ryzen AI Halo mit 192GB Speicher, allerdings bei 4-Bit-Quantisierung. Das entspricht ungefähr 150GB allein für die Gewichte ohne zusätzlichen Speicherbedarf, während die vollständige BF16/FP16-Version 4-mal so viel Speicher benötigt: 600GB! Noch anschaulicher ist das Beispiel von Framework: Für einen Computer mit 64GB empfiehlt das Unternehmen Qwen3.5-122B-A10B mit 3-Bit-Quantisierung Q3_K_S und nennt einen Speicherbedarf von 52.5GB, während allein die BF16/FP16-Gewichte etwa 244GB benötigen würden. Betrachten Sie solche Versprechen kritisch, denn aggressive Quantisierung auf 2-3 Bit kann Antworten und Verhalten des Modells deutlich verschlechtern.
Der Artikel konzentriert sich auf Computer mit mindestens 128GB Speicher für die professionelle Arbeit mit großen Modellen, die bei vielen Arbeitsaufgaben Cloudlösungen ersetzen können. Für einfachere Programmieraufgaben genügt aber auch ein Computer mit weniger Speicher. Deshalb enthält der Vergleich auch das Dense-Modell Qwen3.8-27B.
Als wichtigste Orientierung für Systeme mit 128GB+ dienen moderne offene MoE-Modelle Qwen3.8-Flash-Next und GLM-5.3-Flash. Qwen3.8 Flash ist eine Cloudversion, Flash-Next dagegen eine offene Version für den lokalen Betrieb.
Bei der Verarbeitung jedes Tokens verwendet ein MoE-Modell nur einen Teil seiner Parameter, was den Rechenaufwand verringert. Dennoch muss der gesamte Satz von Gewichten in den Speicher passen, weshalb eine große Kapazität wichtig bleibt.
Die Quantisierung von Gewichten und KV-Cache verringert deren Größe durch eine kompaktere Zahlendarstellung. Ihr Einfluss auf die Qualität hängt von Modell, Aufgabe und Kompressionsgrad ab: Q4 kann für die Arbeit ausreichend sein, während Q8 qualitativ oft nahe am ursprünglichen Modell liegt. Unten sind konkrete veröffentlichte GGUF-Versionen und die Gesamtgröße aller Gewichtsdateien jeder Version angegeben.
Modelle für den lokalen Betrieb finden Sie auf Hugging Face, wo ursprüngliche Gewichte, Anleitungen und fertige quantisierte Versionen veröffentlicht werden. Prüfen Sie vor dem Herunterladen Autor, Lizenz, Dateigröße und Kompatibilität mit dem gewählten Programm: llama.cpp benötigt üblicherweise das Format GGUF, MLX auf einem Mac dagegen eine kompatible MLX-Version. Sie können Modelle auch direkt in LM Studio suchen und herunterladen oder ein fertiges Paket aus der Ollama-Bibliothek auswählen.
Beachten Sie, dass die Größe der Gewichtsdateien eines Modells nicht dem gesamten Speicherbedarf entspricht: Für Betriebssystem, Arbeitsbuffer und KV-Cache ist eine Reserve nötig; die Größe des KV-Caches hängt von der Kontextlänge ab.
Wenn ein Computer oder Cluster ausreichend freien Speicher hat, können mehrere Kopien desselben Modells oder unterschiedliche Modelle für die gleichzeitige Nutzung geladen werden.
Unter Windows und Linux eignen sich für den Einstieg LM Studio mit grafischer Oberfläche oder Ollama; für flexiblere Einstellungen und eine lokale API bietet sich llama.cpp an. Auf Macs mit Apple Silicon stehen dieselben Werkzeuge sowie MLX LM zur Verfügung, das für diese Plattform entwickelt wurde; die GPU-Beschleunigung erfolgt über Metal. Auf DGX Spark mit DGX OS, einem Linux auf Ubuntu-Basis, lassen sich CUDA-Builds von llama.cpp ausführen. Für mehrere Anfragen eignet sich vLLM nach den fertigen Anleitungen von NVIDIA; der Build oder Container muss ARM64 und die GB10-GPU unterstützen.
Speicher | Auswahlbedingungen | |||
|---|---|---|---|---|
32GB | Q4 + Reserve passen nicht | Q4 + Reserve passen nicht | Qwen27B: 32K Kontext passt; 64K ist grenzwertig; 128K+ passen nicht. | |
64GB | Q4 + Reserve passen nicht | Q4 + Reserve passen nicht | Qwen27B: Bis zu 256K Kontext passt. | |
128GB | Q4 + Reserve passen nicht | Qwen27B: bis zu 256K. Flash-Next: 32K/64K passen; 128K ist grenzwertig. | ||
192GB | Q4 + Reserve passen nicht | Qwen27B und Flash-Next: bis zu 256K. | ||
256GB | Bis zu 256K Kontext passen. | |||
512GB | Kontext bis zu 256K. Ein Cluster aus 4 Knoten benötigt zusätzlich 36GB für Qwen27B, 60GB für Flash-Next und 72GB für GLM Flash: Betriebssystem und Buffer werden auf jedem Knoten benötigt. | |||
768GB | Kontext bis zu 256K. Ein Cluster aus 4 Knoten benötigt zusätzlich 36GB für Qwen27B, 60GB für Flash-Next und 72GB für GLM Flash: Betriebssystem und Buffer werden auf jedem Knoten benötigt. |
Modellvergleich anhand identischer Testversionen
Die folgenden Werte sind Prozentangaben aus Veröffentlichungen der Entwickler der ursprünglichen Versionen, keine Ergebnisse der ausgewählten quantisierten GGUF-Versionen.
Die Ergebnisse hängen auch von der Agentenumgebung (harness) und den Einstellungen ab: Identische Testversionen bedeuten noch keine identischen Bedingungen. Beispielsweise wurde Qwen3.8-27B in SWE-bench Pro und DeepSWE 1.1 mit der Agentenumgebung Claude Code und einem Kontext von 256K getestet.
Neben offenen Modellen enthält die Tabelle zur Orientierung auch Benchmark-Werte bekannter Cloud-Modelle.
Einige beliebte Benchmarks:
SWE-bench Pro und DeepSWE zeigen die Arbeit mit Code;
Terminal-Bench 2.1 zeigt agentische Aufgaben mit autonomer Ausführung;
GPQA Diamond und HLE mit Tools testen schwierige Fragen und Schlussfolgerungen, im zweiten Fall mit Tools.
Modell und Quelle | SWE-bench Pro | Terminal-Bench 2.1 | DeepSWE v1.1 | GPQA Diamond | HLE with tools |
|---|---|---|---|---|---|
61.7 | 73.0 | 42.2 | 89.2 | Kein Wert | |
62.5 | Kein Wert | 58.7 | 91.7 | Kein Wert | |
Kein Wert | 84.3 | 63.4 | Kein Wert | 55.3 | |
Kein Wert | 90.6 | 74.2 | 90.9 | 63.9 | |
Kein Wert | Kein Wert | Kein Wert | Kein Wert | 64.5 | |
Kein Wert | Kein Wert | Kein Wert | 89.9 | 49.0 | |
Kein Wert | 88.8 | 72.7 | Kein Wert | 64.5 | |
53.4 | Kein Wert | Kein Wert | 91.3 | Kein Wert | |
Kein Wert | 85.0 | 58.0 | Kein Wert | 57.9 |
Fertige Computer für lokale KI-Modelle
Die folgenden Tabellen führen Computerfamilien auf, mit Schwerpunkt auf Konfigurationen mit 128GB Speicher und mehr.
Für jede Familie sind die Anforderungen an die Stromversorgung separat aufgeführt: die Leistung des Netzteils und das unterstützte Ladeprotokoll.
Notebooks und Workstations mit NVIDIA RTX Spark N1X
Notebook | Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Dokumentation und Shop |
|---|---|---|---|
❌ | Acer SFF RTX Spark | N1X | bis zu 128GB | - | |
✅ | ASUS ProArt P16 H7607 | N1X | 32-128GB | PD3.1, 140W | |
✅ | ASUS ProArt P14 H7407 | N1X | 32-128GB | PD3.1, 140W | |
❌ | ASUS ProArt GR1X | N1X | 64/128GB | USB-C EPR PD 3.1(180W); Netzteil mit 240W im Lieferumfang | |
❌ | Dell Creator Edition Desktop | N1X | bis zu 128GB | - | |
✅ | Dell XPS 16 Creator Edition | N1X | 128GB | Power Delivery ist für drei USB-C-4.0-Anschlüsse angegeben | |
✅ | HP OmniBook Ultra 16, 16-bk0000 | N1X | 32-128GB | PD3.2 USB-C 140W | |
✅ | HP OmniBook X 14 | N1X | bis zu 128GB | USB PD 3.2; USB-C GaN Netzteil 140W | |
✅ | Lenovo Yoga Pro 9n / Pro 9n 15 Gen 11 | N1X | 32-128GB | USB-C PD 3.0; USB-C Netzteil 140W | |
✅ | Lenovo Yoga 9n 2-in-1 Gen 11 16" | N1X | 32-64GB | USB-C PD 3.0; USB-C Netzteil 140W | |
✅ | Microsoft Surface Laptop Ultra | N1X | 24-128GB | USB PD 3.1, mindestens 115W | |
❌ | Microsoft Surface RTX Spark Dev Box | N1X | 128GB | - | |
❌ | MSI EdgeMesa N AI+ | N1X | bis zu 128GB | USB-C PD IN; Netzteil 240W | |
✅ | MSI Prestige N16 Flip AI+ | N1X | 32-128GB | PD3.1, 65W(20V3.25A)-140W(28V5A) |
NVIDIA GB10 / DGX Spark Workstations
Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Dokumentation und Shop |
|---|---|---|
Acer Veriton GN100 | GB10 | 128GB | Mitgeliefertes USB-C-Netzteil mit 240W | |
ASUS Ascent GX10 | GB10 | 64/128GB | PD3.1 EPR. Das Datenblatt nennt eine Eingangsleistung bis zu 180W; mitgeliefertes Netzteil mit 240W | |
CyberGeek DGX Spark Compact AI Workstation | GB10 |128GB | Mitgeliefertes USB-C-Netzteil 240W; mitgeliefertes Netzteil verwenden | |
Dell Pro Precision with GB10 (vormals Dell Pro Max with GB10) | 64/128GB | Mitgeliefertes USB-C-Netzteil FCM1253 280W, (Ausgangsprofile: 5V3A, 9V3A, 15V3A, 20V6.5A, 28V5.89A, 36V5.83A, 48V5.83A); Die PD-Version ist nicht angegeben. Im Bereich von 20-48V verwenden diese PD-Profile nicht standardkonforme Stromstärken! | |
GIGABYTE AI TOP ATOM | GB10 | 128GB | USB-C PD IN; Netzteil mit 240W im Lieferumfang; erforderliche Eingangsleistung, Spannungsprofil und PD-Version sind nicht angegeben. | |
HP ZGX Nano G1n AI | GB10 | 128GB | Dedizierter USB-C-Eingang, Netzteil mit 240W. | |
Lenovo ThinkStation PGX | GB10 | 128GB | Dedizierter USB-C-Eingang mit USB PD 3.1; mitgeliefertes Netzteil mit 240W | |
MSI EdgeXpert AI | GB10 | 64/128GB | Mitgeliefertes USB PD 3.1-Netzteil mit 240W, 48V5A | |
NVIDIA DGX Spark | GB10 | 128GB | Mitgeliefertes USB-C PD3.1 240W-Netzteil | |
PNY NVIDIA DGX Spark | GB10 | 128GB | Netzteil enthalten, Leistung und PD-Modus nicht angegeben |
Notebooks und Workstations mit Ryzen AI Max+ 395/495
Modelle mit Ryzen AI Max 385/390 und Ryzen AI Max PRO 485/490 mit der GPU Radeon 8050S werden wegen ihrer „Veralterung“ nicht berücksichtigt.
Notebook | Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Dokumentation und Shop |
|---|---|---|---|
❌ | Acer Veriton RA110 | Max+ 395 | 64/128GB | - | |
❌ | AMD Ryzen AI Halo | Max+ 395 | 128GB | Dedizierter USB-C-Eingang zum Laden mit dem mitgelieferten Netzteil | |
❌ | AMD Ryzen AI Halo | Max+ PRO 495 | 192GB gemeinsamer Speicher | USB-C-Stromeingang | |
❌ | ACEMAGIC F9A | Max+ PRO 495 | 192GB | - | |
✅ | ASUS ProArt PX13 HN7306 | Max+ 395 | 128GB | USB PD 45-100W wird unterstützt | |
✅ | ASUS ROG Flow Z13 GZ302 | Max+ 395 in der höchsten Version | 32-128GB | USB PD 3.0, 45-100W | |
❌ | Beelink GTR9 Pro | Max+ 395 | 128GB | - | |
❌ | CORSAIR AI Workstation 300 | Max+ 395 | 64/128GB | - | |
❌ | Framework Desktop | Max+ 395: 64/128GB, Max+ PRO 495: 192GB | - | |
❌ | GEEKOM A9 Mega | AMD Ryzen AI Max+ 395 | 128GB gemeinsamer Speicher | - | |
❌ | GMKtec EVO-X2 | Max+ 395 | 64-128GB | - | |
❌ | GMKtec EVO-X3 | Max+ 395 | 128GB | - | |
❌ | GMKtec EVO-X5 Pro | Ryzen AI Max+ PRO 495 | 192GB gemeinsamer Speicher | - | |
❌ | HP Z2 Mini G1a | Max+ PRO 395 in der höchsten Version | 16-128GB | - | |
✅ | HP ZBook Ultra 14 G1a | Max+ PRO 395 in der höchsten Version | 16-128GB | USB-C 140W | |
✅ | HP ZBook Ultra G3a 16 | Ryzen AI Max+ PRO 495 | bis zu 192GB gemeinsamem Speicher | USB-C-Eingang; empfohlener Adapter 180W, Alternative 140W | |
❌ | Lenovo ThinkCentre X Ultra | Ryzen AI Max+ PRO 495 | bis zu 128GB gemeinsamem Speicher | - | |
❌ | MINISFORUM MS-S1 MAX | Max+ 395 | 64/128GB | - | |
❌ | MINISFORUM MS-S1 MAX-P495 | Max+ PRO 495 | 192GB gemeinsamer Speicher | - | |
❌ | MINISFORUM N5 MAX-P495 | Max+ PRO 495 | 192GB | - | |
❌ | MSI PRO MAX EDGE AI+ 11M | Max+ 395 | 128GB | - |
Notebooks und Workstations mit Apple Silicon: die beiden jüngsten Generationen
Beim MacBook Pro werden M5 Max und M4 Max mit einer GPU mit 40 Kernen und 128GB betrachtet. Beim Mac Studio sind es die Generation M5 Max / M5 Ultra und die vorherige M4 Max / M3 Ultra. Apple kündigte die M3 Ultra-Version mit 512GB bei der Markteinführung an, die aktuelle Seite mit technischen Daten zeigt jedoch maximal 256GB.
Notebook | Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Dokumentation und Shop |
|---|---|---|---|
✅ | MacBook Pro 14" (2024) | M4 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.0 (<100W) | |
✅ | MacBook Pro 16" (2024) | M4 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.1 (140W) | |
✅ | MacBook Pro 14" | M5 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.0 (<100W) | |
✅ | MacBook Pro 16" | M5 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.1 (140W) | |
❌ | Mac Studio (2025) | M4 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | - | |
❌ | Mac Studio (2025) | M3 Ultra | 96-256GB laut aktueller Spezifikation; 512GB bei Markteinführung | - | |
❌ | Mac Studio | M5 Ultra | 96/256/512GB; 512GB: Auslieferung später im Oktober 2026 | - | |
❌ | Mac Studio | M5 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | - | Technische Daten | Amazon.com(36GB) |
MagSafe 3 am MacBook ist ein proprietärer Anschluss auf der Laptopseite, der über ein passendes Ladekabel von einem USB-C-Ladeadapter mit Strom versorgt wird.
So gewährleisten Sie eine zuverlässige Stromversorgung des Computers
Prüfen Sie den Lieferumfang: Manche Konfigurationen werden ohne Netzteil verkauft, besonders in Europa; bei anderen gehört es zum Lieferumfang.
Für die tägliche, mehrstündige Arbeit mit einem lokalen KI-Modell ist ein zuverlässiges Netzteil nötig, das die erforderliche Leistung dauerhaft und störungsfrei liefern kann.
Gleichen Sie Spannung, Strom, Protokoll und das zulässige Ladekabel mit der Dokumentation der konkreten Maschine ab. Verlangt der Hersteller ein proprietäres Netzteil oder einen nicht standardisierten Modus, rechtfertigt ein USB-C-Anschluss nicht den Ersatz durch ein beliebiges leistungsstarkes Ladegerät.
Wenn Sie mehrere Geräte an ein Netzteil mit mehreren Anschlüssen anschließen möchten, prüfen Sie die Leistung eines einzelnen Anschlusses und deren Neuverteilung beim Anschließen weiterer Geräte.