Persönliche KI: Laptops, Workstations und ihre Möglichkeiten
Aktualisiert: vor 1 Tag
Leistungsstarke Prozessoren von NVIDIA, AMD und Apple Silicon haben zusammen mit großen gemeinsam genutzten Speichern lokale KI in unterschiedlichen Bauformen zugänglich gemacht: von Laptops bis hin zu kompakten Workstations für zu Hause. Diese neue Computerklasse, die in erster Linie für die lokale Ausführung von KI-Modellen entwickelt wurde, wird gelegentlich auch als „agentische Computer“ bezeichnet.
Gemeinsam ist ihnen eine Architektur, bei der Prozessor und integrierter Grafikbeschleuniger auf einen großen gemeinsamen Hochgeschwindigkeitsspeicher zugreifen. So lässt sich ein großes, leistungsfähiges LLM-Modell direkt bei den Recheneinheiten halten, ohne ständig Teile davon über eine langsame Verbindung zu einer separaten Grafikkarte übertragen zu müssen.
Der wichtigste praktische Grund, KI lokal auszuführen, ist die Möglichkeit, Dokumente, Quellcode und interne Wissensdatenbanken zu verarbeiten, ohne sie an einen Cloud-Dienst zu senden. Für Unternehmen ist das hilfreich und bei vertraulichen Informationen oder einem geschlossenen unternehmenseigenen Code-Repository häufig unverzichtbar.
Ein weiterer Vorteil lokal gehosteter LLM-Modelle: Bei einer lokalen Modellinstanz fallen keine Gebühren für einzelne API-Anfragen an. Die direkten Betriebskosten eines solchen Modells bestehen aus dem Strom für den Computer. Zu berücksichtigen sind allerdings auch die Anschaffungskosten der Maschine, die Ihnen dafür mehrere Jahre dienen wird. Der lokale Betrieb ermöglicht außerdem das Arbeiten ohne Internet und die eigenständige Auswahl des Modells, das am besten zu bestimmten Aufgaben passt: Programmierung, agentische Aufgaben, Übersetzungen, Erzeugung von Bildern, Videos oder Audio und vieles mehr.
Warum ist viel gemeinsam genutzter Speicher so wichtig?
Auch ein gewöhnlicher PC mit einer dedizierten GPU kann eine ausgezeichnete Maschine für lokale KI sein. Solange das gewählte Modell vollständig in den VRAM passt und noch Platz für KV-Cache und Arbeitsbuffer bleibt, kann der Beschleuniger Anfragen sehr schnell verarbeiten. Daher wäre es nicht ganz korrekt, sämtliche Computer mit separater Grafikkarte als ungeeignet für KI einzustufen.
Die Grenze wird erreicht, wenn ein großes Modell nicht mehr in den Grafikspeicher passt. Gerade große Modelle sind für den professionellen Einsatz besonders wertvoll und notwendig. Dann meldet das Programm entweder zu wenig Speicher, verlagert einen Teil der Arbeit auf CPU und System-RAM oder lädt Gewichte aus dem RAM oder von der SSD nach. Solche Transfers und langsamere Speicher können die Latenz stark erhöhen, bis sie für einen interaktiven Assistenten untragbar wird. Einen einheitlichen Faktor für den Geschwindigkeitsverlust gibt es nicht: Entscheidend sind die Laufzeitsoftware, der Anteil ausgelagerter Gewichte, das Modell und die Hardware. In der Praxis kann die Leistung in solchen Situationen jedoch um das 5-10-Fache sinken.
Viel System-RAM neben einer kleinen dedizierten GPU wird nicht automatisch zu ebenso viel schnellem VRAM.
Bei Lösungen auf Basis von NVIDIA RTX/DGX Spark, AMD Ryzen AI Max und Apple Silicon Max/Ultra liegt der Schwerpunkt anders: Der Grafikbeschleuniger kann innerhalb der unterstützten Architektur auf einen großen gemeinsamen Speicher zugreifen. Das erweitert die Auswahl großer Modelle.
128GB und mehr sind der in diesem Artikel gewählte Richtwert für große Modelle, die Aufgaben übernehmen können, für deren Lösung Nutzer normalerweise Cloud-Modelle über API oder Abonnement verwenden. Für kleinere spezialisierte Modelle oder Experimente mit extrem quantisierten und destillierten Modellen sowie einem begrenzten Kontextfenster kann auch weniger Speicher ausreichen.
Große Speicherkapazitäten schaffen außerdem Spielraum für eine geringere Komprimierung der Gewichte und damit einen besseren Qualitätserhalt sowie für ein größeres Kontextfenster.
Wo lokale KI im Arbeitsalltag hilfreich ist
Assistent für interne Dokumente. Wenn Sie eine große Datenbank mit Dokumentation haben, kann es sinnvoll sein, ein RAG-System aufzubauen, das zunächst passende Abschnitte in der lokalen Wissensdatenbank findet und sie anschließend dem LLM-Modell für eine Antwort mit Dokumentverweisen übergibt. Ein LLM kann in der Dokumentation nach Schlüsselwörtern suchen. Wenn die Arbeit mit Dokumentarchiven jedoch die Hauptaufgabe ist, kann RAG die Suche genauer und effizienter machen, da es sich um eine Vektordatenbank handelt.
Arbeit mit Quellcode. Das Modell hilft, Projektabschnitte zu erklären, Änderungen vorzuschlagen, Code zu schreiben und zu testen. Spitzenmodelle von Anthropic oder OpenAI liefern bessere Ergebnisse. Diese Cloud-Lösungen sind jedoch nicht für jeden verfügbar, wegen der Vertraulichkeit nicht immer einsetzbar und können sehr teuer sein. Wenn Cloud-Lösungen in Ihrer Arbeitsumgebung zulässig sind, lässt sich die Arbeit verteilen: Lokale Modelle übernehmen Routineaufgaben, während Spitzenmodelle aus der Cloud das abschließende Review und die Architektur abdecken.
Tests und Routineaufgaben im Hintergrund oder über Nacht. Ihr Team kann regelmäßig wiederkehrende Aufgaben haben, die nach einem bestimmten Ablauf, Ereignis oder Zeitplan ausgeführt werden sollen und Tools benötigen: Logs parsen und analysieren, Releases testen oder neue Dokumente in lokalen Quellen und im Internet suchen.
Gemeinsamer Assistent für ein kleines Team. Eine kompakte Workstation kann im Büro stehen, während mehrere Computer auf das lokale Modell zugreifen. NVIDIA PAIR kann unabhängige Ollama- oder LM Studio-Anfragen auf verbundene kompatible Systeme verteilen.
Bilderzeugung. Für einen Computer mit 128GB Speicher lohnt sich ein Blick auf FLUX.1-dev zur Bilderzeugung: Der ausgewählte Diffuser-Gewichtssatz belegt zusammen mit Textencodern und VAE etwa 33.74GB. NVIDIA veröffentlicht eine Anleitung zur Ausführung mit ComfyUI auf DGX Spark.
Videoerzeugung. Ein Beispiel für ein lokales Modell für diesen Anwendungsfall ist Wan2.2-T2V-A14B: Der ursprüngliche Satz mit zwei Experten in FP32, Textencoder und VAE belegt etwa 126.18GB. Das offizielle Beispiel für 720p benötigt mindestens 80GB.
Sprachsynthese. Zur Spracherzeugung in unterschiedlichen Sprachen lässt sich Qwen3-TTS-12Hz-1.7B-CustomVoice zusammen mit dem Sprach-Tokenizer verwenden; die Gewichtsdateien belegen etwa 4.52GB. Eine größere Alternative ist MOSS-TTS-v1.5 mit 8B Parametern: 31 Sprachen, Stimmklonen anhand einer Vorlage, lange Aufnahmen sowie Steuerung von Dauer, Aussprache über IPA und Pausen. Die Hauptgewichte belegen etwa 16.98GB, der erforderliche MOSS-Audio-Tokenizer weitere 7.10GB, insgesamt also etwa 24.08GB. Die Apache 2.0-Lizenz erlaubt die kommerzielle Nutzung. Das ist ein größerer Funktionsumfang, aber kein Beleg für besseren Klang bei jedem Text.
Spracherkennung. Zur lokalen Transkription von Besprechungen, Interviews und Sprachnotizen eignet sich Qwen3-ASR-1.7B: Das Modell unterstützt 30 Sprachen, darunter Russisch, automatische Spracherkennung und Streaming-Transkription. Die BF16-Gewichtsdateien belegen etwa 4.70GB. Für Wortzeitstempel kommt zusätzlich Qwen3-ForcedAligner-0.6B mit etwa 1.84GB an Gewichten zum Einsatz. Beide Modelle sind unter Apache 2.0 verfügbar. Der Speicherbedarf während der Ausführung liegt über der Dateigröße und hängt von Buffern und parallelen Streams ab.
Viel gemeinsam genutzter Speicher allein garantiert noch keine erfolgreiche Ausführung: Für jeden Chip, besonders bei AMD und Apple, müssen die Kompatibilität der Laufzeitsoftware, der für den Beschleuniger verfügbare Speicher und die unterstützte Präzision geprüft werden.
Welche Modelle eignen sich für Computer mit 32-768GB?
Wir haben zwar betont, dass Sie für ernsthafte professionelle Arbeit mit Modellen, die Cloud-Lösungen in vielen Situationen ersetzen können, eine Maschine mit 128GB Speicher benötigen. Als Orientierung wird nachfolgend jedoch auch das Dense-Modell Qwen3.8-27B vorgestellt, das sich ebenfalls für die Programmierung eignet und auf Maschinen mit weniger Speicher geladen werden kann.
Die wichtigsten Richtwerte liefern dennoch die modernen und sehr leistungsfähigen offenen MoE-Modelle Qwen3.8-Flash-Next und GLM-5.3-Flash. Qwen3.8 Flash ist ein Cloud-Release, Flash-Next hingegen ein offenes Release für die lokale Installation.
Bei MoE-Modellen ist pro Token nur ein Teil der Parameter aktiv, im Speicher muss jedoch der gesamte Gewichtssatz untergebracht werden.
Die Quantisierung von Modellen verkleinert Gewichte und Cache durch eine kompaktere Zahlendarstellung. Gemischte UD-Varianten verwenden für unterschiedliche Modellteile unterschiedliche Präzision. Quantisierung wirkt sich zwangsläufig auf die Qualität aus, wobei die Stärke des Effekts von ihrer Aggressivität abhängt. Eine Quantisierung bis hinunter zu 4 Bit (Q4) gilt als potenziell praxistauglich, während Q8 dem Original häufig sehr nahe kommt. Nachfolgend stehen konkrete veröffentlichte GGUF-Versionen und die Summe aller Teile ihrer Gewichte. Die Dateigröße entspricht nicht dem Speicherbedarf des gesamten Programms: Zusätzlich wird Speicher für Betriebssystem, Arbeitsbuffer, KV-Cache und die gewählte Kontextlänge benötigt.
Wenn eine Maschine oder ein Cluster viel freien Speicher hat, können mehrere Kopien eines Modells oder unterschiedliche Modelle zur gleichzeitigen Nutzung untergebracht werden.
Speicher | Auswahlbedingungen | |||
|---|---|---|---|---|
32GB | Q4 + Reserve passen nicht | Q4 + Reserve passen nicht | Qwen27B: 32K Kontext passt; 64K ist grenzwertig; 128K+ passen nicht. | |
64GB | Q4 + Reserve passen nicht | Q4 + Reserve passen nicht | Qwen27B: Bis zu 256K Kontext passt. | |
128GB | Q4 + Reserve passen nicht | Qwen27B: bis zu 256K. Flash-Next: 32K/64K passen; 128K ist grenzwertig. | ||
192GB | Q4 + Reserve passen nicht | Qwen27B und Flash-Next: bis zu 256K. | ||
256GB | Bis zu 256K Kontext passen. | |||
512GB | Kontext bis zu 256K. Ein Cluster aus 4 Knoten benötigt zusätzlich 36GB für Qwen27B, 60GB für Flash-Next und 72GB für GLM Flash: Betriebssystem und Buffer werden auf jedem Knoten benötigt. | |||
768GB | Kontext bis zu 256K. Ein Cluster aus 4 Knoten benötigt zusätzlich 36GB für Qwen27B, 60GB für Flash-Next und 72GB für GLM Flash: Betriebssystem und Buffer werden auf jedem Knoten benötigt. |
Modellvergleich anhand identischer Testversionen
Die folgenden Werte sind Prozentangaben aus Veröffentlichungen der Entwickler der ursprünglichen Releases, keine Ergebnisse der ausgewählten quantisierten GGUF-Versionen. Identische Testversionen garantieren weder dieselbe Agentenumgebung noch dieselben Einstellungen. Qwen3.8-27B wurde beispielsweise in SWE-bench Pro und DeepSWE 1.1 mit Claude Code als Agentenumgebung und 256K Kontext getestet.
Neben offenen Modellen enthält die Tabelle zur Orientierung auch Benchmark-Werte bekannter Cloud-Modelle.
SWE-bench Pro und DeepSWE zeigen die Arbeit mit Code;
Terminal-Bench 2.1 zeigt agentische Aufgaben mit autonomer Ausführung;
GPQA Diamond und HLE mit Tools testen schwierige Fragen und Schlussfolgerungen, im zweiten Fall mit Tools.
Modell und Quelle | SWE-bench Pro | Terminal-Bench 2.1 | DeepSWE v1.1 | GPQA Diamond | HLE with tools |
|---|---|---|---|---|---|
61.7 | 73.0 | 42.2 | 89.2 | Kein Wert | |
62.5 | Kein Wert | 58.7 | 91.7 | Kein Wert | |
Kein Wert | 84.3 | 63.4 | Kein Wert | 55.3 | |
Kein Wert | 90.6 | 74.2 | 90.9 | 63.9 | |
Kein Wert | Kein Wert | Kein Wert | Kein Wert | 64.5 | |
Kein Wert | Kein Wert | Kein Wert | 89.9 | 49.0 | |
Kein Wert | 88.8 | 72.7 | Kein Wert | 64.5 | |
53.4 | Kein Wert | Kein Wert | 91.3 | Kein Wert | |
Kein Wert | 85.0 | 58.0 | Kein Wert | 57.9 |
Vergleich von Prozessorleistung und Speichergeschwindigkeit
Die folgenden Spitzenwerte stammen aus der Herstellerdokumentation. Die FP4-Leistung von NVIDIA und die gesamten TOPS von AMD beschreiben unterschiedliche Betriebsarten und bilden keine direkte Geschwindigkeitsrangliste. Apple veröffentlicht in den genannten Spezifikationen keine vergleichbare AI-Spitzenmetrik, daher werden Rechenkerne und Speicherbandbreite angegeben.
Chip in der höchsten Konfiguration | Veröffentlichte Leistung | Speicher und Geschwindigkeit | Quelle |
|---|---|---|---|
NVIDIA RTX Spark N1X | Bis zu 1PFLOP FP4; CPU mit 20 Kernen, GPU mit 6144 CUDA-Kernen | Bis zu 128GB gemeinsamer Speicher; 300GB/s, 256-Bit-Bus laut NVIDIA-Dokumentation | |
NVIDIA GB10 Grace Blackwell | Bis zu 1PFLOPS FP4 mit Sparsity; CPU mit 20 Kernen | 128GB LPDDR5X; 273GB/s | |
Ryzen AI Max+ / PRO 395 | 126TOPS insgesamt, NPU bis zu 50TOPS; CPU mit 16 Kernen, Radeon 8060S mit 40 CU | 128GB; bei Framework LPDDR5X 8000MT/s, 256 Bit (berechnet: 256GB/s) | |
Ryzen AI Max+ PRO 495 | 131TOPS insgesamt, NPU bis zu 55TOPS; CPU mit 16 Kernen, Radeon 8065S mit 40 CU | 192GB bei Framework; LPDDR5X 8533MT/s, 256 Bit (berechnet: 273.1GB/s) | |
Apple M4 Max | CPU mit 16 Kernen, GPU mit 40 Kernen, NPU mit 16 Kernen | 128GB; 546GB/s | |
Apple M3 Ultra | CPU mit 32 Kernen, GPU mit 80 Kernen, NPU mit 32 Kernen | Bei Markteinführung bis zu 512GB; 819GB/s | |
Apple M5 Max | CPU mit 18 Kernen, GPU mit 40 Kernen, NPU mit 16 Kernen | 128GB; 614GB/s | |
Apple M5 Ultra | CPU mit 36 Kernen, GPU mit 80 Kernen, NPU mit 32 Kernen | Bis zu 512GB; 1.2TB/s |
RTX Spark N1X und GB10 ähneln sich in ihrer Architektur: In den höchsten Versionen besitzen beide 20 Arm-CPU-Kerne und eine Blackwell GPU mit 6144 CUDA-Kernen. Die offiziellen RTX Spark-Spezifikationen unterscheiden jedoch zwischen dem Laptop-N1X mit einer TDP von 45-80W und der Desktop-Version mit 140W Prozessor-TDP; beim GB10 beträgt die TDP ebenfalls 140W. Es gibt auch einen kleineren Laptop-N1X mit 18 CPU-Kernen und 5120 CUDA-Kernen. Achten Sie auf die Prozessorversion.
Beim Speicher gibt NVIDIA für den N1X 300GB/s an, für den GB10 hingegen 273GB/s.
N1X ist für Windows on Arm ausgelegt, DGX Spark verwendet Linux.
In den geprüften Quellen wurde kein direkter Vergleichstest von N1X und GB10 mit identischem Modell, identischer Quantisierung und identischem Kontext gefunden. Daher lässt sich lediglich vermuten, dass die Ergebnisse des Desktop-N1X mit denen des GB10 vergleichbar sein werden.
Für AMD liegen direkte Messungen vor: Tom's Hardware verglich Ryzen AI Halo mit Max+ 395 und Dell Pro Max mit GB10 in llama.cpp über llama-benchy. Die Tabelle zeigt Ergebnisse bei 8192 Token-Kontexttiefe, 2048 Token Eingabe und 256 Token Antwort; der Autor verwendete GGUF Unsloth Q4_K_M. Die AMD-Maschine hatte 128GB LPDDR5X-8000 und eine nominelle TDP von 120W. TTFT ist die Wartezeit bis zum ersten Token; bei der Generierung bedeuten mehr Token pro Sekunde eine schnellere Antwort.
Testmodell | AMD 395: TTFT | GB10: TTFT | AMD 395: Generierung | GB10: Generierung |
|---|---|---|---|---|
Qwen3.6-35B-A3B | 11.4s | 5.0s | 43.8 Token/s | 58.9 Token/s |
gpt-oss-120B | 26.0s | 5.9s | 46.4 Token/s | 50.7 Token/s |
In diesen beiden Tests gewinnt GB10 sowohl bei TTFT als auch bei der Generierungsgeschwindigkeit. Der Autor merkt an, dass das Caching der Eingabe den TTFT-Unterschied verringern kann.
Die Geschwindigkeit einer vollständigen agentischen Aufgabe kann ein anderes Ergebnis liefern. Im AMD-eigenen HEPA-Test führten beide Maschinen Qwen3.6-35B-A3B im 4-Bit-Format aus und erstellten eine Präsentation aus denselben lokalen Dokumenten. AMD Halo war nach 311.6s fertig, DGX Spark nach 367.1s, obwohl die einzelne GPU-Phase bei Spark schneller war: 137.2s gegenüber 159.5s. Sieben von acht Phasen liefen auf der CPU. Das ist ein Beispiel für einen konkreten Herstellertest: Bei einem Agenten sollte auch die Zeit bis zum fertigen Ergebnis gemessen werden, einschließlich Suche, Dokumentverarbeitung und Antwortprüfung.
Für einen Vergleich der Lösungen von Apple und NVIDIA nennt der Entwickler EXO für M3 Ultra etwa 26TFLOPS FP16 und für DGX Spark etwa 100TFLOPS FP16. Diese Schätzungen ergeben einen Unterschied von ungefähr dem 3.8-Fachen bei der FP16-Spitzenleistung. Ein entsprechender Geschwindigkeitsunterschied bei einer lokalen LLM ist dadurch jedoch nicht garantiert.
Was ist für die Geschwindigkeit wichtiger: Speicher oder Recheneinheiten?
Bei der Antwortgenerierung verwendet ein Dense-Modell wie Qwen3.8-27B sämtliche Schichten und Gewichte. Bei einer oder wenigen Anfragen wartet der Beschleuniger häufig auf das Einlesen von Daten. Deshalb ist die Speicherbandbreite wichtig: Sie beeinflusst, wie schnell die nächsten Token erscheinen.
Während des Prefills verarbeitet der Computer den Eingabetext und erstellt den KV-Cache. Eine lange Eingabe bietet mehr Möglichkeiten für parallele Matrixberechnungen. In dieser Prefill-Phase können leistungsstarke Recheneinheiten die Wartezeit bis zum ersten Token verkürzen. Die Auswirkungen großer Anfragepakete und die Vorhersage behandelt NVIDIA in einem eigenen Artikel.
Bei einem Agenten, der wiederholt Kontext erhält und eine kurze Antwort oder einen Tool-Aufruf zurückgibt, kann Prefill einen erheblichen Teil der Wartezeit ausmachen. Außerdem verwenden die genannten MoE-Modelle Qwen3.8-Flash-Next und GLM-5.3-Flash nur ausgewählte Experten. Das reduziert im Vergleich zu Dense-Modellen die Anforderungen an die Speichergeschwindigkeit, obwohl diese weiterhin ein wichtiger Faktor für die Gesamtleistung bleibt.
Der Entwickler EXO testete dieselbe Llama-3.1 8B FP16: 8192 Token Eingabe, 32 Token Antwort. Bei DGX Spark dauerte Prefill 1.47s, die Generierung 2.87s, insgesamt 4.34s; beim M3 Ultra Mac Studio waren es 5.57s, 0.85s und 6.42s. In diesem Test gewann Spark bei der Eingabeverarbeitung, der Mac bei der Generierung.
Cluster: 512GB bei NVIDIA und 768GB bei AMD
Bei DGX Spark mit GB10 enthält jede Maschine in der höchsten Konfiguration 128GB. Vier Maschinen ergeben insgesamt 512GB. NVIDIA Sync unterstützt die Einrichtung eines solchen Clusters. Für vier Knoten ist ein geeigneter QSFP-Netzwerkswitch erforderlich, während eine direkte Verbindung für kleinere Konfigurationen geeignet ist.
Auch AMD bietet einen Weg zur verteilten Ausführung: Das Unternehmen veröffentlicht ein Beispiel mit vier Knoten und llama.cpp RPC. Darüber hinaus beschreibt Framework den Zusammenschluss von vier Desktop mit Ryzen AI Max+ PRO 495 und 192GB pro Knoten zu insgesamt bis zu 768GB.
In beiden Fällen wird die Summe des Speichers nicht automatisch zu einem gemeinsamen Adressraum. Eine Orchestrierungssoftware muss das Modell auf die Knoten verteilen. Die Geschwindigkeit hängt vom Netzwerk und der Art der Parallelisierung ab.
Ein Cluster lässt sich für das Unterbringen eines großen Modells, die Geschwindigkeit einer einzelnen Anfrage oder die Gesamtleistung eines Dienstes konfigurieren. Dafür gibt es mehrere Verteilungsstrategien:
Tensor parallel: Die Knoten berechnen gleichzeitig Teile der Matrizen derselben Schichten. Sie verarbeiten die Anfrage gemeinsam, tauschen jedoch häufig Ergebnisse aus.
Expert parallel: Die MoE-Experten liegen auf unterschiedlichen Knoten, und Token werden an die benötigten Experten weitergeleitet. Die Parallelisierung kann helfen, aber Datenaustausch und ungleichmäßige Auslastung können den Gewinn aufzehren.
Pipeline parallel: Schichtgruppen werden in aufeinanderfolgende Stufen aufgeteilt. Ein Token durchläuft sie nacheinander; mehrere Anfragen oder Microbatches können unterschiedliche Stufen gleichzeitig belegen. Pipeline-Leerlauf ist möglich, bei einem großen Strom aufeinanderfolgender Aufgaben ist dies jedoch ein effizientes Szenario.
Data parallel: Unterschiedliche Modellkopien bedienen unabhängige Anfragen. Das erhöht den Gesamtdurchsatz des Dienstes, wenn genügend Speicher für die Kopien vorhanden ist, beschleunigt aber nicht automatisch eine einzelne Anfrage.
Die Betriebsarten lassen sich kombinieren, etwa tensor + pipeline oder tensor + expert, sofern die gewählte Software das unterstützt. Vier Knoten allein garantieren keine Beschleunigung: Netzwerk, Synchronisierung, Batch-Größe und Lastverteilung sind entscheidend. NVIDIA erläutert gesondert, wie eine zur Hardware passende Modellaufteilung ausgewählt wird.
Für DGX Spark gibt es eine offizielle vLLM-Anleitung für zwei Knoten: Qwen3.8-27B NVFP4, Tensor Parallel auf zwei Knoten und fortlaufendes Zusammenfassen mehrerer Anfragen zu einem Batch. Dieses Beispiel zeigt, dass auch die gemeinsame Modellberechnung parallele Anfragen bedienen kann.
Lösungen für lokale AI-Modelle führender Computerhersteller
Die Tabellen enthalten Computerfamilien mit höchsten Konfigurationen ab 128GB.
Separat wird angegeben, welches Ladeprotokoll der Ladeadapter unterstützt und welche Leistung er zur Versorgung des Computers bereitstellen muss.
Notebooks und Workstations mit NVIDIA RTX Spark N1X
Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Dokumentation und Shop |
|---|---|---|
Acer SFF RTX Spark | NVIDIA RTX Spark | bis zu 128GB gemeinsamem Speicher | - | |
ASUS ProArt P16 H7607 | N1X | 32-128GB | PD3.1, 140W | |
ASUS ProArt P14 H7407 | N1X | 32-128GB | PD3.1, 140W | |
ASUS ProArt GR1X | NVIDIA RTX Spark N1X | 64/128GB gemeinsamer Speicher | USB-C PD IN, EPR PD 3.1; Netzteil mit 240W im Lieferumfang; erforderliche Eingangsleistung und Profil sind nicht angegeben | |
Dell Creator Edition Desktop | NVIDIA RTX Spark | bis zu 128GB gemeinsamem Speicher | - | |
Dell XPS 16 Creator Edition | N1X | 128GB | Power Delivery ist für drei USB-C-4.0-Anschlüsse angegeben | |
HP OmniBook Ultra 16, 16-bk0000 | N1X | 32-128GB | PD3.2 USB-C 140W | |
HP OmniBook X 14 | NVIDIA RTX Spark N1X | bis zu 128GB gemeinsamem Speicher | USB PD 3.2; USB-C GaN Netzteil 140W | |
Lenovo Yoga Pro 9n / Pro 9n 15 Gen 11 | N1X | 32-128GB | USB-C PD 3.0; ein USB-C-Netzteil mit 140W wird bei ausgewählten Konfigurationen mitgeliefert; die maximale Eingangsleistung ist nicht angegeben. | |
Microsoft Surface Laptop Ultra | N1X | 24-128GB | USB PD 3.1, mindestens 115W | |
Microsoft Surface RTX Spark Dev Box | NVIDIA RTX Spark | 128GB gemeinsamer Speicher | - | |
MSI EdgeMesa N AI+ | NVIDIA RTX Spark N1X | bis zu 128GB LPDDR5X gemeinsamem Speicher | USB-C PD IN; Netzteil 240W | |
MSI Prestige N16 Flip AI+ | N1X | 32-128GB | PD3.1, 65-140W |
NVIDIA GB10 / DGX Spark Workstations
Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Dokumentation und Shop |
|---|---|---|
Acer Veriton GN100 | GB10 | 128GB | Mitgeliefertes USB-C-Netzteil mit 240W | |
ASUS Ascent GX10 | GB10 | 64/128GB | PD3.1 EPR. Das Datenblatt nennt eine Eingangsleistung bis zu 180W; mitgeliefertes Netzteil mit 240W | |
Dell Pro Precision with GB10 (FCM1253; vormals Dell Pro Max with GB10) | GB10 | 128GB | Mitgeliefertes USB-C-Netzteil mit 280W, 48V5.83A; PD-Version nicht angegeben. Dieser Modus weicht vom Standard 240W-48V5A ab | |
GIGABYTE AI TOP ATOM | GB10 | 128GB | USB-C PD IN; Netzteil mit 240W im Lieferumfang; erforderliche Eingangsleistung, Spannungsprofil und PD-Version sind nicht angegeben. | |
HP ZGX Nano G1n AI | GB10 | 128GB | Dedizierter USB-C-Eingang, Netzteil mit 240W. | |
Lenovo ThinkStation PGX | GB10 | 128GB | Dedizierter USB-C-Eingang mit USB PD 3.1; mitgeliefertes Netzteil mit 240W | |
MSI EdgeXpert MS-C931 | GB10 | 128GB | Mitgeliefertes USB PD 3.1-Netzteil mit 240W, 48V5A | |
NVIDIA DGX Spark | GB10 | 128GB | Mitgeliefertes USB-C PD3.1 240W-Netzteil | |
PNY NVIDIA DGX Spark | GB10 | 128GB | Netzteil enthalten, Leistung und PD-Modus nicht angegeben |
Ryzen AI Max+ 395 und neue Modelle mit 192GB
Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Anderer DC-Eingang oder Netzteil | Dokumentation und Shop |
|---|---|---|---|
Acer Veriton RA110 | Max+ 395 | 128GB | - | Separater DC-Anschluss an der Rückseite; die Leistung des mitgelieferten Netzteils ist in der geprüften Quelle nicht angegeben. | |
AMD Ryzen AI Halo | Max+ 395 | 128GB | Dedizierter USB-C-Eingang zum Laden mit dem mitgelieferten Netzteil | - | |
AMD Ryzen AI Halo | Max+ PRO 495 | 192GB gemeinsamer Speicher | - | - | |
ASUS ProArt PX13 HN7306 | Max+ 395 | 128GB | USB PD 45-100W wird unterstützt | Rechteckiger DC-Eingang: Netzteil mit 200W, 20V10A | |
ASUS ROG Flow Z13 GZ302 | Max+ 395 in der höchsten Version | 32-128GB | USB PD 3.0, 45-100W | Rechteckiger DC-Eingang: Netzteil mit 200W, 20V10A | |
Beelink GTR9 Pro | Max+ 395 | 128GB | - | Internes Netzteil mit 230W | |
CORSAIR AI Workstation 300 | Max+ 395 | 64/128GB | - | Internes Flex ATX-Netzteil mit 300W | |
Framework Desktop | 32/64/128/192GB; Max+ 395: 64/128GB, Max+ PRO 495: 192GB | - | Internes Flex ATX-Netzteil mit 400W | |
GEEKOM A9 Mega | AMD Ryzen AI Max+ 395 | 128GB gemeinsamer Speicher | In den geprüften Unterlagen ist kein USB-C-PD-Eingang angegeben | DC-in; Netzteil mit 330W im Lieferumfang | |
GMKtec EVO-X2 | Max+ 395 | 64-128GB | - | DC5525: Netzteil mit 19.5V11.8A, etwa 230W | |
GMKtec EVO-X5 Pro | Ryzen AI Max+ PRO 495 | 192GB gemeinsamer Speicher | Stromversorgung über USB-C wird nicht unterstützt | DC IN 19.5V16.9A, 330W; Anschluss 5.5 x 2.5 mm | |
HP Z2 Mini G1a | Max+ PRO 395 in der höchsten Version | 16-128GB | - | Internes Netzteil mit 300W | |
HP ZBook Ultra 14 G1a | Max+ PRO 395 in der höchsten Version | 16-128GB | USB-C-Netzteil mit 140W | - | |
HP ZBook Ultra G3a 16 | Ryzen AI Max+ PRO 495 | bis zu 192GB gemeinsamem Speicher | - | - | |
Lenovo ThinkCentre X Ultra | Ryzen AI Max+ PRO 495 | bis zu 128GB gemeinsamem Speicher | - | - | |
MINISFORUM MS-S1 MAX | Max+ 395 | 64/128GB | - | Internes Netzteil mit 320W | |
MINISFORUM MS-S1 MAX-P495 | Max+ PRO 495 | 192GB gemeinsamer Speicher | - | Internes Netzteil 320W | |
MSI PRO MAX EDGE AI+ 11M | Max+ 395 | 128GB | USB PD-Eingang nicht angegeben; beide USB-C-Ports: PD-Ausgang 15W | Internes Flex-Netzteil mit 300W |
Apple Silicon: die beiden jüngsten Generationen
Beim MacBook Pro werden M5 Max und M4 Max mit einer GPU mit 40 Kernen und 128GB betrachtet. Beim Mac Studio sind es die Generation M5 Max / M5 Ultra und die vorherige M4 Max / M3 Ultra. Apple kündigte die M3 Ultra-Version mit 512GB bei der Markteinführung an, die aktuelle Seite mit technischen Daten zeigt jedoch maximal 256GB.
Modell, Chip und Speicherbereich | Laden mit USB-C-Ladeadapter (PD) | Anderer DC-Eingang oder Netzteil | Dokumentation und Shop |
|---|---|---|---|
MacBook Pro 14" (2024) | M4 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.0 (<100W) | MagSafe 3: ab PD 3.0 | Technische Daten | Schnellladen | Amazon.com(36Gb) |
MacBook Pro 16" (2024) | M4 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.1 (140W) | MagSafe 3: ab PD 3.1 | Technische Daten | Schnellladen | Amazon.com(48Gb) |
Mac Studio (2025) | M4 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | - | Eingebautes Netzteil; 480W | Technische Daten | Amazon.com(36Gb) |
Mac Studio (2025) | M3 Ultra | 96-256GB laut aktueller Spezifikation; 512GB bei Markteinführung | - | Eingebautes Netzteil; 480W | Technische Daten | Amazon.com(256Gb) |
Mac Studio | M5 Ultra | 96/256/512GB; 512GB: Auslieferung später im Oktober 2026 | - | Eingebautes Netzteil; 480W | |
MacBook Pro 14" | M5 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.0 (<100W) | MagSafe 3: ab PD 3.0 | Technische Daten | Schnellladen | Amazon.com(128Gb) |
MacBook Pro 16" | M5 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | PD3.1 (140W) | MagSafe 3: ab PD 3.1 | |
Mac Studio | M5 Max | 36-128GB; 128GB erfordern eine GPU mit 40 Kernen | - | Eingebautes Netzteil; 480W | Technische Daten | Amazon.com(36Gb) |
MagSafe 3 am MacBook ist ein proprietärer Anschluss auf der Laptopseite, der über ein passendes Ladekabel von einem USB-C-Ladeadapter mit Strom versorgt wird.
So stellen Sie eine zuverlässige Stromversorgung des Computers sicher
Prüfen Sie den Lieferumfang: Manche Computerkonfigurationen werden ohne Ladeadapter verkauft, insbesondere in Europa, während er bei anderen enthalten ist.
Ein Computer, der täglich viele Stunden mit einem lokalen KI-Modell arbeitet, benötigt eine zuverlässige Stromquelle, die die erforderliche Leistung über längere Zeit ohne Ausfälle liefern kann.
Gleichen Sie Spannung, Strom, Protokoll und das zulässige Ladekabel mit der Dokumentation der konkreten Maschine ab. Verlangt der Hersteller ein proprietäres Netzteil oder einen nicht standardisierten Modus, rechtfertigt ein USB-C-Anschluss nicht den Ersatz durch ein beliebiges leistungsstarkes Ladegerät.
Wenn Sie sich für einen Ladeadapter mit mehreren Anschlüssen entscheiden, achten Sie auf die Leistung eines einzelnen Anschlusses und darauf, wie sie sich beim Anschließen eines zweiten Geräts verändert, sofern dieses Szenario für Sie relevant ist.