top of page

Персональный ИИ: ноутбуки, рабочие станции и их возможности (Часть 1)

9 окт.
15 мин. чтения

Обновлено: 20 окт.

Персональный ИИ: ноутбуки, рабочие станции и их возможности

Появление высокопроизводительных центральных процессоров от NVIDIA, AMD и Apple Silicon вместе с большим объемом общей памяти сделало локальный ИИ доступным в разных форматах: от ноутбуков до компактных домашних рабочих станций. Этот новый класс компьютеров предназначен в первую очередь для локального запуска ИИ-моделей. Такие устройства также называют «агентными компьютерами».

Их объединяет архитектура, в которой процессор и встроенный графический ускоритель используют общий большой массив высокоскоростной памяти. Это позволяет хранить крупную LLM-модель с широкими возможностями рядом с вычислительными блоками, без постоянного переноса ее частей через медленное соединение с отдельной видеокартой.

Главная практическая причина запускать ИИ локально - возможность работать с корпоративным кодовым репозиторием и базами данных без отправки данных на обработку в облачный сервис. Для многих пользователей и организаций работа с конфиденциальными и персональными данными в облаке принципиально исключена. При этом возможности, которые дает искусственный интеллект, и преимущества его использования уже очевидны всем. Игнорировать его применение - значит неизбежно терять конкурентное преимущество.

Выход в такой ситуации существует - это развертывание локальных LLM-моделей. Причем для этого уже не нужна отдельная серверная стойка: запустить модель можно даже на ноутбуке, но не на любом, а построенном на специализированной архитектуре. При этом сохраняется возможность пользоваться привычными Windows 11, macOS и Ubuntu.

Еще одно преимущество локального размещения LLM - отсутствие платы за каждый запрос к API облачного провайдера модели. Прямые затраты при работе такой модели, по большому счету, - это электроэнергия, необходимая для питания компьютера. Однако стоит также иметь в виду инвестиции в покупку компьютера, который будет служить вам не один год.

Локальный запуск модели также дает возможность работать без интернета и самостоятельно выбирать специализированную модель, наилучшим образом подходящую для определенных задач (кодинг, агентная работа, языковые переводы, генерация изображений, видео, аудио и т. д.).

Где локальный ИИ полезен в ежедневной работе

  • Помощник по внутренним документам. Если у вас большая база данных с документацией, то может иметь смысл строить систему RAG, которая сначала находит подходящие фрагменты в локальной базе знаний, затем передает их LLM-модели для ответа со ссылками на документы. LLM может делать поиск по ключевым словам в документации, но если работа с архивами документов - это основная задача, то наличие RAG может сделать поиск точнее и эффективнее, т. к. это векторная база данных.

  • Работа с исходным кодом. Модель помогает объяснять участки проекта, предлагать изменения, писать код и тестировать. Топ-модели от Anthropic или OpenAI дадут лучший результат, однако это облачные решения, которые не всем доступны, не всегда применимы по причине конфиденциальности и могут быть очень дороги в использовании. Если же использование облачных решений допустимо в вашем рабочем окружении, то может быть реализован сценарий распределения нагрузки, где рутинные операции делегируются локальным моделям, а финальное ревью и архитектуру закрывают топ-модели из облака.

  • Фоновый (ночной) запуск тестов и рутинных операций. Ваша команда может иметь регулярные повторяющиеся задачи, которые должны запускаться по определенному сценарию, событию или расписанию и подразумевают использование тулов: парсинг и анализ логов, тестирование релизов, поиск новых документов как в локальных источниках, так и в интернете.

  • Общий помощник для небольшой команды. Компактную станцию можно разместить в офисе, а обращаться к локальной модели с нескольких компьютеров. NVIDIA PAIR умеет распределять независимые запросы Ollama или LM Studio по подключенным совместимым системам.

  • Генерация изображений. Для компьютера со 128GB памяти стоит рассмотреть FLUX.1-dev для изображений: выбранный комплект весов Diffusers вместе с текстовыми энкодерами и VAE занимает около 33.74GB. NVIDIA публикует инструкцию запуска через ComfyUI на DGX Spark.

  • Генерация видео. Для этого кейса примером локальной модели служит Wan2.2-T2V-A14B: исходный комплект с двумя экспертами в FP32, текстовым энкодером и VAE занимает около 126.18GB. Его официальный пример для 720p требует не менее 80GB.

  • Синтез речи. Для задач генерации речи на разных языках может использоваться Qwen3-TTS-12Hz-1.7B-CustomVoice вместе с речевым токенизатором; файлы весов занимают около 4.52GB. Более крупная альтернатива - MOSS-TTS-v1.5 на 8B параметров: 31 язык, клонирование голоса по образцу, длинные записи, управление длительностью, произношением через IPA и паузами. Основные веса занимают около 16.98GB, а обязательный MOSS-Audio-Tokenizer - еще 7.10GB, всего около 24.08GB. Лицензия Apache 2.0 допускает коммерческое использование. Это более широкий набор функций, а не доказательство лучшего звучания на любом тексте.

  • Распознавание речи. Для локальной расшифровки встреч, интервью и голосовых заметок подойдет Qwen3-ASR-1.7B: модель поддерживает 30 языков, включая русский, автоматическое определение языка и потоковое распознавание. Файлы весов BF16 занимают около 4.70GB. Для временных меток слов дополнительно используется Qwen3-ForcedAligner-0.6B с весами около 1.84GB. Обе модели доступны по Apache 2.0. Расход памяти при запуске выше размера файлов и зависит от буферов и параллельных потоков.

Почему так важен большой объем общей памяти?

Обычный ПК с дискретной GPU тоже может быть отличной машиной для локального ИИ. Пока выбранная модель полностью размещается в VRAM и остается запас для KV-кэша и рабочих буферов, ускоритель способен очень быстро обрабатывать запросы. Поэтому считать все компьютеры с отдельной видеокартой непригодными для работы с ИИ было бы не совсем корректно.

Ограничение возникает, когда большой модели (а именно большие модели наиболее ценны и необходимы для профессионального использования) становится тесно в видеопамяти. Программа либо сообщает о нехватке видеопамяти (VRAM), либо переносит часть работы на CPU и системную RAM, либо подгружает веса из RAM или с SSD. Такие переносы и более медленное хранилище могут резко увеличить задержку, вплоть до неприемлемой для интерактивного помощника. Единого коэффициента падения скорости нет: важны программа запуска, доля выгруженных весов, модель и оборудование. Но на практике падение производительности при совместном использовании VRAM и RAM может быть в 5-10 раз, не говоря о ситуациях использования SSD.

В решениях на базе NVIDIA RTX/DGX Spark, AMD Ryzen AI Max и Apple Silicon Max/Ultra иной акцент: большой объем общей памяти доступен графическому ускорителю в рамках поддерживаемой архитектуры, а сама память распаяна на плате (как правило LPDDR5X типа) и значительно быстрее, чем привычная системная DDR4/DDR5, но медленнее памяти видеокарт GDDR5 и HBM3 в AI-ускорителях. Такая архитектура расширяет возможность загрузки и работы с крупными моделями.

В этой статье объем памяти 128GB и более выбран в качестве ориентира, который дает практическую возможность работать с крупными моделями, способными выполнять задачи, за решением которых пользователи обычно обращаются к облачным моделям по API или подписке. Для меньших узкоспециализированных моделей или экспериментов с ультраквантизованными и дистиллированными моделями и ограниченным окном контекста может быть достаточно и меньшего объема.

Большие объемы памяти также дают запас для использования меньшего сжатия весов (а значит, лучшего сохранения качества оригинальной модели) и позволяют работать с большим окном контекста.

Как используется общая память в платформах от AMD, NVIDIA и Apple Silicon

Термин unified memory у разных платформ означает разное. Для локальных LLM важно различать физически раздельную память CPU/GPU, общий физический пул с резервированием под GPU и полностью динамическую общую память.

Дискретные видеокарты NVIDIA GeForce RTX и RTX PRO

В решениях с дискретными NVIDIA RTX CPU использует системную DDR RAM, а GPU - собственную GDDR VRAM. CUDA позволяет обращаться к системной памяти после заполнения VRAM или выполнять CPU-offload, но обмен через PCIe имеет меньшую пропускную способность и большую задержку.

Поэтому физическая VRAM остается основной быстрой памятью GPU для LLM. Если runtime поддерживает это, системная RAM может хранить часть весов, KV-кэша и других данных, но выход за пределы VRAM обычно заметно снижает производительность.


AMD Ryzen AI Max

У Ryzen AI Max CPU, GPU и NPU используют один физический пул LPDDR5X, но под Windows Variable Graphics Memory (VGM) позволяет заранее зарезервировать его часть для встроенного GPU. Система видит эту область как dedicated graphics memory; CPU больше не может использовать ее как обычную RAM.

Например, Ryzen AI Max 395 допускает до 48 ГБ VGM в 64-ГБ системе и до 96 ГБ в 128-ГБ системе. У нового Ryzen AI Max+ PRO 495 с 192 ГБ общей памяти GPU можно выделить до 160 ГБ.

Остальная память остается RAM для CPU и ОС, но часть ее все еще может быть доступна GPU как shared graphics memory (например, для KV-кэша). Для 128-ГБ системы с 96 ГБ VGM AMD указывает до 112 ГБ суммарной адресуемой GPU памяти. По данным AMD, максимальная производительность достигается, когда GPU-нагрузка помещается непосредственно в VGM.

NVIDIA DGX Spark

Grace CPU и встроенный Blackwell GPU в DGX Spark используют общий пул LPDDR5X. В DGX OS он не делится заранее на большие фиксированные блоки CPU RAM и GPU VRAM. NVIDIA описывает эту UMA как архитектуру без fixed carve-out: CPU и GPU динамически используют одну физическую память.

В 128-ГБ DGX Spark нет фиксированного разделения вроде 96 ГБ VGM + 32 ГБ системной RAM у AMD.

Модель, KV-кэш, GPU-буферы, приложения и ОС используют один пул. CUDA-приложению может быть доступна значительная часть свободной памяти; по мере роста AI-нагрузки Linux может освобождать page cache и другие страницы.

Все 128 ГБ не гарантированы весам модели: память нужна также ОС, runtime, KV-кэшу и другим процессам. В актуальном DGX OS есть отдельная область для дисплея на 2 или 4 ГБ, но это не аналог большого VGM carve-out AMD.


NVIDIA RTX Spark N1X

По распределению памяти под Windows RTX Spark N1X близок к AMD Ryzen AI Max. CPU и Blackwell RTX GPU используют общий физический пул LPDDR5X объемом до 128GB. Когерентность поддерживается для памяти, доступной обоим процессорам. NVIDIA позиционирует старшую конфигурацию для локального запуска моделей вплоть до 120B.

Как и у AMD Ryzen AI Max под Windows, общий физический пул N1X разделяется на три логические области:

Unified physical memory =

+Dedicated GPU memory

+Shared system memory (CPU and GPU)

+CPU-only system memory

В CUDA данные, используемые преимущественно GPU, сначала размещаются в dedicated-области, а после ее заполнения драйвер может выделять память в shared-области без обмена через PCIe с физически отдельной RAM, характерного для дискретной RTX. Обе области находятся в одной LPDDR5X. NVIDIA предупреждает, что shared-область использует страницы меньшего размера, поэтому доступ к ней может быть медленнее. Веса модели и промежуточные буферы рекомендуются для GPU-exclusive allocations.

Ключевое различие здесь - между Windows-платформами с GPU-резервом и DGX Spark под Linux:

  • DGX Spark под Linux использует динамический общий CPU/GPU пул без большого fixed carve-out;

  • AMD Ryzen AI Max и RTX Spark N1X под Windows используют выделенную GPU-область, shared CPU/GPU memory и оставшуюся системную память;

  • shared memory расширяет адресуемую GPU память за пределы dedicated-области, но ее использование зависит от программного стека и доступного бюджета;

  • весь установленный объем RAM не гарантирован модели: часть памяти недоступна для GPU-выделений, а ОС и другие процессы тоже требуют ресурсы.

По общей схеме распределения памяти RTX Spark N1X и AMD Ryzen AI Max под Windows относятся к одной группе: dedicated-область зарезервирована для GPU, shared-область доступна CPU и GPU, а оставшаяся часть - только CPU. Конкретные правила различаются: NVIDIA задает shared-область в пределах 50-80% памяти, оставшейся после carveout, а AMD описывает типичное выделение 50% оставшейся RAM под shared graphics memory. Это не основание считать N1X промежуточной архитектурой между AMD и DGX Spark.

Apple Silicon

Apple Silicon использует общий физический пул CPU/GPU без предварительного выделения фиксированной VRAM. Apple определяет unified-memory GPU как GPU, разделяющий всю свою память с CPU: оба процессора работают с одними данными без копирования между RAM и отдельной VRAM через PCIe.

Веса LLM, KV-кэш и другие структуры занимают unified memory без предварительного разделения, например на 96 ГБ GPU и 32 ГБ CPU. Реально доступный модели объем меньше установленного: macOS, runtime, приложения и GPU-буферы используют тот же пул.


Главное различие - способ распределения общего физического пула. DGX Spark под Linux и Apple Silicon не требуют большого предварительного GPU-резерва. AMD Ryzen AI Max и RTX Spark N1X под Windows используют выделенную GPU-область и общую CPU/GPU-память. Их правила, драйверы и программные интерфейсы различаются, но базовая схема распределения близка. Во всех случаях нужно учитывать память для ОС, приложений и буферов; общий объем RAM не равен доступному объему для весов LLM.

Кластеры: 512GB у NVIDIA и 768GB у AMD

У DGX Spark на GB10 каждая старшая машина содержит 128GB. Четыре машины дают 512GB суммарно. NVIDIA Sync поддерживает настройку такого кластера; для четырех узлов нужен соответствующий сетевой коммутатор QSFP, а прямое соединение подходит для меньших конфигураций.

У AMD тоже есть путь к распределенному запуску: компания публикует пример четырех узлов с llama.cpp RPC. Кроме того, Framework заявляет объединение четырех Desktop с Ryzen AI Max+ PRO 495 и 192GB на узел - до 768GB суммарно.

В обоих случаях сумма памяти не становится автоматически единым адресным пространством. Программа-оркестратор должна распределять модель между узлами; скорость зависит от сети и способа распараллеливания.

Кластер можно настроить под размещение крупной модели, скорость одного запроса или суммарную производительность сервиса. Для этого применяют несколько стратегий распределения:

  • Tensor parallel: узлы одновременно вычисляют части матриц одних и тех же слоев. Они совместно обрабатывают запрос, но часто обмениваются результатами.

  • Expert parallel: эксперты MoE размещены на разных узлах, токены направляются к нужным экспертам. Распараллеливание может помочь, но обмен данными и неравномерная загрузка способны съесть выигрыш.

  • Pipeline parallel: группы слоев разделены на последовательные стадии. Один токен проходит их по очереди; несколько запросов или микропакетов могут заполнить разные стадии одновременно. Возможны простои конвейера, но это эффективный сценарий при большом потоке последовательных задач.

  • Data parallel: разные копии модели обслуживают независимые запросы. Это увеличивает общую пропускную способность сервиса при достаточной памяти для копий, а не автоматически ускоряет один запрос.

Режимы можно сочетать, например tensor + pipeline или tensor + expert, если выбранная программа это поддерживает. Само наличие четырех узлов не гарантирует ускорения: важны сеть, синхронизация, размер пакета и баланс нагрузки. NVIDIA отдельно объясняет, как выбирать разделение модели под оборудование.

Для DGX Spark есть официальный двухузловой рецепт vLLM: Qwen3.8-27B NVFP4, tensor parallel на двух узлах и непрерывное объединение нескольких запросов в пакет. Этот пример показывает, что совместный расчет модели тоже может обслуживать параллельные запросы.


Сравнение производительности GPU и скорости памяти

Для больших локальных LLM у Ryzen AI Max основную вычислительную нагрузку берет на себя встроенный GPU Radeon 8060S/8065S. Заявленные 50/55TOPS NPU для такого сравнения можно игнорировать: в обычном GGUF-сценарии llama.cpp используется iGPU, а не NPU. Специализированные способы запуска LLM на NPU существуют, но это отдельный программный стек с собственными требованиями. Поэтому суммарные 126/131TOPS CPU + GPU + NPU не показывают скорость работы с большой LLM.

У AMD более полезный ориентир - производительность Radeon в FP16: около 45.9TFLOPS для 8050S (расчетный пик), до 60TFLOPS для 8060S и до 61TFLOPS для 8065S. Расчет для 8050S: 32 CU × 512 FP16-операций за такт × 2.8GHz = 45.8752TFLOPS; фактическая скорость LLM зависит от нагрузки.

У DGX Spark маркетинговый 1PFLOP FP4 тоже реален, но описывает специальный режим с разреженностью 2:4 для специфичной точности FP4. Без нее расчетный потолок составляет около 500TFLOPS FP4. Ни одно из этих чисел не является готовым прогнозом скорости ответа или подходящей базой для сравнения реальной производительности.

Для распространенных локальных моделей в llama.cpp, LM Studio и Ollama практичнее сравнивать вычислительную часть в FP16/BF16, учитывая особенности реализации. FP4 (где NVIDIA DGX имеет огромную производительность) требует подготовленной модели и программы, которая действительно использует этот режим.

Платформы и пропускная способность памяти

Чип в старшей конфигурации

CPU и GPU

Память и ее скорость

Источник

NVIDIA RTX Spark N1X

CPU 20 ядер; GPU 6144 CUDA-ядер

До 128GB общей памяти; 300GB/s, шина 256 бит по документации NVIDIA

NVIDIA GB10 Grace Blackwell

CPU 20 ядер; Blackwell GPU

128GB LPDDR5X; 273GB/s

Ryzen AI Max (PRO) 385/390

CPU 8/12 ядер; Radeon 8050S, 32 CU

До 128GB LPDDR5X 8000MT/s, шина 256 бит (расчет: 256GB/s)

Ryzen AI Max PRO 485/490

CPU 8/12 ядер; Radeon 8050S, 32 CU

До 192GB LPDDR5X 8533MT/s, шина 256 бит (расчет: 273.1GB/s)

Ryzen AI Max+ PRO 395

CPU 16 ядер; Radeon 8060S, 40 CU

128GB; у Framework LPDDR5X 8000MT/s, 256 бит (расчет: 256GB/s)

Ryzen AI Max+ PRO 495

CPU 16 ядер; Radeon 8065S, 40 CU

192GB у Framework; LPDDR5X 8533MT/s, 256 бит (расчет: 273.1GB/s)

Apple M4 Max

CPU 16 ядер, GPU 40 ядер, NPU 16 ядер

128GB; 546GB/s

Apple M3 Ultra

CPU 32 ядра, GPU 80 ядер, NPU 32 ядра

До 512GB при выпуске; 819GB/s

Apple M5 Max

CPU 18 ядер, GPU 40 ядер, NPU 16 ядер

128GB; 614GB/s

Apple M5 Ultra

CPU 36 ядер, GPU 80 ядер, NPU 32 ядра

До 512GB; 1.2TB/s

Вычислительная производительность GPU

GPU

Архитектура

FP16/BF16 dense

FP8 dense

FP4 dense

Apple M4 Max, 40 GPU-ядер

Apple GPU M4

Не раскрыто*

Не раскрыто

Не раскрыто

Apple M3 Ultra, 80 GPU-ядер

Apple GPU M3

Не раскрыто*

Не раскрыто

Не раскрыто

Apple M5 Max, 40 GPU-ядер

GPU + Neural Accelerators

Не раскрыто*

Не раскрыто

Не раскрыто

Apple M5 Ultra, 80 GPU-ядер

GPU + Neural Accelerators

Не раскрыто*

Не раскрыто

Не раскрыто

Radeon 8050S / Ryzen AI Max (PRO) 385/390, Max PRO 485/490

RDNA 3.5

~45.9 (FP16, расчет)

Нет native

Нет native

Radeon 8060S / Ryzen AI Max+ 395

RDNA 3.5

До 60 (FP16)

Нет native

Нет native

Radeon 8065S / Ryzen AI Max+ PRO 495

RDNA 3.5

До 61 (FP16)

Нет native

Нет native

Radeon RX 7900 XTX

RDNA 3

123 (FP16)

Нет native

Нет native

Radeon RX 9070 XT

RDNA 4

195 (FP16)

389

Нет native

GeForce RTX 4070

Ada

58.3

116.6

Нет native

GeForce RTX 4080

Ada

97.5

194.9

Нет native

GeForce RTX 4090

Ada

165.2

330.3

Нет native

DGX Spark / GB10

Blackwell

~121 (тест)**

~241 (тест)**

~500 (расчет)**

GeForce RTX 5070

Blackwell

61.7

123.5

493.9

GeForce RTX 5080

Blackwell

112.6

225.1

900.4

GeForce RTX 5090

Blackwell

209.5

419

1676

Все числовые значения в таблице даны в TFLOPS без ускорения за счет разреженности 2:4 (dense). Для GeForce RTX 40/50 указана матричная производительность Tensor Core с накоплением в FP32. Для Radeon приведены официальные FP16/FP8 Matrix. «Нет native» означает отсутствие нативного матричного режима этой точности, а не невозможность запустить квантизованную модель. INT4 и FP4 - разные форматы: 779TOPS INT4 у RX 9070 XT нельзя записывать как FP4 TFLOPS.

* Для Apple оценки shader FP16 и производительность специализированных матричных блоков - разные показатели, поэтому смешивать их в одном числовом рейтинге некорректно. Сопоставимая официальная таблица по точностям в приведенных источниках не опубликована. У M5 Max и M5 Ultra есть Neural Accelerator в каждом GPU-ядре, поэтому старые shader-оценки не отражают весь их AI-потенциал.

** Для GB10 ~121TFLOPS FP16/BF16 и ~241TFLOPS FP8 - результаты конкретного cooperative-matrix теста, а не официальные паспортные пики NVIDIA. Результат зависит от теста и программного стека. ~500TFLOPS FP4 - расчет из заявленного 1PFLOP с двукратным ускорением от разреженности; разреженность сама по себе в обычной модели не появляется.

FP16/BF16 - ориентир вычислительной мощности, а не рейтинг токенов в секунду. Реальная скорость зависит от пропускной способности памяти, объема контекста, числа одновременно обрабатываемых запросов и реализации операций. Для выбора компьютера полезнее одинаковый тест модели, квантизации и контекста, как в сравнении ниже.


Важно не путать квантизацию весов модели и точность вычислений. GGUF Q4_K_M, IQ4_XS и Q5_K_M хранят веса примерно в 4-5 битах, но не включают FP4-вычисления автоматически. Программа распаковывает веса и использует поддерживаемые FP16/BF16, целочисленные или смешанные операции. Поэтому Q4-модель работает и на RTX 4090 или Radeon 8060S: экономия памяти сохраняется без нативного FP4.

Для нативных FP4-вычислений на Blackwell нужны подготовленная сборка модели и совместимый движок. В режиме NVFP4 W4A4: в 4 бита переводятся и веса (W4), и промежуточные значения (A4). NVIDIA показывает, что одного сжатия весов W4A16 недостаточно для включения FP4 Tensor Core в рассмотренном стеке. W4A4 может снизить качество; калибровка и обучение с учетом квантизации помогают его восстановить, но результат нужно проверять на конкретной модели и задаче.


RTX Spark N1X и GB10 близки по архитектуре: в старших версиях у обоих 20 Arm-ядер CPU и Blackwell GPU с 6144 CUDA-ядрами. Однако официальные характеристики RTX Spark разделяют ноутбучный N1X с TDP 45-80W и настольный с TDP процессора 140W; у GB10 TDP также 140W. Есть и младший ноутбучный N1X с 18 CPU-ядрами и 5120 CUDA-ядрами. Обращайте внимание на версию процессора.


N1X рассчитан на Windows on Arm, DGX Spark использует Linux.

В проверенных источниках не найден парный тест N1X и GB10 на одинаковой модели, квантизации и контексте, поэтому можно лишь предполагать, что результаты десктопного N1X будут сопоставимы с GB10.


Для AMD есть прямые измерения: Tom's Hardware сравнил Ryzen AI Halo на Max+ 395 и Dell Pro Max на GB10 в llama.cpp через llama-benchy. В таблице приведены результаты при глубине контекста 8192 токена, входе 2048 и ответе 256 токенов; автор использовал GGUF Unsloth Q4_K_M. AMD-машина имела 128GB LPDDR5X-8000 и номинальный TDP 120W. TTFT - задержка до первого токена; при генерации больше токенов в секунду означает более быстрый ответ.

Тестовая модель

AMD 395: TTFT

GB10: TTFT

AMD 395: генерация

GB10: генерация

Qwen3.6-35B-A3B

11.4s

5.0s

43.8 токена/с

58.9 токена/с

gpt-oss-120B

26.0s

5.9s

46.4 токена/с

50.7 токена/с

В этих двух тестах GB10 выигрывает и по TTFT, и по скорости генерации. Автор отмечает, что кэширование входа может сократить разницу в TTFT.


Скорость всей агентной задачи может дать другой результат. В собственном тесте AMD HEPA обе машины запускали Qwen3.6-35B-A3B в 4-битном формате и готовили презентацию из одинаковых локальных документов. AMD Halo завершил работу за 311.6s, DGX Spark - за 367.1s, хотя отдельный GPU-этап был быстрее у Spark: 137.2s против 159.5s. Семь из восьми этапов выполнялись на CPU. Это пример конкретного теста производителя: для агента стоит измерять и время готового результата, включая поиск, обработку документов и проверку ответа.

Что важнее для скорости: память или вычислительные блоки?

При генерации ответа dense-модель (например, Qwen3.8-27B) использует все свои слои и веса. При одном или нескольких запросах ускоритель часто ждет чтения данных, поэтому важна пропускная способность памяти: она влияет на скорость появления следующих токенов.


Во время prefill компьютер обрабатывает входной текст и создает KV-кэш; длинный вход дает больше возможностей для параллельных матричных вычислений. На этом этапе prefill сильные вычислительные блоки могут сократить ожидание первого токена. Влияние больших пакетов запросов и прогнозирование производительности рассматриваются в отдельной статье NVIDIA.


Для агента, который многократно получает контекст и возвращает короткий ответ или вызов инструмента, время prefill может занимать существенную долю ожидания. Также упомянутые MoE-модели Qwen3.8-Flash-Next и GLM-5.3-Flash используют только выбранных экспертов, что снижает требование к скорости памяти (в сравнении с dense-моделями), хотя это по-прежнему остается важным фактором общей производительности.


Разработчик EXO измерил одну и ту же Llama-3.1 8B FP16: вход 8192 токена, ответ 32 токена. У DGX Spark prefill занял 1.47s, генерация - 2.87s, всего 4.34s; у M3 Ultra Mac Studio - 5.57s, 0.85s и 6.42s. В этом тесте Spark выиграл обработку входа, а Mac - генерацию.


На что еще обратить внимание при выборе архитектуры компьютера


Любая из рассмотренных архитектур подходит для локального запуска LLM. Но набор доступных программ, способы ускорения и инструменты дообучения различаются, поэтому окончательный выбор может определяться конкретной задачей.


Например, если нужен сервер для нескольких пользователей, у NVIDIA есть TensorRT-LLM: специализированный движок с оптимизациями под её GPU, совместной обработкой запросов и распределением модели между ускорителями. Он рассчитан на NVIDIA, поэтому готовое решение на его основе нельзя просто перенести на AMD или Apple: потребуется другой движок и повторная настройка. Доступ к таким специализированным программам и готовым CUDA-проектам - практическое преимущество NVIDIA. Возможности TensorRT-LLM.


Для адаптации модели под собственные документы, стиль ответов или рабочие задачи важнее инструменты дообучения. На Mac можно использовать MLX LM, который поддерживает LoRA и QLoRA, позволяющие обучать дополнительные адаптеры с меньшими требованиями к памяти, чем полное дообучение модели. На поддерживаемом оборудовании NVIDIA и AMD доступен Unsloth, включая Unsloth Studio с интерфейсом в браузере: в нём можно выбрать модель, данные и параметры обучения, затем следить за результатами. Поэтому дообучение само по себе не требует обязательного выбора NVIDIA, но выбранная программа и её возможности могут повлиять на покупку. MLX LM, Unsloth на AMD.


Если нужен только запуск готовой модели через LM Studio или Ollama, выбор программного стека обычно менее ограничивает выбор архитектуры. Если же компьютер приобретается под определённый обучающий процесс, сервер или готовый ИИ-проект, сначала стоит выбрать необходимые программы: их CUDA-, ROCm- и Metal-компоненты зачастую требуют разных сборок и не заменяют друг друга автоматически.


Продолжение статьи.

Во второй части этой статьи вы найдете: какие LLM-модели можно полностью разместить в памяти компьютера и на что они способны. Затем сравним готовые ноутбуки и рабочие станции на разных архитектурах, которые производители предлагают для работы с локальными LLM.


Поддержите Tinker Vault.
Некоторые ссылки являются партнерскими (
Amazon.com, Amazon.de, AliExpress). Каждый товар приобретается и тестируется самостоятельно - ваша поддержка (без дополнительных затрат с вашей стороны) помогает этому проекту продолжать работу. Спасибо!

bottom of page