M4 Mac mini Ollama — бенчмарк: 7B / 14B tok/s + Swap

Достаточно ли быстр Ollama на M4 Mac mini?

На M4 Mac mini локальный Ollama чаще упирается в Swap, а не в «слабый GPU». 7B в быту обычно хватает; 14B или Chrome + VS Code + CI runner заполняют unified memory — и генерация заметно тормозит. Performance-статья кластера M4/M5 (qwen3:8b / qwen3:14b · реальная фоновая нагрузка).

Таблица бенчмарка

Стенд: Mac mini M4 · macOS 15.x · Ollama latest · фон Chrome + VS Code + Slack. Цифры Ollama; llama.cpp даст другие tok/s, но поведение Swap схоже.

Практика (важнее таблицы)

① 7B: хватает на каждый день

Дополнение кода, chat, суммаризация, лёгкий локальный ассистент — большинство останавливается здесь. 16 ГБ ок; 24 ГБ спокойнее.

② 14B: память решает ощущения

Чувствуется раньше цифр: медленные токены, рывки стрима, задержки при мультизадачности. На 16 ГБ Swap даёт «тяжесть» рано.

③ Мультизадачность — настоящий разделитель

На 16 ГБ с qwen3:8b и локальным xcodebuild: Swap 0→1,8 ГБ, tok/s на том же промпте 34→29 — CI и инференс делят один пул памяти.

Edge case: 14B после ~2 ч — давление памяти зелёное→жёлтое без новых вкладок. Планирование: Memory / Swap.

Механизм Swap (ядро статьи)

На Apple Silicon узкое место локального LLM часто здесь — не в числе ядер Neural Engine:

1. Unified memory заполнена
2. macOS освобождает inactive pages
3. Swap на SSD
4. Растёт IO-латентность
5. tok/s −5–15%

Под давлением macOS сбрасывает страницы на SSD. Краш редок, но IO-латентность бьёт по ощущениям. 34→29 с CI — та же цепочка на реальном столе.

M3 vs M4 vs M2

Запрос «M4 Ollama» часто означает: стоит ли менять поколение?

Тренд 7B (ориентир)

• M2 → база
• M3 → ~+10–15% tok/s
• M4 → ~+15–25%, иногда слабее эффекта 16→24 ГБ

Что реально меняет опыт

• M2/M3/M4 тянут 7B; смена чипа не снимает давление 14B
• M4 vs M3 на 7B — скромно; стабильность 14B — про Swap
• При покупке 16 vs 24 ГБ часто важнее, чем M3 или M4

Вывод: для локального Ollama важнее конфигурация RAM, чем поколение чипа. Hub M4/M5.

16 vs 24 ГБ — что брать?

16 ГБ подходит

• В основном 7B
• Пики на Cloud Mac / CI

Профиль: хватает, но с колебаниями. История покупки: 16 vs 24 ГБ — недельный дневник—здесь только цифры.

24 ГБ подходит

• 14B каждый день, CI + LLM, стабильный tok/s

Профиль: стабильная работа.

Правило: 7B → 16 ГБ; 14B → закладывайте 24 ГБ.

Итог

M4 Mac mini + Ollama: вычислений хватает — RAM и Swap решают ощущения.

Роли в кластере

Один primary benchmark URL на локаль; остальное — внутренние ссылки:

Воспроизведение (приложение)

Та же фоновая нагрузка (spec 📅 m4-ollama-benchmark-spec):

ollama pull qwen3:8b && ollama run qwen3:8b ""
memory_pressure

ollama run qwen3:8b \
  "Write 512 tokens about Apple Silicon unified memory." \
  --verbose 2>&1 | tee /tmp/ollama-bench.log

Записывайте Memory Used · Swap · tok/s · Memory Pressure. 14B: qwen3:14b.