AI-лаборатория
AI-лаборатория
Локальные модели на RTX 5090: одинаковые бенчмарки, NIAH на длинном контексте и реальная скорость. Без маркетинга и смешивания разных метрик.
01. Железо и бенчмарки
Домашняя лаборатория: гоняю открытые LLM на RTX 5090. Ниже — одна таблица на одинаковых метриках: Qwen, Muse и фронтирный Opus 4.6. Мои независимые замеры — NIAH и скорость — отдельно, их нельзя ставить в одну таблицу со SWE-bench. Обновлено: 28.10.2026.
Железо
Таблица — одинаковые бенчмарки
Одна таблица, одни и те же пять метрик для всех строк: SWE-bench Pro, Terminal Bench 2.1, DeepSWE 1.1, LiveCodeBench v6, IFBench. Источник — в последней колонке. Это опубликованные цифры, не мой независимый прогон.
| Модель | SWE-bench Pro | Terminal Bench 2.1 | DeepSWE 1.1 | LiveCodeBench v6 | IFBench | Источник |
|---|---|---|---|---|---|---|
| Qwen3.8-27B | 61.7 | 73.0 | 42.2 | 90.3 | 79.5 | Qwen card |
| Qwen3.7-Plus | 57.6 | 64.0 | 14.2 | 89.6 | 79.1 | Qwen card |
| Qwen3.6-27B | 53.5 | 63.4 | 13.3 | 83.9 | 69.1 | Qwen card |
| Muse Glimmer-30B | 51.2 | 51.7 | — | — | 77.0 | Meta via Qwen |
| Claude Opus 4.6 Max (фронтир) | 53.4 | 78.2 | — | 88.8 | 62.5 | Anthropic, via Qwen |
| GPT-6 Astra (фронтир) | — | — | 74.1 | — | — | OpenAI card |
Почему одна таблица, а не две: если во второй те же метрики, она дублирует первую; если другие — это уже не сравнение. Поэтому здесь только одинаковые метрики и явный источник. Фронтирные строки добавлены только там, где есть цифра в той же версии метрики: Opus 4.6 — полный набор из карточки Qwen, GPT-6 Astra — DeepSWE 1.1 74.1 из карточки OpenAI. Остальные клетки у GPT-6 Astra — «—»: Terminal-Bench у OpenAI уже 4.0, а не 2.1, остальное не опубликовано в той же версии.
Почему это не «независимое сравнение»?
- SWE-bench Pro, Terminal Bench 2.1, DeepSWE 1.1, LiveCodeBench v6, IFBench — это агентные/кодовые бенчмарки. Публичных независимых прогонов ровно по этим пяти метрикам для всех моделей сейчас нет. Поэтому фронтир представлен там, где есть сопоставимая цифра: Opus 4.6 (полный набор) и GPT-6 Astra (только DeepSWE 1.1).
- Всё, что есть, — либо карточки вендоров, либо другие версии (Terminal-Bench 4.0), либо другие метрики (AA Intelligence). Смешивать их нельзя.
- Наши независимые замеры — NIAH и скорость — ниже, в «Подборе под RTX 5090». Они не ставятся в эту таблицу: это другое измерение.
Подбор под RTX 5090 — локальные данные
| Модель | Результат · бенчмарк | Скорость / VRAM | Заметки |
|---|---|---|---|
| Qwen3.8-27B (K-Quant) | SWE-bench Pro 61.7* | 80–100 tok/s | +vision (фото/видео), thinking mode, контекст до 1M; K-Quant, MTP |
| Qwen3.6-27B (dense) | SWE-Bench Verified 77.2 | ~85 tok/s | Лучший баланс качества и скорости (июнь 2026) |
| Qwen3.6-35B-A3B (MoE) | SWE-Bench Verified 73.4 | ~210 tok/s | В 3 раза быстрее, 3B активных параметров |
| Qwen3-Coder-Next 80B/3B (MoE) | SWE-Bench Verified 70.6 | FP8 ≈ 32 GB VRAM | Специализирована на агентах, Apache 2.0 |
| Gemma 4 31B (Google) | HumanEval 95.7 pass@1 | Q6_K ≈ 24 GB VRAM | Апрель 2026 |
| Muse-Glimmer-30B (K-Quant) | — | + DFlash spec. decoding · ~20.5 GB VRAM | Помещается с максимальным контекстом, в отличие от Qwen3.6-27B |
* — официальные цифры вендора; собственный прогон на RTX 5090 в планах.
Для vLLM на Blackwell — NVFP4-квантование под FP4 tensor cores. Основной рантайм — LM Studio.
NIAH 5-hop @246K: Qwen3.8-27B — 3/3 OK (всего 14/14 успешных прогонов, ~4 мин/прогон); остальные локальные модели не мерил. Это отдельное измерение, его нельзя ставить в одну таблицу со SWE-bench.