В сообществе популярен тезис «multi-hop decay»: на 200K+ модель находит отдельные факты, но теряет связи между ними. Решил проверить на своей модели и своём harness, а не на вендорских цифрах.
Что за модель
Qwen3.8-27B — гибридная архитектура: 64 слоя, из них 16 с full attention и 48 с linear attention. KV-кэш растёт только на 16 слоях, поэтому 246K контекста помещаются в 32 ГБ RTX 5090 при Q8 KV. Это уже не «обычная dense-27B», и выводы от неё переносить на другие модели нельзя.
Harness
Два скрипта: runner.py для 1-hop и 3-hop и hard.py для 5-hop. Сено на русском, дистракторы отличаются одной цифрой или буквой: «Восток» и «Восток-2», «4471» и «4472», «Кравцова» и «Кравцова-Горская». Ответ истинной цепочки — Аверин, дистракторной — Тимохин. Модель должна пройти всю цепочку, а не найти похожее слово.
Результат
14 из 14 прогонов успешны: 1-hop и 3-hop на 31K, 63K и 121K; 3-hop и 5-hop на 246K на разной глубине (2%, 25%, 50%, 75%, 98%). Контрольные запросы тоже прошли: на дистракторе модель отвечает «Тимохин», на несуществующем корпусе — отказывается.
Prefill на 246K — около 1094 tok/s, на короткой дистанции — 2436 tok/s. Один прогон на 246K занимает около четырёх минут.
Вывод
На этой модели и этом harness multi-hop decay не воспроизвёлся. Вероятная причина — архитектура: 48 из 64 слоёв имеют состояние фиксированного размера, а не KV на всю длину. Это не значит, что «все 27B хороши на 246K»; это значит, что конкретная Qwen3.8-27B на конкретном тесте цепочку держит.