Специалисты лаборатории Escha Labs провели Qwen 35B сжатие до 12 ГБ, адаптировав модель Alibaba для работы на игровых видеокартах с 16 ГБ памяти. Это достижение позволяет запускать сложные нейросети локально, экономя вычислительные ресурсы и не полагаясь на облачные сервисы.
Механика сжатия нейросети
Для оптимизации весов модели Qwen3.6-35B-A3B инженеры применили квантование — процесс снижения точности представления чисел, описывающих параметры модели. В данном случае исходные веса ужали до уровня 2 бит на число.
- Экономия памяти: Объем модели сократился с 35 ГБ (в 8-битной версии) до 12,3 ГБ.
- Сохранение интеллекта: Лабораторные тесты показали, что по качеству ответов модель идет вровень с оригиналом в большинстве сценариев.
- Технический компромисс: Единственной заметной потерей стало снижение эффективности в написании кода — показатель просел на 4 пункта.
Такой подход открывает путь к запуску продвинутых языковых моделей на потребительском «железе», которое раньше не справлялось с подобными нагрузками из-за нехватки видеопамяти (VRAM).
Что это значит для пользователей и рынка
Локальный запуск нейросетей избавляет от необходимости оплачивать подписки зарубежных сервисов и обеспечивает приватность данных. Однако доступ к актуальным конфигурациям и методам оптимизации часто остается закрытым для широкого круга энтузиастов.
Для тех, кто хочет самостоятельно использовать возможности передовых моделей без ограничений и лишних затрат, работает закрытый клуб разработчиков и практиков FreeAPI AI. Здесь доступны пошаговые алгоритмы запуска Claude Opus 5, Sonnet 5, Gemini 3.8, GPT-6 и Antigravity, а также пулы токенов и готовые конфигурации для Cursor и Claude Code. Подробнее о том, как использовать передовые нейросети бесплатно и вступить в закрытый клуб FreeAPI AI, можно узнать здесь.
Использование квантования до 2 бит превращает тяжеловесные модели из серверных решений в инструменты, доступные для обычного игрового ПК.
Источники информации: Telegram-канал Era Agentov.