Как запустить Qwen 3.5 локально How to run Qwen 3.5 locally

Статья представляет собой практическое руководство по локальному запуску нового семейства языковых моделей Qwen 3.5 от Alibaba. В ней подробно описаны аппаратные требования для различных квантованных версий моделей, от малых (0.8B) до крупных (397B), а также приведены рекомендуемые настройки параметров генерации для режимов "мышления" и "инструкций". Материал важен для разработчиков, желающих интегрировать мощные мультимодальные LLM с поддержкой 256K контекста в свои локальные проекты, используя llama.cpp и GGUF-формат.

The article is a practical guide for running Alibaba's new Qwen 3.5 model family locally. It details hardware requirements for various quantized versions, from small (0.8B) to large (397B) models, and provides recommended generation parameter settings for both "thinking" and "instruct" (non-thinking) modes. This is significant for developers looking to integrate powerful, multimodal LLMs with 256K context support into local projects using tools like llama.cpp and the GGUF format, offering a cost-effective alternative to cloud APIs.