К
Кот в Коде|ИИ и Питон
@cat_with_code3.3K подп.
1.4Kпросмотров
40.4%от подписчиков
18 марта 2026 г.
📷 ФотоScore: 1.5K
Локальные джуны Сколько раз писал про нейронки (что в исследованиях, что в практике, что в новостях) так почти не писал про локальное развёртывание джунов на ПК. Казалось бы, развернул и развернул, чё бубнить то? Но в этой теме есть о чём поговорить. Давайте разбираться. 1. Цель Начнём с того, зачем вам на ПК разворачивать нейросеть. В основном их используют для: А) агентов (Claude Code, Cursor, GitHub Copilt etc.): Б) поиграться (LM Studio, Ollama или даже KoboldCPP); В) по работе (GigaChat в Сбере, YandexGPT угадайте где, Saiga) Помимо этого, нужно понимать, с какой целью вам нужна нейросеть. Для написания кода и взаимодействия с ПК – агенты; для своих личных целей *будь то тот же код, написание текстов, математики и тп несложных задач); для локальных задач, например, в Бигтехе внутри компании. 2. Вы откуда? Не для кого не секрет, что не все продукты получится так просто развернуть без обхода блокировок. Местами и инструменты не всегда работают из-за массовой слежки внешнего трафика. Так что у кого какие возможности, тот тем и пользуется. 3. Железо Кроме того, лучше иногда проверять характеристики ПК, потому как от них зависит список джунов под боком: А) Видеокарта (VRAM) VRAM отвечает за то, сможет ли модель целиком поместиться в память GPU для обеспечения мгновенной генерации. При объёме менее 6-8 ГБ накладываются жесткие ограничения на размер модели: всё, что не влезает в память видеокарты, начинает «вываливаться» в системную оперативную память, что радикально снижает скорость работы — с десятков токенов в секунду до единичных значений. Б) Оперативная память (RAM) Оперативная память выступает в роли «запасного аэродрома». Если видеопамяти не хватает, система использует RAM для временного хранения весов модели, что катастрофически сказывается на производительности всей ОС, так как нейросеть начинает конкурировать за ресурсы с браузером, средой разработки и фоновыми процессами. В) Процессор (CPU) Процессор берет на себя роль диспетчера, управляя очередью вычислений. В контексте локальных нейросетей CPU должен быстро отдавать данные видеокарте. Использование мощного охлаждения становится обязательным условием, так как постоянная нагрузка на все ядра приводит к серьезному нагреву компонентов. Сразу оговорюсь: выносем за скобки Apple MacBook с их Unified Memory. Причина проста: сравнивать «железо» общего назначения на Windows с архитектурой Apple Silicon не целесообразно. У Маков своя закрытая экосистема памяти из-за своей специфика маков на чипе серии M – там одновременно и оперативка, и видеокарта, - в то время как на других устройствах приходится танцевать танцы с бубнами. На примере расскажу, что я сделал: 1. Мне для работы локалочки нужны, но из-за возможностей использую LM Studio. 2. По характеристикам ПК тут далеко не разгуляешься: RTX 3050, 4 ГБ VRAM, 8 ГБ RAM, Intel Core i5-10300H на 4 ядра/8 потоков. Не разойдёшься далеко, правда? 3. Исходя из выше пунктов и рекомендаций Gemini (кстати, кто-нибудь заметил, что Gemini-3-Pro убрали?) я смог установить: • Qwen3 4B / Thinking: Основные рабочие лошадки для написания кода микроконтроллеров и сложного дебага логики. • Qwen3 VL 4B: Мои «глаза» для анализа схем и визуального состояния плат. • Phi-4 Mini Reasoning: Мой математик для оптимизации алгоритмов. • Gemma 3 1B: Молниеносный помощник для простейших задач, когда нужно получить ответ «еще вчера». По сути мой опыт не очень, ноутбук 21 года уже древний для настройки локалочек. Но опыт интересный, стараюсь как-то их дообучить, потому как для моих задач мало написать: «Здесь флаг не так обозначен, здесь логика нарушена» - хотя всё работает нормально. Было ли для вас полезно? Если такое зайдёт, буду чаще про это писать. Кот в Коде|@kot_research_bot
1.4K
просмотров
3750
символов
Нет
эмодзи
Да
медиа

Другие посты @cat_with_code

Все посты канала →
Локальные джуны Сколько раз писал про нейронки (что в исслед — @cat_with_code | PostSniper