Градиент обреченный

Коротко как провел выходные

🔺 Taalas HC1 Друзья, это какая-то жуть. Прочитал новость и попробовал новую железку, на которую не просто записали в память какую-то LLM, а физически реализовали в кремнии (!) Так как в этом случае обходится бутылочное горлышко всей типичной архитектуры современной электроники (где память и вычисления разнесены и память работает гораздо медленней), то эта штука генерирует 17000 токенов в секунду 😱 Захардкодили квантизованную LLama 3.1 8B. Из-за хардкода же, само собой, на железке только эта мо...

🔺 hf-mem Утилита, показывающая сколько нужно памяти для запуска модели с HF, кол-во её параметров и заодно их разбивку. Качает только метадату, по ней и считает. uvx hf-mem --model-id Qwen/Qwen-Image (uvx тут запускает hf-mem без установки в систему) Есть флаг --experimental (работает для ForCausalLM и ForConditionalGeneration классов), с ним считает размер KV cache'а, необходимого для инференса с заданными max-length и batch-size. 👉 https://github.com/alvarobartt/hf-mem

🔺 get-shit-done Изучаю подходы к разработке через спеки, когда происходит детальное описание новой фичи, её взаимодействия с другими компонентами, контракты и т.д. (по сути это роль аналитика, составляющего ТЗ). По этим спецификациям дальше идёт поэтапная разработка. Подход для традиционной разработки стандартный, плюсы тут налицо — зафиксировали требования, делаем. Подход этот постепенно перетекает в разработку с ИИ-агентами, которая формализируется на наших глазах. Несколько набирающих популя...

Уволился!

Друзья, спасибо за поддержку и предложения! (всех запомнил) Действительно уволился из Сбера. Прочитал много интересных версий на эту тему, но — на валютную удаленку не перехожу, меня не уволили, Яндекс не переманил, за границу не уехал, в монахи не постригся. В Сбере работалось очень комфортно. У компании есть огромное количество ресурсов, а руководство видит в ИИ потенциал, поэтому их будет только больше. Многому в Сбере научился и познакомился там с кучей классных людей. Свои плюсы и минусы, к...

В Claude Code вернули Ultrathink режим. Можно тратить токены еще быстрее. На самом деле это просто синтаксический сахар, чтобы не переключаться между режимами думания руками (ставишь средний и дописываешь Ultrathink всегда, когда надо). Вспоминается Midjourney и "ultrahigh, 4k, trending on artstation".

🔺 Визуализации В Claude вчера встроили интерактивные визуализации в чат, выглядят цельно. Раньше они, на самом деле, тоже были, но создавались как артефакты и отображались в боковой панели. В любом случае это лишний повод их посмотреть. Рисуется всё в векторном формате, верстается в виде виджета с переключателями. То есть схема получается динамическая, можно в неё потыкать при желании. В ChatGPT на днях тоже выкатили визуализацию научных концепций, там это пока что ограничено 70-ю предподготовл...

🔺 Как устроен Codex Перевел полный пост Gergely Orosz с деталями того, как в OpenAI делают и используют Codex. Есть интересные инсайты и рассуждения от команды: 🟢 Онбординг в команду. Новый сотрудник работает в паре с инженером из команды и в первой половине дня наблюдает за его процессом разработки. Во второй половине дня ему дают задачу, и ожидается, что он выкатит её в продакшн в тот же день. 🟢 Почему выбрали Rust, а не TypeScript. Как его используют смежные команды. 🟢 У коллег реакция ра...

Друзья, коллеги из Сбера пишут, что в департаменте RnD, где я работал, появилась возможность для найма исследовательских команд. Развивают перспективные направления, такие как Computer Use и работу в средах, редактирование речи и музыки, мультимодальный reasoning и т.д. Ресурсов у ребят достаточно, так что свой исследовательский зуд, если таковой имеется, можно будет удовлетворить в полной мере. Писать можете Саше @hukenovs напрямую