Хроники пет-проекта. Как идея выросла в data-продукт. Привет всем, кто недавно присоединился - вас уже больше 2000 👋 Сегодня расскажу, как мы вчетвером (я, Никита, Рома и Снежана) за год превратили простую идею в полноценный data-продукт. Если вы делаете свои пет-проекты, возможно, этот путь будет полезен. У нас - опыт работы в больших и средних IT компаниям, и мы делали все так как принято в большом IT. Большую статью про проект писали на VC. Всё началось с простых вопросов 〰Сколько стоят IT навыки? 〰Сколько денег предлагают на конкретных ролях? Так появился маленький пет-проект. Со временем он вырос в полноценный data-pipeline с LLM, дашбордами, алертами и автоматическими дайджестами. В базе - несколько миллионов data-пойнтов. По некоторым источниками собрали историю с 2012 года. Про проект писали телеграм-каналы с общей аудиторией более 2млн человек. Мы делали всё по выходным, и сделали то, что еще никто не делал: 〰 объединили данные из разных источников и построили ежедневно обновляемый дашборд 〰создали телеграм-канал с автоматической аналитикой вакансий. 〰 подключили нейросети к базе данных и реализовали диалог с данными почти сразу после появления MCP. Коротко весь путь по шагам: 〰 Постановка проблемы. Про боль рынка, и зачем всё это. Первая версия дашборда. "Дайте вилку" или IT вакансии с зарплатами 〰 Сбор данных и автоматизация. Строим песочницу для экспериментов с данными. IT вакансии и автоматизация парсинга зарплат. 〰 Проект становится системой. От "скрипта на коленке" в продукт: пайплайн, хранилище, трансформации, дизайн. Агрегаторы IT вакансий и их сравнение Проект VILKY. Roadmap, API, dbt и MongoDB 〰 LLM + Telegram + автоматические дайджесты Как мы придумали дополнительные фичи Проект VILKY. LLM, телеграм канал и дайджесты Пет-проект VILKY. Архитектура, исследования, дизайн. 〰 Неожиданный эффект Telegram. Как проект подхватили крупные IT-паблики VILKY в IT пабликах и эффект Telegram 〰 Инсайты и наблюдения про рынок IT 14000 открытых IT вакансий на одном дашборде Hard и Soft навыки в IT профессиях. Алгоритмы NLP 〰 AI-репортинг как следующий слой AI отчёты на основе данных Нейрорепортинг Claude + MCP и технологические тренды в IT Локальное подключение нейросетей к БД 〰 Взгляд сверху Проекты, продукты и продуктовый подход в пет-проекте Что мы видим сейчас Мы собираем данные каждый день, и теперь доступны вещи, которых не было ещё год назад: 〰динамика вакансий по дням 〰сезонность найма 〰тримодальность зарплат (три кластера компаний с разными вилками) 〰распределение грейдов по IT-направлениям и многое другое Мы можем: 〰считать стоимость навыков 〰строить карты эволюции профессий 〰искать вакансии по любому описанию 〰общаться с данными через Claude или ChatGPT 〰находить скрытые паттерны в истории рынка Пространство для анализа огромное. А времени, как всегда, меньше. 〰И вопрос про будущее: Технически мы уже можем дать доступ к данным через ChatGPT. Например: 〰 загружать резюме и искать релевантные вакансии 〰 задавать вопросы реальному рынку 〰 получать ответы из структурированных данных В публичном виде такого пока никто не делал. Это полноценная связь LLM с данными. Интересно ли вам было бы общаться с рынком вакансий напрямую через ChatGPT? Ставьте "❤️" в реакциях. @data_bar 🍀