🤯 Неожиданно: AI замедляет опытных разработчиков Кажется очевидным, что продвинутые AI-инструменты должны ускорять работу опытных программистов. Но новое исследование от METR показывает ровно обратное: опытные open-source разработчики, работая с популярными инструментами типа Cursor Pro и Claude 3.7, на самом деле тратили на задачи на 19% больше времени, чем без использования AI. 👉 Исследователи провели рандомизированный контролируемый эксперимент с участием 16 опытных разработчиков на реальных задачах в крупных open-source проектах (в среднем по 23 тыс. звезд на GitHub). Программисты в среднем имели по 5 лет опыта работы с этими проектами. 💡 Удивительно, что разработчики до начала работы ожидали ускорения на 24%, а после эксперимента были уверены, что AI сократил время выполнения задач на 20%. Эксперты в экономике и ML прогнозировали сокращение времени почти на 40%. Реальность оказалась совершенно иной. Основные причины замедления: - Избыточный оптимизм в оценке возможностей AI. - Низкая надёжность AI-кода (менее 44% генераций кода принимались без существенных доработок). - Сложность и масштабность репозиториев, для которых AI инструменты пока не адаптированы. - Неявный контекст проектов, который не учитывается AI. ✅ ИИ был наиболее полезен: - При работе с новыми API, библиотеками и инструментами. - В ситуациях, когда требовался поиск или изучение документации. - Для задач, где разработчику не хватало собственного опыта (например, «как написать frontend-тесты», работа с Git-хуками и специфичными функциями). 🚫 ИИ работал хуже всего: - В крупных и сложных проектах с большим количеством неявного (implicit) контекста и специфических правил. - На задачах, где разработчики имели обширный опыт (в среднем около 5 лет и более 1500 коммитов в проект). - Там, где необходима была высокая точность и надежность — многие генерации требовали значительной ручной доработки, что замедляло процесс. Вывод: оценки, основанные на синтетических или небольших задачах, могут сильно расходиться с реальной эффективностью AI на сложных проектах. 🔗 Оригинал исследования