Вернусь к отчету CodeRabbit о сравнении кода, написанного человеками и сгенерированного ИИ, о котором писал неделю назад. На мой взгляд, главная проблема ИИ в разработке не в том, что "код становится хуже", а в том, что ИИ меняет экономику инженерного процесса. Он удешевляет генерацию кода, но одновременно делает более дорогой проверку, сопровождение и исправление ошибок. А это значит, что меняется соотношение затрат и рисков. Хочу напомнить, что по данным CodeRabbit, ИИ-генерированный код давал в среднем 10.83 ошибок на пул-реквест, а написанный человеком - 6.45(т. е. в 1.7 раза больше). В отчёте отдельно указано, что ошибки в логике ИИ совершал на 75% чаще, ошибался при обработке ошибок и исключений — почти в 2 раза чаще, имел проблемы с безопасностью до 2,74 раза выше. Т. е. это не ошибки в кодстайле или нейминге, это про серьезные дефекты, которые доезжают до продуктивов и там уже выявляются. По сути, имеет место интересное изменение - до недавнего времени узким местом разработки были сами изменения (медленное проектирование, кодирование, согласование). Теперь генерация становится дешёвой, и узкое место переезжает дальше, в код-ревью и тестирование. Чем больше дешёвого кода может произвести система, тем выше цена хорошего ревьювера, который способен быстро отделить рабочее решение от правдоподобной ошибки. И чем больше требуется понимание бизнес-контента и архитектуры, тем больше ИИ делает ошибки. Если измерять эффект от ИИ разработки по velocity, то тут все нормально - количество пул-реквестов растет, время до первого коммита - сокращается, разработчики чувствуют ускорение. Но начинает расти время на ревью, переработку кода, инциденты на стыках сервисов, нагрузка на тестировщиков. В исследовании отмечается, что ИИ ускоряет производство, но усугубляет определенные категории ошибок. Второй момент, который отмечается в отчете, что усложняется процесс код-ревью. Классический процесс проектировался под процессы, где код пишется людьми с ограниченной скоростью и с более-менее понятной мотивацией решений. ИИ меняет масштаб и ревьювер получает на вход больше кода, который "визуально нормальный", но при этом не до конца корректен. Такой код опасен тем, что он выглядит правдоподобным, а не ошибочным. И ревьювер занимается не проверкой логики кода, а когнитивно дорогим поиском скрытых дефектов. Ну и в сухом остатке получаем, что ИИ начинает постепенно менять структуру ценности людей в команде. Если черновой код генерируется быстро и дёшево, то начинает расти роль тех, кто умеет задавать архитектурные рамки, описывать ограничения системы, проводить глубокий ревью кода. Т.е если купить скорость генерации кода, то за это заплатим более дорогим контролем качества. В компаниях, где процесс разработки зрелый, эта сделка может быть выгодной. Но там, где инженерная дисциплина слабая, ИИ может просто ускорить поставку дефектов. Больше интересных новостей об ИИ, рителе, екоме и маркетплейсах 👉 Подписаться на канал #AI #ChatGPT #чтотампроchatgpt