С генеративными нейросетями ученые стали писать больше статей — правда, оценивать эти тексты стало сложнее Большие языковые модели (LLM) — такие как ChatGPT — все активнее используются в науке, но до недавнего времени было неясно, как именно они меняют научное письмо в целом. Команда исследователей из Корнеллского университета и Калифорнийского университета в Беркли попытались ответить на этот вопрос. Они проанализировали более двух миллионов препринтов — научных статей, выложенных в открытый доступ до рецензирования — за 2018–2024 годы из трех крупнейших баз: arXiv, bioRxiv и SSRN. В качестве примера человеческого письма авторы взяли аннотации, опубликованные до 2023 года. Затем они переписали их с помощью GPT-3.5, чтобы выявить признаки текста языковой модели. А уже на основе различий оценивалась вероятность того, что более поздние аннотации были подготовлены не без помощи LLM . Такой метод не позволяет точно определить вклад языковых моделей в каждую отдельную работу — и авторы исследования отдельно это подчеркивают. Но некоторые изменения в научном письме увидеть все же можно. ▫️Научных работ стало больше Когда в работах появляются признаки использования языковых моделей, авторы начинают публиковать заметно больше препринтов: на треть больше на arXiv, более чем на 50% на bioRxiv и почти на 60% на SSRN. Исследователи объясняют эту тенденцию так. Подготовка статьи требует много времени: надо собрать аргументы, поработать с литературой и четко сформулировать выводы. У не-носителей английского языка могут возникнуть трудности, но LLM упрощают эти задачи. Отсюда дополнительное время для подготовки других статей. Особенно сильный эффект от использования языковых моделей наблюдается у ученых с азиатскими именами, работающих в институтах Азии. У этой группы в отдельных областях число препринтов удвоилось. ▫️Язык перестал быть индикатором качества До их появления LLM сложный академический язык обычно отражал значительные усилия, вложенные в исследование. Своего рода косвенный сигнал качества, считают авторы. Подготовленные с помощью языковых моделей работы воспроизводят внешние признаки такого письма, хотя по другим критериям статья может быть слабой. Избыточная сложность нередко сопровождает слабую методологию или ограниченную новизну, что снижает вероятность публикации. А еще языковые модели влияют на поиск и использование предыдущих исследований: ученые чаще ссылаются на более свежие и менее известные источники.