Всем привет! Искала какой-то повод для себя вернуться после отпуска и водоворота рабочих проектов, а тут мой канал прорекламировали так что посчитаю для себя это знаком вернуться! В последнее время стала много времени уделять исследованию по анализу качества текстов. Расскажу сегодня немного про задачу и зачем вообще ей заниматься. Буду рада и вашим мыслям в комментариях. Изначально, предпосылкой для это задачи стал некий тупик, в который мы уперлись с задачей детекции машинной генерации, поскольку задача стала напоминать какие-то кошки-мышки между детекторами и генерирующими моделями. Мы обратили внимание, что довольно часто люди могут эмпирически понять, что текст написан условным ChatGPT по «водянистости» текста. Мы задались вопросом - а как это вообще формализовать? Сначала мы обратились к работам лингвистов, однако они больше занимаются либо анализом читаемости текста (например, поймет ли текст 5-классник), либо разработкой технических метрик, например наполненность терминами, что, конечно можно использовать, но это не всегда показательно и интерпретируемо. Вторая идея - обратиться к задаче Discourse Coherence и попробовать надстроить над ней что-то сверху. Данная задача посвящена анализу логических связей внутри текста, например, построения связей «причина-следствие» Это выглядит более релевантным, но тут стоит отметить, что конечно LLM скорее пишет более связные тексты (ведь надо же как-то размазывать одну мысль на весь параграф), чем человек, но при этом информативность текста все еще может быть низкой. Мы все еще в процессе формализации задачи и поиске интерпретируемых способов оценка, но в заключение хочется отметить, что пока мы исследовали эту задачу, стало ясно, что анализ качества содержания текста кажется действительно более полезной вещь, чем просто детектор авторства, поскольку отфильтровывать недостаточные качественные тексты любого авторства всегда будет актуально и может использоваться например доя самопроверки при написании текстов.