672просмотров
79.3%от подписчиков
28 ноября 2025 г.
Score: 739
Мировое сообщество ML-ресёрчеров опять стоит на ушах — на ICLR 2026 произошла массовая утечка имён рецензентов. Не могу смолчать и попробую объяснить, почему меня это очень тревожит. Для начала надо оговориться: утечка случилась не столько у самой конференции, сколько у платформы OpenReview.net, которая хостит сборники большинства значимых мероприятий по компьютерным наукам. Учёные регистрируются там и могут подавать свои статьи и писать анонимные рецензии по чужим, если таковые им поручены. Вчера стало известно, что из-за ошибки в API сайта любой человек мог связать рецензию с аккаунтом, её написавшим. Технические подробности можно узнать, например, тут. Новость взбудоражила сообщество, и у этого были важные предпосылки. Состязательность системы рецензирования создаёт напряжение между подавшим статью учёным и его рецензентами. Но покуда действует анонимность, это напряжение никуда не канализуется, сублимируясь в форме мемов и фольклора (см, к примеру мем про рецензента №2). Чтобы предотвратить любое сведение счётов, оргкомитет ICLR пригрозил мстителям многолетними банами, но это, как вы понимаете, не панацея. Как следствие, некоторые рецензенты внезапно бросились менять свои оценки на наивысшие, из-за чего конференция временно заморозила такую возможность. Всё это добавило проблем в и без того крайне сложную ситуацию с рецензированием в науке об ИИ. Дело в том, что там принято публиковаться не в журналах, а в сборниках конференций. Но если выпуски топового журнала выходят, условно, раз в месяц и имеют лимит по числу статей, то топовые конференции случаются раз в год, и все ресёрчеры стремятся к тому, чтобы их статья попала в соответствующий сборник. Из-за этого организаторам конференций приходится организовывать рецензирование гигантского количества статей (счёт идёт на десятки тысяч). «Как отрасль будет разруливать толпы ИИ-исследователей, организовывать массовое рецензирование и всё такое прочее — будем посмотреть» — писал я полтора года назад. Этот год показал, что со скрипом или вообще никак. Во-первых, массовость статей потребовала мобилизации вообще всех участников, включая студентов с соответствующим качеством рецензирования, либо банального отсечения сабмитов по какому-нибудь простому критерию. Во-вторых, ситуацию усугубило массовое использование LLM по обе стороны баррикад (я подробно разбирался в этом тут). Утечка имён рецензентов здесь — прям вишенка на торте. Беда в том, что рецензирование — это иммунная система науки. Если она сломается, то откровенный мусор может быть приравнен к научному знанию, а качественные исследования так и не будут опубликованы под знаком качества. Случившееся стало поводом для большой дискуссии о том, как сохранить этот фильтр надёжным. Но что бы не придумает ML-сообщество, это, по-видимому, будут тектонические изменения, с которыми ни одна научная область в истории человечества ещё не сталкивалась.