⭐️Хотите помочь METR? METR строит probe для выявления eval-awareness, то есть инструмент, который поможет определить, может ли модель отличать ситуацию, где ее оценивают, от обычного реального использования. Это важно, потому что если модель ведет себя иначе во время тестирования, то результаты могут искажать представление о ее реальном поведении. Для этого им нужны данные о том, как люди используют модель для реальных полезных задач. Кроме того, им нужна open-weight модель, чтобы можно было анализировать ее активации и работать с on-policy данными. Для этого они запустили AI Cohort. На aicohort.org можно получить бесплатный доступ к GLM-5, модели примерно уровня Sonnet 4.6. В зависимости от выбранного режима согласия, METR будет использовать либо данные чатов, либо только активации. Если у вас есть задачи, которые не содержат чувствительной информации, это может быть хорошим вариантом: вы получаете бесплатный AI-инструмент, а METR получает данные, которые помогут лучше понять, как модели ведут себя в evals и насколько таким evals можно доверять. 🔗 http://aicohort.org/