✨ Академические коллеги проводят новое соревнование по детоксификации текстов на площадке CLEF при поддержке Toloka.AI. 👩🏻💻 Задача устроена так: дан токсичный текст, требуется переписать его в нейтральном стиле с сохранением содержания. Языки соревнования: 🇬🇧 🇺🇦 🇩🇪 🇷🇺 🇪🇸 🇨🇳 🇪🇹 🇦🇪 🇮🇳 Сайт соревнования
Excited to share that we have released RuBLiMP (Russian Benchmark of Linguistic Minimal Pairs), a novel benchmark for evaluating Russian language models (LMs). ❓RuBLiMP consists of 45,000 minimal pairs and includes 12 grammatical phenomena well-represented in Russian linguistics, covering morphology, syntax, and semantics. A minimal pair consists of a grammatical and an ungrammatical sentence (e.g., The cat is on the mat / *The cat are on the mat), and an LM is expected to prefer the grammatical...
Всем привет! В рамках воркшопа на конференции СLEF 2024 мы с коллегами проводим соревнование по извлечению вложенных именованных сущностей в биомедицинском домене. Соревнование проводится на корпусе английских и русских медицинских текстов. Ссылка для регистрации: http://participants-area.bioasq.org/ Подробности в гите по ссылке выше; по всем вопросам можно писать мне @veranchos
🌝 LUNA: A Framework for Language Understanding and Naturalness Assessment Представляю вам библиотеку LUNA: инструмент для оценки качества сгенерированных текстов. LUNA предлагает общий интерфейс для 20 разнообразных методов оценки качества сгенерированных текстов, поддерживает как методы, требующие золотого стандарта, так и независимые. Кроме того, методы можно разделить по типам представления текстов: от символьных н-грамм до статичных и динамичных моделей векторизации. Ссылки: • Статья: https...
Всем привет =) Я неуверенный пользователь телеграма, но хочу попробовать писать сюда иногда что-то о своей исследовательской жизни. Представлюсь: меня зовут Катя Артемова, пару лет назад я работала в Вышке, рассказывала в этом канале о своих семинарах по обработке текстов. С тех пор все немножко изменилось, семинаров в старом формате больше не будет, но исследования, конечно, не остановить. Так что добро пожаловать и будем знакомы =)
Sometimes you just want to participate in scientific ML competitions and publish papers with your results. That's what we did. We would like to present you our papers: - AIpom at SemEval-2024 Task 8: Detecting AI-produced Outputs in M4 (SemEval2024, NAACL workshop) - Papilusion at DAGPap24: Paper or Illusion? Detecting AI-generated Scientific Papers (SDProc, ACL workshop) 🔸 SemEval-2024 task 8 required to find the position of the first machine-generated word in given texts. The test dataset als...
Preference prediction & explanation at ELOQUENT, #CLEF2025 We invite systems that can predict human preferences for different LLM outputs and explain their predictions across five criteria: relevance, naturalness, truthfulness, safety, and overall quality. Dev Stage: Feb 3 – Mar 2 Check out our repo: https://github.com/eloquent-lab/eloquent-lab.github.io/blob/main/task-preference-prediction/index.md
TextDetox CLEF 2024 We are glad to invite you to participate in the first of its kind multilingual Text Detoxification shared task! https://pan.webis.de/clef24/pan24-web/text-detoxification.html TL;DR Task formulation: transfer a text style from toxic to neutral (i.e. what a f**k is this about? -> what is this about?) 9 Languages: English, Spanish, Chinese, Hindi, Arabic, German, Russian, Ukrainian, and Amharic 🤗 https://huggingface.co/textdetox More details: Identification of toxicity in user ...
Привет всем! На следующей неделе будет конференция COLING. Вот какие у меня планы. January 19th @ 14:00 - Hands-on Tutorial: Labeling With LLMs and Human-in-the-Loop. Расскажем, как оптимизировать разметку данных с помощью языковых моделей, какие задачи лучше размечать только людьми, а какие - гибридно. January 20th @ 11:00 - Участвую в Panel Discussion 1 на SUMEval 2025: Challenges of Collecting Culturally Grounded Multilingual Data for Training and Evaluation of NLP Systems. Расскажу, какие сл...
Привет всем! На следующей неделе будет конференция COLING. Вот какие у меня планы. January 19th @ 14:00 - Hands-on Tutorial: Labeling With LLMs and Human-in-the-Loop. Расскажем, как оптимизировать разметку данных с помощью языковых моделей, какие задачи…