#nlp #про_nlp #nlp_papers 🌸Зоопарк русскоязычных NLP-моделей🌸 Вышел препринт, объединяющий всю работу AI Forever над семейством языковых моделей для русского языка! A Family of Pretrained Transformer Language Models for Russian 13 русскоязычных трансформеров описаны и провалидированы в одной статье: — encoder (ruBERT, ruRoBERTa, ruELECTRA) — decoder (ruGPT-3) — encoder-decoder (ruT5, FRED-T5) + их версии разных размеров. Результаты приводятся для всех моделей, а также в сравненнии с бейзлайнами, например, YaLM P-tune и RuLeanALBERT. Бенчмарки и тесты: интеллектуальные навыки (RussianSuperGLUE), оценка способности к языку (RuCoLA), оценка токсичности, а также тесты суммаризации, симпликифации и детоксификации текста. 🟣Статья на Arxiv 🟣Хаб моделей на HuggingFace 🟣Все модели: ruBERT-base, ruBERT-large, ruRoBERTa-large, ruELECTRA-small, ruELECTRA-medium, ruELECTRA-large, ruGPT-3-small, ruGPT3-medium, ruGPT-3-large, ruT5-base, ruT5-large, FRED-T5-large, FRED-T5-XL