1.0Kпросмотров
10 ноября 2023 г.
Score: 1.1K
Хорошая обзорная работа по функциям активации (декабрь 2022). Есть почти все, не нужно бегать по разным частям интернета если вдруг забыли как, например, выглядит первая производная gelu. Всё с тестами, как положено https://arxiv.org/abs/2209.02681