Sutskever's List. Согласно лору интернета, это список статей, которым Илья поделился в частной беседе с John Carmack (известный разработчик, создатель Doom, впоследствии работал над Oculus), добавив: ‘If you really learn all of these, you’ll know 90% of what matters today.’ Твит набрал большую популярность (ссылка) и довольно активно разлетелся впоследствии и по другим платформам, в частности реддиту. Однако никаких подтверждений подлинности этого самого списка от Ильи на эту тему не было, как и формальной публикации настоящего списка -- все версии это реконструкции. Список состоит из статей по CNN, RNN, механизмам внимания, scaling laws и другим актуальным на сегодняшний день понятиям. Если допустить, что список дейсвтительно подлинный, то по мнению Ильи весь современный Deep Learning можно покрыть чуть ли не 30 работами. Мне кажется, в целом совпадает с реальностью, так как как больших идей действительно не так много. Интересно, что одного это не проверенного источника оказалось достаточно, чтобы издательство Manning выпустило книгу с одноименным названием. Посмотреть и при желании купить можно тут. Книга еще формально в разработке, но все главы уже доступны. Не берусь судить о качестве книги целиком, бегло прочитал только одну главу. Про наш с вами любимый self attention. Глава построена на основе культовой статьи Attention Is All You Need. И честно...мне показалось это бесполезнейшим текстом. Если автор пишет для новичков, то из тех скудных диаграм и примеров точно не будет ничего понятно. А если автор пишет для тех кто разбирается и хочет углубить знания, то он не привносит ничего нового. Оригинальная работа, например, не очень углубляется в детали того, зачем нужна нормировка QK произведения на корень из размерности эмбеддингов. Оригинальная статья так же и не дает детальных пояснений почему позиционные эмбеддинги считается через чередование sin, cos и какие свойства это дает. Казалось бы, вот супер годный контент для углубления и раскрытия в книге. Но автор ограничивается не самыми сильными аналогиями. Если взять статью и идти в гугл / чатгпт каждый раз когда непонятно, то можно углубить свои знания сильно быстрее. А название и правда крутое. What Did Ilya See?