Ускорим инференс трансформера на открытой лекции Ещё и на ноунейм-плате! 🤯 Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса…