🔮 За on-device моделями будущее? Быстрый спойлер: на фото я с Мишей Рубановым (встретились на днях), и он как раз делает приложение с on-device AI! Ниже расскажу подробнее про это 👇 Я вчера попробовал на девайсе запустить и потыкать Gemini Nano. То есть прям локально. Без похода в сеть, без облака, без вот этого всего. И, ну что, оно работает. Правда, скоуп пока очень ограниченный. По сути это история про только про: - саммаризация - рерайтинг - proofreading - описания картинки И вот с такими задачами оно, кажется, справляется. Ну, по крайней мере на сколько я успел быстро потыкать. Google и сам сейчас говорит, что Gemini Nano именно как on-device модель для конкретных сценариев, а не как универсальный GPT. Но есть нюанс. Даже два. 1) Gemini Nano сейчас есть мягко говоря не у всех 😅 Это пока история в основном для свежих флагманов и верхнего сегмента: Pixel, Galaxy S24/S25 и ещё небольшого числа моделей. У меня Google Pixel 10, у меня работает. Но если смотреть грубо на всю Android базу, то это типо считанные проценты или меньше. Google пишет, что доступность зависит от AICore и поддерживаемых девайсов. 2) Если вы хотите тащить локальную модель в свое приложение не через OS level, а самостоятельно, то это много гигабайт. Но я тут подумал. Мне кажется, мы это уже много раз проходили. - Когда-то Биллу Гейтсу казалось, что 640K памяти всем хватит. - Когда-то скачать MP3, это было событие дня. Я реально сидел 2-3 часа и радовался, что скачал на комп целую песню (да, я такой динозавр 🦖). А сейчас у каждого в кармане лежит какой-то суперкомпьютер по меркам прошлого, который мы используем для мемов про котиков 😁 и чтобы смотреть онлайн 4K-видео и яро злиться если видео вдруг лагнуло на одну секунду 🙃 Вот и здесь, мне кажется, будет так же. Сейчас локальные модели редкие, дорогие, ограниченные и т.д. Но я почти уверен, что через 3–5 лет у нас с вами в кармане будет лежать очень мощная on-device LLM, которая будет закрывать 80–90% повседневных задач. И это станет настолько базовой частью жизни, что мы просто перестанем это замечать. На фото мы с Мишей. И вот Миша, например, сделал приложение с локальной AI моделькой, которая заменяет ваше лицо в любом видосе. То есть можно, например, сделать серию Stranger Things, но с лицом вашего ребёнка. Или со своим 😄 Ну крутая же идея?! 🔥 Да, пока такие штуки могут весить много, местами работать не на всех устройствах и вообще работать вам заменой сковородки. Но это уже начало нового будущего. Через какое-то время, мне кажется, локальные модели станут просто незаметной базой для всех. Вот такое у меня ощущение. 💬 А вы как думаете? За on-device моделями реально будущее? #android #ai #llm #ondevice #gemininano #mobiledev