Intel Optane PMem: L5-кэш для ИИ за копейки В условиях, когда цены на стандартную оперативную память не спешат падать, отмененная технология Intel Optane PMem обретает вторую жизнь. Сегодня на вторичном рынке можно найти модули по $150 за 256 ГБ, что выглядит настоящим спасением для тех, кому нужны огромные объемы памяти. Операционная система видит этот массив объемом до 3 ТБ на один процессор как обычную оперативную память, хотя архитектурно все устроено интереснее. Фактически мы добавляем в систему еще один уровень иерархии: L1–L3 — привычные кэши внутри процессора; L4 — обычная DDR4, которая требуется как минимум по одной плашке на канал для буферизации; L5 (Основная память) — Intel Optane, занимающий роль гигантского и дешевого хранилища. Да, этот уровень L5 будет медленнее классической DDR4: latency выше в 3 раза, а пропускная способность — ниже в 10 раз. Однако для работы с ЛЛМ это решение выглядит крайне заманчиво, ведь такой массив в любом случае в десятки раз быстрее самых топовых NVMe дисков. Из главных недостатков стоит отметить необходимость специфической платформы на базе Xeon. Впрочем, они давно доступны в формате домашних рабочих станций и ныне так же почти ничего не стоят. В итоге за небольшие деньги можно получить мощное домашнее решение для огромных локальных ЛЛМ. https://youtu.be/0C1T8q1c87U