2.5Kпросмотров
7 мая 2025 г.
📷 ФотоScore: 2.7K
🖥 Анализ видео с помощью LLM Если вы хотите добавить видео в контекст LLM, то есть две опции: 1️⃣ Использовать модель, которая из коробки работает с видео. Например, Gemini 2️⃣ Нарезать видео на кадры, и по одному подать в модель, которая работает с фото (большинство современных) Для второго способа появилась удобная автоматизация - Simon Willison, один из создателей Django, выложил плагин llm-video-frames: 🔵 Можете задать количество кадров в секунду. Это напрямую влияет на стоимость анализа
🔵 К каждому кадру можно добавить timestamp, чтобы LLM было проще ориентироваться в последовательности данных
🔵 Цена. Трехсекундное видео с описанием одного кадра в секунду моделью GPT-4.1-mini обойдется всего в $0.003 Запускается так: llm -f 'video-frames:cleo.mp4?timestamps=1&fps=5' \ 'key moments, include timestamps' -m gpt-4.1-mini 😮💨 Очевидный минус - нет анализа звука из видео. Но вы можете отдельно вырезать аудио и подать, например, в GPT-4o Audio