🌟Как то я сделал парсер дискорд чата, который доставал свежие токены которые скидывают ребята это в целом получилось, но потом мне пришла странная мысль попробовать загружать чат в какую нибудь AI и обрабатывать чтобы был миниконспект Дано: постоянный поток сообщений на английском в очень странном лексиконе с сокращениями и обсуждениями мем токенов Использовать API какой то платной AI я подумал будет чуть запарней по времени и стоимости Нашел интересный локальный вариант, обратил внимание на Ollama — удобное решение для запуска моделей на своём устройстве без постоянного обращения к облачным сервисам. Пару ключевых моментов: Модели и системные требования. (Ollama поиск)(Hugging Face) Ollama может устанавливать все что есть на Hugging Face, но можно и через их сайт искать Кроме назначения, модели отличаются своей мощностью, точнее количеством параметров, чем их больше, тем лучше модель может "думать". Например возьмем 3b и 14b, весить будут около 3гб и 10-15гб, требуемое ОЗУ 8-11гб и 25-32гб соответственно.(приятно что скорость скачивания очень хорошая) Скачали установили запустили ollama run llama3 пример установки llama3 модели подключение обычными запросами на localhost github api docs(там еще много тонких настроек есть) response = requests.post("http://localhost:11434/api/generate", json={ "model": "llama3", "prompt": "Why is the sky blue?" }) print(response.json()["generated_text"]) Довольно просто, обычный запрос ответ В итоге я грузил в модель последние 200 сообщений с постоянным обновлением списка, и делал сводку каждые 20 новых сообщений, тоесть всегда был контекст 200 сообщений, но пока вышло это не очень т.к. модель слабо понимает контекст, посмотреть можете тут, в закрепе то о чем разговаривают солана флиперы🤣 (там сообщения еще переведены, оригинал выходит на английском) Локальные модели полезны, когда нужно обрабатывать данные без отправки в облако — для приватности или просто чтобы не зависеть от интернета. Подключение через Ollama позволяет работать быстрее и дешевле. Возможно я попробую создать RAG для такой локальной AI (это что то вроде свежей базы данных на которой будет работать llm, объяснить за щитки ей)