Топ 2 неочевидных совета по написанию рабочих запросов для LLM, которые использую на практике Часто получаете в ответах GPT не то, что ожидате? Особенно, когда нужно стабильное качество в регулярных задачах? В прошлом посте делился, какие рабочие задачи уже решаются с пользой, просто написав промт в GPT. И как раз недавно у нас в поиске автоматизировали сложную разметку данных за счет LLM, которую раньше делали люди. И сильно удешевели процесс . Спойлер: для большего качества использовали не только промты, а еще пошли дальше. Но правильное написание промтов помогает быстро получить рабочий результат: 1️⃣ Используйте LLM для создания промтов Если с этого поста сможете вынести одну вещь, которая закроет 80%, то будет об этом - использовать уже готовый GPT для генерации промптов, созданных на основе курсов OpenAI: gpt для обычных моделей, для reasoning (рассуждающих по типу o1 и deepseek) - просить GPT улучшить промт И если в ответе модели ошибки, то спрашивать у LLM - почему так, и что не так было в исходном запросе -для каждого ответа и действия требовать рассуждения (просите reasoning для каждого поля, где LLM принимает решение) Это не только улучшает результат, но и лучше даст понять, почему модель приняла такое решение, и как стоит поправить запрос 2️⃣ Замеряйте качество Хотя бы на небольшом количестве примеров с идеальными ответами, которые ожидаете. Чтобы понимать, как часто ошибается модель. И при изменении промта дейсвтительно ли улучшаете качество! По некоторым проектам версионируем запросы для LLM в git также как код: - принимаем каждое изменение: когда другой разработчик проверяет изменения - фиксируем метрики качества - параметры запуска этого промта (версия модели, температура и тд), чтобы результаты были воспроизводимыми 📌 По итогу: - написали в gpt выше, какой запрос хотите - попробовали промт на примерах с правильным ответом - замерили качество - если нужно: дальше итеративно улучшаем в том же gpt способами выше Хотите погрузиться дальше, или может не все было понятно? Все в посте не покрыть, поэтому оставлю в комментах курсы. Сам пробежался по ним за выходные. Так что сохраняйте пост, чтобы не потерять, и дерзайте!