Иллюзия успеха AI-проектов Погнали дальше по докладам с DumpSpb Первая часть здесь ➖➖➖ Итак, Интересное выступление было от Полины, которая работает промт-аналитиком в "ДубльГис". Мыслей интересных у нее было много, но мне запомнилась одна очень важная, которая влияет не только на нас с вами, но и в целом на весь бизнес. Когда к вам приходят бизнеса с мегаидеей внедрить LLM-ку в проект, то они думают, что это таблетка от всех болезней, потому что она: • сэкономит время, • снизит ручной труд, • ускорит процессы, • повысит метрики. Это влажные фантазии, которые им продали ребята из OpenAI и другие проекты. Ведь если вы работали с любой моделью, то результат реально впечатляет и кажется, что ты ввел простую фразу - ИИ все сразу же понял и дал нужный результат, и MVP через него легко сделать. Но это все красиво, когда ты 1 на 1 с ИИ и знаешь, что тебе нужно, но если мы начинаем прикручивать процесс, то начинаем спотыкаться на том, что: ✖️ нельзя зафиксировать один правильный результат, ✖️ нельзя гарантировать одинаковое поведение, ✖️ нельзя «принять» проект один раз, нужно постоянно дорабатывать. И поэтому, если мы начинаем прописывать требования в формате: • система должна классифицировать все обращения, • точность ответа 100%, • AI должен корректно отвечать на запросы клиентов, • ответы должны быть одинаковыми, то мы ловим не очень результат результат, потому что этих критериев невозможно достичь. И поэтому если мы и работаем с AI, то в виде требований мы можем прописать исключительно ожидания и к ним стремиться, потому что: ✖️ точность 100% недостижима, по крайней мере сейчас. ✖️ мгновенно тоже не будет. ✖️ первая итерация MVP будет косой и кривой на столько, на сколько только можно представить. И ключевое это будет стоить ДЕНЕГ. Поэтому, очень важно снять с себя и бизнеса очки иллюзий и подумать получим ли мы эффект или нет, и готовы ли мы в какой-то момент через 5-10-20 итераций все выкинуть в мусорное ведро. PS. На картинке пример отличия жесткости требований в классике и при работе с AI