LLM как зеркало эпистемологии или garbage in, ai-garbage out Современные большие языковые модели действительно могут быть очень полезным помощником продакта. Но чем дальше, тем больше мне кажется, что один из самых полезных эффектов от их применения — кристальная прозрачность, с которой они демонстрируют дефициты мышления и лакуны знаний их операторов. Приведу пример, который не должен никого обидеть. Продакт со звонким титулом «AI Product Leader» делает очевидно полезную вещь: пропускает транскрипты 300+ эпизодов главного в мире подкаста для продактов — Lenny Ratchitsky — через сито большой языковой модели и упаковывает выжимку в 28 скиллов для AI-агентов. The ultimate source of real life domain expertise. […] Your agents can now have world-class product skills. Казалось бы — забирай, применяй, повышай качество своих артефактов до мирового уровня… Спешу сообщить вам: единственное, что во всей этой истории действительно мирового уровня, — это воронка, через которую наш эй-ай-продакт-лидер проводит желающих получить этот драгоценный набор скиллов. В частности, вы не сможете не подписаться на его рассылку — этот шаг просто нельзя пропустить. Ну ок, лидер, что в итоге-то? В итоге вы (в данном случае — я, за вас) получаете ссылку на публично доступный репозиторий с папками, в которых аккуратно разложены по темам .md-файлы со скиллами для AI-агентов. Какие скиллы первым делом начнёт изучать и применять в своей работе продакт? Конечно же всё, что связано со стратегией, приоритизацией. Наверняка, «принятием решений». Возможно, со стейкхолдер-менеджментом. Что-нибудь ещё?.. Угадаете, что внутри? Серьёзно, попробуйте, например, представить, какие инструкции можно дать агенту (на самом деле просто LLM), который должен помогать вам приоритизировать инициативы? Сколько пунктов будет в такой инструкции, сколько вопросов он должен будет вам задать, в каких контекстах какие способы выбора приоритетов предложить, какие нюансы учесть? В комментарии к посту я закину скриншоты упомянутых выше «скиллов». Заходите, посмеёмся и поплачем вместе. ——— Возвращаясь к кристальной прозрачности дефицитов: человек, который без задней мысли воспользуется такой инструкцией (скормит её «агенту»), получит результат и решит, что этот результат можно использовать в своей работе, — очень выпукло продемонстрирует глубину своего невежества. Использование LLM в этом случае эту глубину только подчеркнёт. При этом в умелых руках большие языковые модели действительно очень мощный инструмент. Если вы не используете их как источник готовых решений или как усилитель собственных предрассудков, а делаете инструментом расширения контекста, выявления неявных предпосылок и предположений, критического осмысления входящей информации, нанимаете в качестве спарринг-партнёра, беспощадного к вашим умозаключениям и ошибкам в методологии, — то это сильно повышает ваши шансы произвести как минимум логически непротиворечивый результат, в котором отсутствуют явные дыры. Главная загвоздка здесь в том, что для того чтобы не загнать LLM в эхокамеру собственной некомпетентности и добиться хороших результатов, оператору уже надо обладать определённым уровнем эпистемической точности, навыком критического мышления, способностью контролировать инструмент, а не упираться в его ограничения. Выжимка мудрости из 300+ подкастов с глобальными продуктовыми лидерами с этим, к сожалению, не поможет. Поэтому ссылку не даю. ——— Навигация: рубрики и лучшие посты Консультации и менторская поддержка Поддержать канал: Patreon (€) • Sponsr (₽)