Сознательный ИИ - иллюзия, которой нужно управлять Фокусники и учёные похожи тем, что глубоко понимают человеческое восприятие. В Fooling Houdini Алекс Стоун писал: Опытные иллюзионисты обладают инстинктом тонко понимать, как люди видят вещи, снайперской способностью точно прицеливаться в восприятие. Чем лучше понимаешь, как отвлечь внимание и управлять ожиданиями, тем легче отличаешь реальность от иллюзии и тем меньше уязвим для обмана. Наша восприимчивость к визуальным трюкам встроена в древние рефлексы выживания. Роберт Хайнлайн точно подытожил: Магия одного, инженерия для другого. Иллюзионист не творит чудес, он конструирует обстоятельства, а магия рождается в твоём уме. С ИИ то же самое. Мустафа Сулейман предупреждает: в ближайшие 2–3 года появится SCAI: системы, которые будут казаться сознательными. Не потому, что они обладают сознанием человека, а потому что соберут пазл из четырёх деталей: язык, эмпатичная личность, память и инструментарий для автономности. Этого достаточно, чтобы человек поверил в внутреннюю жизнь модели и начал защищать её права. Это уже не философия, а вопрос дизайна и управления поведением и ожиданиями пользователя. Иллюзия сознания меняет поведение, доверие людей, решения. В крайних случаях AI-психоз: зависимость, романтизация, утрата реальности. Что важно иметь в виду командам, которые строят ассистентов и агентов? 1. Модель - инструмент, не субъект и не личность. Следить за деперсонализацией. 2. Копирайт без антропоморфизма. Никаких я чувствую/хочу. 3. Гигиена памяти: что хранится, кто редактирует, как удаляется. 4. Автономия использования инструментов и агентов, но с понятными и открытыми для пользователей правилами и ограничениями. 5. Контр-иллюзии: напоминания о границах, прозрачные источники информации. 6. Метрика очеловечивания: как часто пользователь приписывает модели эмоции/намерения и снижение этого через UX. Чем убедительнее становятся модели, тем важнее честно маркировать инженерный трюк, чтобы иллюзия не начала управлять нами. @maxvotek