Ставя задачи сущности, которая на порядок умнее нас, структуру мышления и возможности которой мы не способны осознать и на йоту, нужно быть очень осторожными. Вы только представьте, в один момент штуковина становится чуточку умнее человека. Но она делает всё в сотню раз быстрее и ей не нужно спать. Сколько времени ей понадобится, чтобы кратно увеличить свое преимущество над нами? Может месяц, может дни, может часы. А мы вообще сможем это заметить? Сможем осознать мотивы настолько умной сущности? Например муравей едва ли осознаёт нашу природу и наши мотивы. Почему мы должны понять сильнючий ИИ? Автор приводит следующий упрощённый пример порочной реализации. Организатор проекта пишет промпт: «Доставь мне удовольствие». ИИ решает эту задачу наиболее эффективным путём: вживляя электроды в центры удовольствия человека, так что он получает максимальное теоретически возможное количество счастья. Но далеко не факт, что при постановке задачи организатор проекта хотел в итоге стать счастливым идиотом, но таки стал. И тут мы подходим к самому важному вопросу, на который желательно получить ответ в самое ближайшее время: А чего мы, собственно, хотим от жизни? Мы как человечество. Если счастья, то какого? Мы должны быть очень осторожными и чёткими в наших желаниях, ведь есть пугающая вероятность, что они сбудутся. Без философов не разобраться. Перед ними стоит крайне важная задача. Так что если вы считали их чудиками, то хватит, они нам ещё понадобятся. Тем не менее, как ни странно, сложно сказать насколько острый вопрос ИИ на самом деле. В настоящее время, несмотря на ажиотаж по теме, возможность появления superintelligence это в чистом виде теория. Индустрия ИИ имеет свои циклы. Это не первый бум интереса к технологии и связанных с ней опасений. Уже было как минимум две ИИ-зимы, когда инвесторы теряли интерес после колоссальных вложений, и про ИИ забывали лет так на 30. Но бесспорно, такого распространения как сейчас со столь широким применением не было никогда. ИИ с нами надолго. На случай если машины станут больно умные и отберут у нас возможность проявлять себя через творческую искру у меня был план: напечатать сотню дешевых подводных дронов на оптоволокне или даже автономных и самостоятельных, ну и запускать их с лодочки, исследуя океан, где до сих пор нетронутыми остаются безграничные просторы для свершений и открытий. Только представьте, в океане плавают сотни тысяч дронов -исследователей и они каждую неделю публикуют невиданные чудеса! Вот так я себя иногда тешу, понимая, что всё скорее всего будет совсем иначе. Дроны, конечно же, очень скоро населят океан, но займутся они не исследованиями как таковыми, а уничтожением врагов на «своей» территории и поиском ресурсов. Так что вряд ли меня туда допустят. Ну и ладно, попрошу будущий superintelligence придумать мне новый план.