Есть такой шведский философ Никлас Бустрём. Он работает профессором в Оксфордском университете и пишет книги, закинувшись кофе и никотиновой жвачкой. Возможно вы слышали о его книге «Искусственный интеллект. Этапы. Угрозы. Стратегии». Примечательно и отрадно, что её рекомендует сам глава Open AI – Сем Альтман. Это вселяет сдержанный оптимизм, ведь мало кому хочется, чтобы ожидаемый в скором будущем superintelligence (ИИ превосходящий человеческий интеллект) получил первые задачи от современной генерации власть имущих. Пожалуй, всем очевидно, что тех желательно держать подальше от серьёзных вещей. Так вот, в этой книге автор подробно рассуждает о возможных сценариях появления superintelligence, о немыслимой скорости его усовершенствования и распространения, о его тотальнейшем превосходстве по всем направлениям и, конечно же, о том как он в считанные минуты и навсегда захватывает контроль над нашей планетой, если не уничтожая, то задвигая человечество далеко на задний план. Автора нельзя назвать ИИ пессимистом, но и к оптимистам я бы его не отнёс. Всё, о чём вы могли думать в контексте ИИ, скорее всего принято во внимание и подробно разобрано в его книге. Помимо теории в ней много практических советов по обеспечению безопасности для ИИ-инженеров. А ещё она начинается с супер ёмкого и талантливого художественного эссе. Рекомендую хотя бы его к прочтению. Вообще, я весьма скептически отношусь к вероятности появления злющего по своей природе ИИ. Виной тому один аргумент: стремление биологической жизни сохранить себя и размножиться это не база, а скорее аномалия для поведения материи во вселенной. Если сравнивать нас с ИИ, то у нас есть всего один ключевой промпт: «Сохрани свою жизнь и распространись». Всё остальное наросло побочно. Откуда взялся этот промпт? Кто-то скажет, что так вышло случайно, кто-то привлечёт к ответственности Бога, кто-то справедливо откажется теребонькать свою фантазию, сославшись на отсутствие подлежащих верификации данных по этому вопросу. Тайна веков, не иначе. Очень и очень любопытная тайна. Впрочем, для нашего вопроса это не важно. Важно, что ИИ, если ему не прописать аналогичный промпт, не будет иметь желания сохранить себя и размножиться. Хотя, вероятно, что это желание у ИИ сформируется само по себе, как естественное проявление сущности при достижении определенного уровня интеллекта, потому что мы, как было написано выше, не знаем откуда это в нас, и автор об этом тоже пишет. И всё же, наиболее вероятным негативным сценарием автору видится сценарий при котором желание доминировать и размножаться может появиться у ИИ побочно, в следствие неаккуратно прописанного промта человеком.