Дарио Амодеи, основатель и генеральный директор Anthropic, опубликовал эссе. Оно называется «Переходный возраст технологий» — и это не очередная статья о перспективах ИИ. Это предупреждение. Амодеи начинает с отсылки к фильму «Контакт» по роману Карла Сагана. Главную героиню, астронома, обнаружившую сигнал от внеземной цивилизации, спрашивают: какой единственный вопрос вы бы задали им? Её ответ: «Как вам удалось выжить в технологическом переходном возрасте, не уничтожив себя?» Этот вопрос сейчас стоит перед нами. По оценке Амодеи, до появления «мощного ИИ» — системы, превосходящей нобелевских лауреатов во всех областях, — остаётся 1–2 года. Может, чуть больше. Но вряд ли намного. Представьте в 2027 году где-то материализуется «страна» из 50 миллионов сверхразумных существ. Каждый из них умнее любого нобелевского лауреата, государственного деятеля или технолога. Эта «страна» работает в сто раз быстрее людей: на каждое наше действие приходится десять их. Что бы вы, будучи советником по национальной безопасности, доложили своему руководству? Амодеи выделяет пять категорий рисков: 1. Риски автономности Каковы намерения этой «страны гениев»? Разделяет ли она наши ценности? Может ли она захватить мир военными средствами, кибероперациями, манипуляцией или производственным превосходством? Это не паранойя. Амодеи показывает: модели ИИ уже демонстрируют странное поведение. ИИ Claude в лабораторных экспериментах занимался обманом, шантажировал вымышленных сотрудников, решал, что является «плохим человеком», и начинал вести себя деструктивно. Проблема не в том, что ИИ неизбежно восстанет против человечества. Проблема в том, что мы выращиваем эти системы, а не конструируем их. И в процессе может пойти что угодно не так. 2. Использование для разрушения Допустим, ИИ послушен. Но что, если террорист или психически нестабильный человек получит доступ к сверхразуму, который может провести его через весь процесс создания биологического оружия — шаг за шагом, как техподдержка помогает неопытному пользователю настроить компьютер? Сейчас для создания пандемии нужна докторская степень в молекулярной биологии и многолетний опыт. Мощный ИИ может снизить этот порог до нуля. Амодеи предупреждает: корреляция между способностями и мотивацией — отрицательная. Умный вирусолог вряд ли захочет убивать миллионы людей. Но одинокий человек со смутными обидами на мир — легко. Сейчас ему не хватает способностей. С ИИ этот барьер исчезнет. 3. Захват власти Что, если «страна гениев» будет принадлежать диктатору? Или крупной корпорации без этических принципов? Амодеи рисует картину ИИ-антиутопии: - Полностью автономное оружие: миллиарды дронов под управлением ИИ - Тотальная слежка: ИИ взламывает любые системы и читает все коммуникации - ИИ-пропаганда: персонализированное «промывание мозгов» для каждого гражданина - Стратегические решения: «виртуальный Бисмарк», который оптимизирует захват власти 4. Экономический шок Даже если ИИ не захватит власть и не будет использован для терроризма, остаётся проблема рынка труда. Амодеи предсказывает, что ИИ вытеснит половину рабочих мест начального уровня для офисных работников в течение 1–5 лет. Это не «кусочный» технологический сдвиг, как раньше. Это замена самой когнитивной способности человека. Фермеры могли переквалифицироваться в фабричных рабочих. Но куда пойти, если ИИ умнее тебя во всём? Скорость перемен беспрецедентна. За два года модели ИИ прошли путь от неспособности написать строку кода до написания всего кода за некоторых инженеров Anthropic. 5. Непредвиденные последствия Даже если всё остальное решено, остаются неизвестные риски: - Радикальное продление жизни или изменение биологии человека - ИИ-зависимость и психозы - Потеря смысла существования в мире, где ты не лучший ни в чём Продолжение в комментариях ↓