Интересные размышления от СЕО Anthropic про риски, которые возникают при использовании мощного ИИ (powerful AI, как он это называет в оригинале своей статьи). Оригинал статьи тут. 📁 Перевод в прикрепленном PDF. Важно, что данный материал написан не каким-то теоретиком, размышляющим о будущем человечества в соседстве с ИИ, а действующим практиком, который каждый день развивает одну из ТОПовых LLM. Ключевые мысли: 1) Развитие ИИ до уровня Нобелевских лауреатов, способных решать любые задачи, в любых областях науки, произойдёт в очень ближайшей перспективе (1-2 года) 2) Подобный уровень развития несёт, как позитивные тенденции, связанные со стремительным развитием человечества, так и негативные, когда всю мощь ИИ могут использовать разные злодеи в своих коварных целях 3) ИИ «радикально усиливает возможности индивида», т.е. когда один человек получает такой огромный ресурс на решение задач, который раньше был доступен только группе людей. Мы это сейчас уже видим, когда люди в соло запускают целые компании 4) Главный риск - это не «злой ИИ», а «плохо управляемый». Если модели обучать на «не правильных данных», то логика принятия им решений может «навредить» человеку. И тут главная задача - сделать такие механизмы обучения, чтобы в обучающие датасеты попадали только «правильные данные», нацеленные на причинение пользы человечеству. В качестве примера «не правильных данных» он приводит такой кейс: - если не верно преподнести информацию о том, что люди питаются животными (т.е. по факту уничтожают животных), то при определенных стечениях обстоятельств ИИ может сделать выводы, что человечество опасно (раз оно истребляет животных), а значит надо найти способы, как истребить человека Вывод, который он делает в статье: ИИ это не просто технологический скачок, это проверка зрелости человечества. И мы либо переживём этот период и выйдем на новый уровень, либо сломаемся из-за собственной неготовности управлять созданной силой и тогда нам пи*да 🤔