❗️ Бутерин о рисках сверхразумного ИИ Привет! На связи 24 СЛОВА. Виталик Бутерин считает, что человечество пока не умеет договариваться о базовых ценностях, значит обещаний о безопасном сверхразумном ИИ давать нельзя. 🔘 В чем суть Дискуссия началась с поста 3D-художника Utah teapot, который усомнился в самом смысле “alignment”. С чем именно согласовывать ИИ, если у людей нет единого набора ценностей. Он назвал это растущей индустрией без четкого предмета, где ответы сводятся к расплывчатому “с человеческими ценностями”. Виталик согласился с базовой критикой. По его словам, мир полон практик, которые противоречат даже базовым моральным нормам. Значит гарантировать, что один сверхразумный ИИ будет всегда действовать “правильно”, нельзя. Он отдельно выделил источник главных рисков: структуры с реальной властью. Военные и ведомства смогут обходить правила безопасности, которые для всех остальных работают по умолчанию. Utah teapot поднял другой слой проблемы. Доступ к мощным моделям становится централизованным, а тезис “это про безопасность” часто используют, чтобы закрывать открытые исследования и ограничивать публичный доступ. При этом крупные компании уже делают отдельные версии моделей для госструктур, которые могут применяться в войне и разведке. Бутерин сказал, что разделяет эти опасения. Самый опасный сценарий по Бутерину - один агентный сверхИИ с собственной волей. Ошибка или злоупотребление в такой системе масштабируются мгновенно. Гораздо устойчивее среда из множества сильных, но конкурирующих систем. Однако рыночной саморегуляции недостаточно. Нужны юридические рамки и стимулы, которые не позволят монополизировать доступ к вычислительным ресурсам и выведут из-под “особых правил” силовые структуры. Обе стороны признают, что контроль нужен, но расходятся в способе. Одни хотят вшивать управление и идентификацию глубоко в модели. Другие видят в этом путь к тотальной слежке и подмене цели, когда “безопасность” становится оправданием для централизации. Бутерин стоит на стороне плюрализма и проверяемых процедур, а не универсального “морального автопилота”. 💬 Пока люди не договорились о собственных правилах, обещать безопасный сверхИИ рано. Реалистичный маршрут - меньше монополий, больше конкурирующих систем, прозрачные проверки и одинаковые требования ко всем, включая государственных игроков. ❤️ – если было интересно! @twentyfourwords | Навигация по каналу | О нас