👥 Есть ли у нейросетей субличности? Думаю, нет такого человека, который бы не слышал о множественном расстройстве личности, при котором идентичность человека разделяется на несколько частей, каждая из которых считает себя отдельной личностью. Один из известных примеров — Билли Миллиган, про которого на эту тему написана хорошая книга. У здоровых людей этот феномен выражается в том, что в разных ситуациях мы ведём себя по-разному, соответствуя определенной ролевой модели. На работе ты сотрудник, дома — муж и отец, приехал к бабушке — стал внуком, и так далее. Разные субличности демонстрируют разные модели поведения. При этом у человека может меняться мимика, интонация, лексика, осанка. Большие языковые модели — это, по сути, оцифрованное коллективное бессознательное человечества. Составляя запрос к нейросети, вы используете определенную лексику и структуру предложений. Таким образом, вы как бы обращаетесь к определенной субличности, и это явным образом влияет на ответ модели. Если вы будете формулировать запрос как подросток, ИИ ответит вам языком школьника. Если же вы спрашиваете как профессор, то и ответы будут более точными и глубокими, при этом в ответе будет много специальной терминологии. Этот эффект проявляется в целом для любой LLM, но в последнее время субличности закладываются в архитектуру нейросетей в явном виде. 💎Mixture of Experts (MoE), или "смесь экспертов" — это техника создания нейросетей, при которой большая модель состоит из большого количества специализированных моделей поменьше. Когда пользователь задает вопрос, нейросеть сначала определяет, к какой области он относится, а затем подключает модель, натренированную именно на эту область. Основной эффект этого приема — экономия используемой памяти. Если монолитная модель "сидит" в памяти целиком, то MoE-модель в каждый момент времени загружает в память только одного или нескольких экспертов, которые намного меньше по размеру, чем вся модель. Например, в Deepseek V3 при каждом ответе из 256 экспертов одновременно отвечают только 8 специализированных, и ещё 1 эксперт общего назначения, который включается всегда. В результате из 671 миллиарда нейронов в каждый момент времени используется только 37. Существует расхожий миф о том, что наш мозг использует не более 10% своих возможностей. Реальность состоит в том, что нейронные цепочки никогда не работают все одновременно. И не должны — когда у человека активируется слишком много нейронов, это называется эпилепсией. Но несколько "субличностей", работающих в одной команде — это другое дело. Это помогает и человеку, и искусственному интеллекту гибко и эффективно подходить к решению задач. #MoE #архитектуры #субличность