Доверяй, но проверяй По следам прошлой статьи на Хабре, которая на данный момент набрала 21 000 просмотров и рассказывала про то, что «волшебный» ChatGPT-5 не очень то и волшебный, как преподносят в презентации — а просто инструмент, и всё зависит от «владельца» инструмента, обнаружилась вот такая диковинка с математикой за 5 класс общеобразовательной школы, где проходят десятичные дроби: Посмотрите на скриншот внизу с решением довольно простой задачки: 8.8-8.11=? — Первый скриншот от ChatGPT-5 — Второй от Perplexity — Третий из калькулятора (с правильным ответом) Этот простой пример вычитания стал вирусной темой в сообществе ИИ, поскольку многие популярные языковые модели дают неправильный ответ. Большинство современных ИИ-моделей, включая ChatGPT, Claude и Gemini, ошибочно утверждают, что результат равен -0.31 Сейчас пройдёт ещё немного времени (или уже), инженеры загрузят патч и всё будет нормально :) Почему это происходит? Проблемы токенизации: LLM-ки «кушают» токены как отдельные последовательности и вполне возможно, что в голове у компуктера 11 явно больше, чем 8, плюс, это в первую очередь текст, а не числовое значение при обработке, как у калькулятора. Обучение на левых данных: если посмотрите у меня в примере, там видно, что Perplexity в качестве источника указал: reddit, а это те ещё консистентные данные :) «От любви до ненависти — один шаг», «от гениальности до глупости — примерно столько же» ¯\_(ツ)_/¯ Тут, конечно, кроется очень большая проблема в том, что модель способна одновременно решать и сложнейшие математические олимпиадные задачи и косячить на уровне математики 5-ого класса. Как в таком случае доверять более сложную работу по аналитике или медицине? Прожарка от Димы Гарника