Приближаем сингулярность

Прыжок выше датасета ⬆️ Классный пример того, как модель может превзойти качество данных, на которых она обучалась. Статья с пафосным названием Transcendence: Generative Models Can Outperform The Experts That Train Them. В чем суть? Взяли LLM и дообучили на шахматных партиях в формате 1.e4 e5 2.Nf3 Nc6 3.Bb5 ... 1/2-1/2. Было 3 датасета: партии игроков до 1000 рейтинга, до 1300, и до 1500. И оказалось, что с температурой ближе к нулю (ближе к жадной генерации), LLM играет на рейтинг выше, чем в ...

H100 девешле A100 Я уже писал про тренд на уменьшение цены инференса LLM. Недавно на работе столкнулся с ещё одним примером этого. Мы перешли на H100 для инференса, и стали - тратить меньше $$$ на сервера - отвечать немного быстрее (10% меньше time per output token и 50% меньше time to first token) В нашем случае с LLM в fp8 получилось так, что H100 80gb держит в 2.5 раза больше нагрузки, чем A100 40gb. А стоит она не в 2.5 раза дороже. Вот и экономия 💸 То, что H100 для обучения ...

У нас тут в Ex-Human появилась классная вакансия на Senior NLP инженера ⚡ https://botifyai.notion.site/Senior-NLP-Engineer-90a1dbe0d9c3473eb5c9301e2779ce48 ⚡ Если коротко, то Ex-Human это - американский стартап с инвестициями от ведущих VC (a16z, Baidu Ventures, ...) - делаем вселенную ботов и продаем технологию b2b - миллионы сообщений в день, средний таймспент пользователя больше 1 часа - очень крутая команда Так вот, сейчас в нашу NLP команду нужен NLP инженер с сильным техническим бэкграундо...

Andrew Ng про цену LLM инференса За последний год цена на лучшую модель OpenAI уменьшилась на 79%. Почему? 💸 Конкурирующие LLM инференс провайдеры (anyscale, together, etc) вкладывают кучу денег в оптимизацию инференса опенсорсных моделей. Ведь дорогущее предобучение сделает какая нибудь Meta =) Поэтому и OpenAI приходится снижать цену 🚀 Успехи стартапов типа Groq позволяют делать безопасный прогноз на ещё более значительное снижение в будущем. Ну и гиганты типа nvidia/amd не сидят без дела 🧠...

Best AI Copilot - не Github Copilot (а cursor.sh) Люблю пробовать новые штуки и работать эффективней. Поэтому как только появился Github Copilot, начал его тестить. Было лучше tabnine - иногда даже функцию дописывал, но всё равно не то. Особенно хорошо тупость и ограничения Github Copilot можно увидеть на этом примере. Есть класс, в котором, исходя из тайпингов, баг в конструкторе. Спрашиваем у Github Copilot есть ли баг - "нет, нет бага" (скрин 1). 1️⃣ Это первая проблема Github Copilot - там н...

LiveBench - честный замер LLM ЛеКун и Abacus.ai зарелизили 960 примеров для объективной оценки LLM. Полезно как для замера своих LLM'ок, так и для выбора лучшей из имеющихся для своих нужд. Какие обычно есть проблемы у замеров? 🔹 Contamination - данные из бенчмарка присутствуют в обучающем датасете 🔹 LLM-as-a-judge неточен: GPT4 предпочитает ответы от других моделей OpenAI, аналогично с Claude и тд. 🔹Human-as-a-judge дорого и долго; а также неточно, потому что вопросы очень сложные 🔸Первую п...

Big life update 🚀 Были довольно напряжные и загруженные несколько месяцев, но всё это оказалось не зря: за это время я наконец таки переехал на долгосрочное место жительства, после пары лет путешествий. И этим местом стал Лондон 🇬🇧 Переехал по Global Talent визе, собрав её самостоятельно (без агентства), пользуясь опытом людей из очень полезного чата на эту тему @globaltalenthowto, и советами Вани @neural_cat, получившего её на полгода раньше. И в целом, спасибо всем кто помогал с этим 🙏 В н...

Fast Constrained Decoding ⚡️ Есть такой юскейс у LLM, когда надо генерить строго в JSON/YAML формате. Это очень удобно, потому что такой ответ легко парсить. Мы его применяем, например, когда надо классифицирровать текст на несколько аттрибутов. У этих форматов есть правила: каждая открытая скобка должна закрыться, ключи обязательно в кавычках и тд И когда LLM, вероятностная по своей природе, пытается решить такую задачу, могут возникнуть проблемы типа генерации невалидного JSON'а. Так вот, в SG...

Amazon Leadership Principles 🏆 Плейлист на ютубе, с 2-3 минутными роликами от Амазона про их лидерские принципы. Ниже мой короткий перевод и пересказ 👇 1. Пользователи на первом месте. Как из данных, так и из единичных отзывов стараться понять, чего хотят пользователи 2. Чувствовать себя владельцем бизнеса. Думать как достичь лучшего в долгосрочной перспективе, не срезать углы ради сиюминутной личной выгоды 3. Изобретать и упрощать. Нужно быть достаточно способным, чтобы решать сложные задачи,...

Будущее квантизации 🔮 Квантизация - метод сжатия моделей. Позволяет использовать модели на кратно меньшем объеме ресурсов, плюс работает быстрее относительно использования полных fp16/bf16 типов. Но это конечно не за бесплатно - качество таких моделей похуже (что не всегда критично, поэтому методы сйечас распространены и полезны). Но 🔹 Стартапы типа Groq решают проблему ресурсов более радикально и без потерь в качестве: разрабатывают не general purpose чипы, как GPU, а специфичные для AI модел...