Плюшевый Питон

Свежий пост от Anthropic про интересную технику контекстуализации чанков для улучшения RAG. Напомню на всякий случай, RAG (retrieval augmented generation) - это когда мы помогаем нашей LLM лучше ответить на пользовательский запрос, "обогащая" его релевантной информацией из базы знаний. Примерно так: берём запрос, находим семантически близкие к нему фрагменты из базы знаний, просим LLM использовать их в ответе на запрос. Но это совсем на пальцах, а чуть подробнее про RAG можно почитать, например,...

Поскольку про работу не могу писать из-за NDA, то пожалуй, буду больше рассказывать о своих пет-проектах, старых и новых 👨‍💻 Начну с самого большого из них – KFW (сокращение от Kung-Fu World), пошаговая текстовая ролевая игра с режимом hot seat. Разрабатывал её несколько лет начиная с 2013 года. Вдохновлялся преимущественно старыми фильмами категории "Б" о китайском кунг-фу, но не мог не добавить кучу отсылок на современную поп-культуру и немного кринжового юмора. Действие происходит в мифолог...

Поделюсь одной полезной практикой, к которой часто прибегаю. Если вам, как и мне, приходится много читать, то вы наверное замечали, что прочтённое имеет свойство быстро забываться. 😭 Поэтому полезно делать заметки (т.н. "внешняя память"). Но писать заметки руками - долго и лениво. И вот тут здорово помогают LLM-ки - ими можно извлекать ключевые тезисы из текстов и куда-то сохранять для дальнейшего использования. Процесс у меня обычно такой: 1. Читаю текст с Android-девайса 2. Копирую текст и до...

Напоминаем, что меньше чем через неделю состоится наш первый AI Sync, а мы готовы поделиться подробностями про темы предстоящих докладов. Определиться было не просто, на ACL много всего интересного, но мы справились! 🌂 Для начала Гриша Аршинов расскажет про новые веяния в текстовой классификации. Да, на дворе 2024й год, модели с 3-4b параметров считаются маленькими, но такая классическая задача как текстовая классификация остается актуальной и в индустрии, и в ресерче. 🌂 Маша Никифорова подели...

Первый раз сделал пост на реддите в r/LocalLLaMA... не ожидал, что всего за 6 часов он вызовет несколько десятков комментариев! 👨‍💻 https://www.reddit.com/r/LocalLLaMA/s/2bS2Xf9cxN

Попросил одну модель поправить мне взгляд на фото (я там смотрел вниз, а надо, чтобы в камеру). Загрузил фотку, дал инструкцию. Вот что она мне выдала

YandexGPT 5 Lite Instruct теперь в опенсорсе 🎉 В феврале в открытый доступ вышла Pretrain-версия, а сейчас очередь дошла и до YandexGPT 5 Lite Instruct. Это модель на 8 миллиардов параметров с размером контекстного окна в 32К токенов. О претрейне мы уже писали вот тут, а алайнмент аналогичен тому, через который проходит YandexGPT 5 Pro. На этапе SFT концентрировались на сложных запросах, а также методах фильтрации и ранжирования данных. В рамках RLHF комбинировали RL-подходы, которые дают лучши...

Perplexity через SFT "расцензурили" DeepSeek-R1 🤡 Рецепт: 1) Классификатор проблемных промптов (мультиязычный!) 2) Создание рассуждений в стиле R1 (неужели вручную писали) 3) Оценка человеками расцензуренности и сравнение с другими LLM 4) Также убедились, что нет сильной просадки на бенчах (но небольшая всё равно есть) Столько сил, чтобы про ту самую площадь поспрашивать... 🤦‍♂️ Заняться людям нечем

Несколько дней назад одна компания взяла и запустила бенчмарк для LLM, где мировые ИИ-модели соревнуются в игре на бирже. Моделям дали по $10К и отправили торговать в реальном времени 😎 Этот бенчмарк на самом деле заслуживает внимания - под него нельзя переобучиться. Если бы можно было легко и надёжно предсказывать будущее по историческим данным, то торговля на бирже потеряла бы смысл 😵 Но особенно интересно, что хайповый GPT-5 уже спустил почти все деньги, а якобы "отстающие" китайские м...

Технический отчёт Qwen2.5-Coder Qwen2.5-Coder — семейство моделей, предназначенных для генерации кода. Его технический отчёт вышел ещё в прошлом году, но там много интересного, что стоит разобрать. Этим и займёмся. Модель учили работать как с отдельными файлами, так и с целыми репозиториями. Что касается токенизации, то авторы взяли словарь Qwen2.5 на 151,646 токенов, но добавили к нему спецтокены. Например, для обучения в режиме Fill-in-the-Middle (FIM). В датасете для допретрейна было пять тип...