Как мы делаем Яндекс

MADrive: новый метод генерации сенсорных данных для автономного транспорта Команда симуляции сенсоров Яндекса разрабатывает методы для более реалистичной симуляции сенсорных данных в автономном транспорте. Недавно совместно с исследовательским отделом был создан метод для генерации синтетических изображений дорожных сцен — MADrive (Memory-Augmented Driving Scene Modeling). Кроме того, для его работы был собран и выложен в опенсорс крупнейший открытый датасет автомобилей — MAD‑Cars. Виктор Юрченк...

ZIO Mock не может — ScalaMock поможет Если вы пишете тесты на ZIO, то с моками, скорее всего, уже сталкивались. И почти наверняка — с ZIO Mock. Формально он решает задачу, но на практике ломает Arrange-Act-Assert, «краснит» в IDEA и иногда падает так, что вы видите только InvalidCallException: null. В Яндекс Вертикалях довольно долго жили с этой библиотекой — пока количество таких тестов не перевалило за пару сотен и они не расползлись по десятку команд. Женя Веретенников, тимлид в Яндекс Вертик...

10 000 RPS и доступность 99,99%: как устроено шардирование PG в процессинге Яндекс Такси Системы на PostgreSQL рано или поздно сталкиваются с проблемой масштабирования. Однако отовых решений для удобного, безотказного шардирования с высокой доступностью и минимальными задержками часто не хватает. Несколько тысяч микросервисов и десятки тысяч RPS требуют архитектуры, где шардирование и миграции данных можно проводить без даунтайма и деградации SLA, а процесс миграций — брать полностью под свой ко...

Как мы упростили компонент из 272 миллионов комбинаций в дизайн-системе Яндекс 360 Команда Яндекс 360 работает над 13 продуктами для личных дел, учёбы и работы. Чтобы пользовательский опыт оставался единым и консистентным, все сервисы объединяет дизайн-система «Орбита». На старте все компоненты создавались из принципа «компонент должен уметь всё». Но в какой‑то момент стало понятно, что прежний подход к проектированию себя исчерпал. Дима Мандельштам, мобильный разработчик Яндекс 360, и Лёша Карп...

Как мы строили модель зрелости команд и что из этого получилось В больших инженерных командах часто возникает разрыв в подходах и инструментах: одни автоматизируют тесты и мониторинги, другие на месте с ручным контролем, а времени на улучшения всегда не хватает. Это приводит к разным скоростям развития и мешает масштабировать лучшие практики. Светлана Давыдова, менеджер проектов в команде Поиска, рассказала, как она и её коллеги создали и внедрили модель зрелости команд: как определяли ключевые ...

Как мы учим роботов понимать физический мир: путь от специалистов к генералистам Современная робототехника движется в сторонц перехода от роботов-специалистов, которые отлично решают только заранее запрограммированные задачи, к универсальным генералистам — машинам, способным адаптироваться к любой физической ситуации. Но сложность этой задач на порядки превышает возможности традиционного программирования алгоритмов — без нейросетей и новых архитектур уже не обойтись. Евгений Михайленко,руководит...

Как мигрировать кусочек Яндекс Такси с PostgreSQL на YDB и перестать считать подключения к шардам Сегодня на Хабре — статья Игоря Березняка о том, с какими ограничениями PostgreSQL сталкиваются системы масштаба Яндекс Такси при росте. Игорь рассказывает про время выбора нового мастера при репликации, лимиты количества соединений, разработку холодного хранилища. Переход на YDB — это в первую очередь смена одних ожидаемых сценариев работы на другие. Со своими последствиями, компромиссами, необходи...

Propensity Score Matching: как строить аналоги A/B-тестов, когда эксперименты невозможны Николай Олигеров, продуктовый аналитик в Яндекс Путешествиях, рассказал, как применять PSM (Propensity Score Matching) — статистический метод, который позволяет корректно сравнивать группы, уменьшая систематические различия между ними. В статье на Хабре он подробно разобрал, как выровнять группы теста и контроля с помощью PSM, предупредил о типичных ошибках (например, утечке признаков), дал практические реко...

Эволюция сбора flow-статистики в Яндексе: архитектура, грабли и оптимизации В сетевом хозяйстве Яндекса много лет использовался коллектор, который собирал flow-статистику только в агрегированном виде. Это позволяло контролировать загрузку каналов между дата‑центрами и на стыках с пиринг‑партнёрами, а также собирать данные для расчёта маршрутов. Однако в работе коллектора использовался дополнительный UDP‑балансировщик, который создавал лишний сетевой хоп между маршрутизаторами и коллекторами, при...

Не «как быстрее», а «как лучше»: новое ML-ранжирование маршрутов на Яндекс Картах Раньше маршруты на Картах ранжировались по времени в пути: работал принцип «самый быстрый — самый первый». Но в реальном мире скорость не всегда равна удобству и пользователь мог оказаться в ситуации, что маршрут вроде бы позволяет добраться до конечной точки быстрее, но придётся долго разбираться, а куда вообще ехать. Теперь ранжированием маршрутов занимается ML-модель, которая обучена на реальном поведении пользо...