🔬 Курган, городище, аномалия или ничего: как учить нейросети для конкурса «Экспедиция. Data Science» Идёт приём заявок на КОЗ №2 «Сканирование». Задача участников: создать ИИ-решение, которое сможет находить археологические объекты в рельефе и под землёй по данным от разных сенсоров. Чем больше у нейросети видов информации, тем больше шансов найти закономерности, незаметные для людей. Поэтому организаторы подготовили массив из лидарных данных, аэрофотосъёмки, магнитометрии и не только. Для анализа такой ценного, но разрозненного объёма, нужен целый комплекс технологий. Какие инструменты в руках участников, а также какие подходы в приоритете для лучшего результата — рассказывают наши коллеги — эксперты по работе с данными (Data Science). 🔍 Сегментационные модели U-Net/DeepLab Специализированные узкие архитектуры, могут точно определить форму фундамента или рва. Однако ошибутся, если объект не похож на выборку, поэтому для обучения нужно много данных. Идеальны для магнитометрии и лидарных точек. 🔍 Модель обнаружения объектов YOLO Быстро ищет тысячи объектов, но задаёт грубые границы и захватывает много фона. Найдёт все потенциальные курганы на спутниковом снимке города, чтобы ничего не упустить. Лучший выбор для скоростного «поиска кандидатов». 🔍 Универсальная модель сегментации (SAM) Обучена на миллиардах изображений всего на свете и может идентифицировать почти любой объект. При этом училась на массе «лишних» данных и требует больших мощностей. Идеально уточняет границ найденных объектов. 🔍 Мультимодальные модели (VLM) Например, GPT-4o или Gemini. Понимают и картинки, и текст. По текстовому запросу найдут курганы и объяснят свои решения, но склонны выдумывать объекты и плохо работают с гео-форматом TIFF. Пока не пригодны для потоковой обработки. А как объединить данные для верных итоговых решений? Вот главные подходы. 1️⃣ Раннее слияние Взять аэрофото, точки лидара и магнитометрию — и выровнять, чтобы 1 пиксель на всех картах был «равен» одной и той же точке на земле. Модель сразу увидит корреляции: горячо и высоко — значит курган. Требует идеального выравнивания и подходит для данных, которые можно привести к одной сетке. 2️⃣ Глубокое слияние Несколько нейросетей работают каждая над своим типом данных. Например, одна извлекает признаки текстуры из аэрофото, другая добывает геометрию из облаков точек лидара. В середине сети векторы признаков смешиваются, а модель выдаёт надёжный результат. Лучшее из обоих миров, но сложно обучать. 3️⃣ Позднее слияние Несколько независимых моделей изучают разные типы данных и оценивают вероятность объекта. Решение принимают по средней арифметической. Подход игнорирует сложные связи, но уместен, когда данные приходят из разных источников в разное время. Мы видим лучший исход в первых двух подходах. А что выберут команды конкурса — покажет время. ☄️ Подайте заявку на участие на платформе конкурса!