Stephan Zhdanov

🟢 Визуализация данных с LicheeRV Nano в RViz ▶️ RViz — это удобный инструмент для визуализации данных из ROS. С маломощных устройств (например, LicheeRV Nano) можно передавать данные по сети (например, в виде своих структур через UDP/TCP или через Zenoh) на компьютер с RVIZ и ROS нодой формировать из них ROS сообщения или вызовы сервисов. ▶️ На скриншоте и видео показан пример визуализации TF2-преобразований. Как упоминалось выше, обмен данными между LicheeRV Nano и компьютером можно организова...

🟢 FreeRTOS на LicheeRV Nano ➡️ Внутри SG2002 (SoC LicheeRV Nano) целых 4 ядра. Одно из них RISC-V ядро, работающее на частоте 700 Mhz позиционируется, как RTOS ядро. Официально FreeRTOS не поддерживает данный процессор, но разработчики Sophgo (SG2002) предоставляют свой порт. ➡️ В официальном Buildroot образе LicheeRV Nano от Sipeed исходники порта FreeRTOS’а уже добавлены(директория freertos/cvitek). В текущей реализации после инициализации ядра вызывается функция main_cvirtos (в файле task/co...

✏️ Сборник полезных материалов для разработки под LicheeRV Nano Мои наработки: 🟢 Статья на Хабре ▶️ GitHub репозиторий с примерами ▶️ Замеры энергопотребления ▶️ Гугл диск с файлами: ▶️ Пропатченный OpenCV Mobile ▶️ Динамические библиотеки для платы ▶️ Портированные под плату модели YOLO ▶️ Бинарники с LLama2.c Сторонние ресурсы: ▶️ Официальная документация (EN) ▶️ Официальная документация (ZH) ▶️ Документация по TPU MLIR ▶️ Конвертация YOLO под NPU ▶️ TDL SDK примеры ▶️ Схема платы ревизии 704...

🟢 LicheeRV Nano - перераспределение RAM ▶️ У LicheeRV Nano всего 256 МБ оперативной памяти, из которых сразу при загрузке 105 МБ резервируются под Multimedia buffer. Эта память используется для CSI камер, DSI дисплеев и энкодеров/декодеров H.264. В итоге под Linux остаётся всего 128 МБ. ▶️ При использовании только CSI камеры без дисплея, можно существенно уменьшить размер Multimedia buffer и тем самым освободить память для Linux системы. ▶️ Для этого нужно изменить файл: build/boards/sg200x/sg2...

🟢 Детекция маркеров на LicheeRV Nano ▶️ На изображении представлена диаграмма, для наглядного сравнения скорости детекции Aruco-маркера классическими методами OpenCV (на LicheeRV Nano) и детекции маркера по четырём паттернам через YOLO на NPU. Классический метод выдаёт адекватную скорость только начиная с разрешения 256x256, что достаточно мало, если необходимо детектировать маркеры с большого расстояния. Хотя для полной объективности необходимо провести бенчмарк качества и точности детекции. ▶...

🟢 LicheeRV Nano - Детектирование маркеров через YOLO ▶️ Первые эксперименты по детектированию специальных визуальных маркеров (например, для навигации) с помощью YOLO на LicheeRV Nano. ▶️ Это тестовый паттерн маркера, который впоследствии будет доработан для повышения качества детекции в более сложных условиях (расстояние, освещение). В отличие от Aruco, которые обнаруживаются классическими алгоритмами компьютерного зрения, детектирование маркера через YOLO потенциально более робастное. ▶️ На в...

🟢 Depthwise Separable Convolution (DSC) в YOLO ▶️ В обычной свёртке каждый фильтр смотрит все каналы сразу (RGB) и создаёт один выходной канал. Чем больше каналов и фильтров, тем больше операций. DSC разделяет одну свёртку на два этапа: 1️⃣ Depthwise (по каналам отдельно) Каждый канал входного изображения сворачивается своим маленьким фильтром. Каналы пока не смешиваются. 2️⃣ Pointwise (1×1 conv) После этого каналы объединяются, чтобы получить нужное количество выходных каналов для предсказания...

🟢 FastDepth - быстрая монокулярная оценка глубины ▶️ FastDepth - свёрточная нейросеть для оценки глубины по одному изображению. Модель основана на энкодер-декодер архитектуре. ▶️ Энкодер - облегчённый MobileNetV1 (в оригинальной реализации, хотя можно попробовать заменить на v3), который извлекает фичи из изображения. Декодер - лёгкий upsampling-блок из разделённых свёрток (depthwise separable convolutions) с skip-коннектами. Такой подход значительно снижает количество параметров без сильной по...

🟢 Yolo на LicheeRV Nano ℹ️ Бенчмарк производительности работы моделей Yolov8 и Yolov11 на LicheeRV Nano. Удалось получить 100 FPS на модели, детектирующей 2 класса на изображениях 320x320. Также можно заметить, что Yolov11 работает немного быстрее Yolov8(n и s модели). Энергопотребление платы поднимается примерно на 0.1A (размер модели большого влияния не имеет). ℹ️ Кроме того, необходимо провести более детальные эксперименты с замером падения точности квантизированной COCO модели, так как прос...

🟢 NanoTrack - Single-shot детекция ▶️ NanoTrack - легковесная нейронная сеть для детекции объекта по заданному шаблону без обучения (или трекинга, если в качестве шаблона использовать предыдущую детекцию + фильтрацию). Принцип работы достаточно простой: ▶️ Две свёрточные модели (в оригинальной реализации - MobileNetV3) извлекают фичи из изображения шаблона и изображения для поиска. Далее отдельная свёрточная модель (head) рассчитывает кросс-кореляцию между полученными фичами. По её результатам ...