Машинное зрение
для сортировки мусора
Роботизированный комплекс сортировки ТБО с использованием дельта-робота и машинного зрения
Оператор мусоросортирующих комплексов
Python, PyTorch, mmdetection, TorchServe, дельта-робот, АСУ ТП
Переработка отходов / ТБО
Замещение мультиспектральных анализаторов на доступные RGB-камеры с применением машинного зрения
Роботизированный комплекс сортировки ТБО с использованием дельта-робота и машинного зрения
Оператор мусоросортирующих комплексов
Python, PyTorch, mmdetection, TorchServe, дельта-робот, АСУ ТП
Переработка отходов / ТБО
Замещение мультиспектральных анализаторов на доступные RGB-камеры с применением машинного зрения
Роботизированный комплекс сортировки ТБО с использованием дельта-робота и машинного зрения
Оператор мусоросортирующих комплексов
Python, PyTorch, mmdetection, TorchServe, дельта-робот, АСУ ТП
Переработка отходов / ТБО
Замещение мультиспектральных анализаторов на доступные RGB-камеры с применением машинного зрения
Контекст и вызовы проекта
Все компоненты объединены АСУ и пригодны для интеграции в существующие линии
Создание пригодной для промышленной эксплуатации линии сортировки с полным отсутствием ручного труда, дальнейшим повышением экологичности и экономической эффективности, а также с возможностью тиражирования технологий в других отраслях (пищевая, горнодобывающая, логистика). Комплекс использует дельта-робота для захвата и перемещения фракций и машинное зрение с нейросетью (обученной на морфологии российского потока ТБО).
4 класса
объектов распознаются на линии сортировки
90%
точность распознавания всех заданных классов мусора (IoU=0.5)
56 мс
время распознавания и обработки одного кадра
Инновации и интеграции
Локально развернутая модель компьютерного зрения, работающая автономно на производственной площадке
Обучение нейросети на специфике российских ТБО
Использован датасет, доработанный с помощью псевдо-лейблинга и итеративного дообучения.
Архитектура DDOD
Современный адаптивный детектор с раздельным обучением распознаванию и локализации объектов.
Инференс и контейнеризация
Написана система непрерывной работы нейросети на конечном устройстве, результат упакован в контейнер.
Функциональные возможности
Распознавание и трекинг объектов на скоростной ленте
Модель компьютерного зрения на базе YOLO выполняет сегментацию объектов в режиме реального времени, выделяя каждый предмет на движущейся ленте. Система трекинга отслеживает объект между кадрами и передаёт координаты только для новых объектов, исключая дублирование команд и снижая нагрузку на робота.
Управление дельта-роботом для захвата и сортировки
Система передаёт координаты обнаруженных объектов на дельта-робот, который осуществляет захват и перемещение целевых фракций в соответствующие контейнеры. Такая схема позволяет полностью исключить постоянное присутствие оператора на самом вредном участке производства и обеспечивает экономическую эффективность по сравнению с ручным и пневматическим способами сортировки.
Интеграция с АСУ ТП и адаптация под производство
Программный комплекс объединён с АСУ ТП и пригоден для интеграции в уже существующие линии без остановки производства. Решение настраивается под морфологический состав потока ТБО и масштабируется под необходимую производительность.
Задача сортировки ТБО — важное направление, где в России пока мало работающих оптических решений. Мы искали способ заменить дорогое мультиспектральное оборудование на более доступную RGB-камеру. Для этого разработали CV-модуль на базе YOLO: собирали видеоматериал, размечали его по классам, которые нам дал технолог с завода — ПЭТ прозрачный, зелёный, ПНД, бытовая химия. Итеративно обучали модель, исправляли данные и переобучали. В итоге подтвердили, что по RGB-камере можно уверенно сортировать PET-бутылки с точностью больше 90%. Хороший результат для пилотного проекта, который можно развивать дальше.
Как мы это сделали
Быстрое создание MVP с последующим дообучением на реальных данных
Выбор архитектуры и стартовое обучение
За основу взята архитектура DDOD — адаптивный детектор с раздельным обучением распознаванию и локализации объектов. Первая итерация обучена на датасете из 2000 изображений, что позволило быстро получить работающий прототип.
Итеративное дообучение
Модель дообучалась на реальных потоках. При обнаружении проблемных сценариев разметка уточнялась, данные дополнялись, модель переобучалась. Такой подход позволил повысить точность до целевых значений без сбора гигантского размеченного датасета с нуля.
Интеграция с роботом и АСУ ТП
CV-модуль интегрирован с дельта-роботом через передачу координат целевых объектов. Вся система объединена с АСУ ТП существующей линии, что позволило встроить решение в производственный процесс без остановки и доработки смежных систем.
Этапы работы
Каждый этап сопровождался проверкой на реальных данных и доработкой под специфику производства.
Анализ задачи, выбор концепции и оборудования
На старте совместно с партнёром изучили технологический процесс сортировки на реальном заводе, определили целевые классы отходов (4 класса: ПЭТ прозрачный и цветной, ПНД, бытовая химия) и сформулировали технические требования: точность, скорость, автономность. Выбрана концепция: дельта-робот + RGB-камера с машинным зрением + спектральный анализ для сортировки пластика. Подобрана и откалибрована камера Hick Vision, настроена для работы в условиях производства.
Сбор данных, разметка и обучение модели
Собраны видеоматериалы с реальной ленты — более 2000 изображений с многокомпонентной морфологией ТБО. Разметка велась по множеству параметров: тип пластика, цвет, прозрачность, наличие диспенсера и другие атрибуты — всего порядка 25 классов. На размеченных данных обучена первая версия нейросети на архитектуре DDOD. Затем модель дообучалась итеративно с использованием псевдо-лейблинга на основе обратной связи с производства.
Разработка CV-модуля, трекинга и интеграция с роботом
Создан сервис компьютерного зрения на базе YOLO, работающий в контейнере на промышленном компьютере. Реализован трекинг объектов между кадрами — система отправляет координаты только для новых объектов, исключая дублирование. Проведена калибровка дельта-робота, отработана передача координат для захвата и перемещения целевых фракций. Все компоненты объединены в единый управляемый комплекс.
Промышленные испытания и настройка на реальном производстве
Решение развёрнуто на заводе, проведены недельные испытания на реальной ленте, собрана морфология сортировки — проанализированы корзины с отобранными фракциями на чистоту (допустимый процент «грязи» в брикетах строго ограничен для переработки). Достигнуты целевые показатели: точность распознавания 91% (IoU=0.5), время обработки кадра 55 мс, что обеспечивает работу на скоростных лентах.
Тиражирование и адаптация
Программная основа проекта пригодна к переиспользованию с небольшими изменениями в других отраслях — пищевой, горнодобывающей, логистике. Мощность линии масштабируется под любую производительность, решение адаптируется под необходимый морфологический состав потока.